築城年代は定かではないが弘治年間(1555年〜1558年)頃に中条長昌によって築かれたと云われる。 その後、長昌には子がなく白鳥館主白鳥十郎長久に城を譲ったと云う。
長久は織田信長に大鷹一羽・御馬一頭を献上し自分が最上の主と宣伝する。これを知った最上義光は志村伊豆守を使者として白羽の大鷹一羽・御馬一頭・槍十挺と家系図を沿えて信長に献上する。信長は最上家の系図を見て「最上出羽守殿」と御返状を送ったと云う。
次に義光は長久を討ち取るための計略を巡らし、長久の娘を嫡子義康の正室へと迎える。義光は長久をおびき寄せて討ち取ることを目論んだが、長久はなかなか出向かない。そこで義光は重病となったことを知らせ、幼少の義康の後見者をお願いしたいと長久を呼び寄せて討ち取り、すぐさま谷地城へ攻め入りこれを落としたという。
平地に築かれた輪郭式の平城で本丸は南北260m東西120m、二の丸は南北450m〜500m、東西350mの規模であったという。しかし現在は市街地に没して遺構はほとんど残されていない。東林寺に白鳥十郎長久の墓がある。