築城年代は定かではないが鎌倉時代に逸見清光によって築かれたと云われる。 清光は常陸国から大治5年(1130年)甲斐国巨摩郡市河荘に配流となり、逸見(へみ)に住んで逸見氏を名乗った。後に甲斐源氏武田氏となる系統はこの清光の次男で武田信義館に住んだ信清の系統である。

天正10年(1582年)武田勝頼が天目山で自刃して武田氏が滅亡すると、徳川氏と北条氏が甲斐に侵攻して草苅り場となり、お互いに城を築いて対峙することとなる。 そして、この谷戸城は北条氏方の城となり、この北条氏によって城が改修されたとされる。

城は小高い丘に築かれ、現在は発掘調査されて土塁や堀が復元され整備されている。

きれいに整備されているので気を良くして歩いていたのだが、何故か違和感が芽生える。土塁で囲まれた本丸の周囲を取り囲むように二の丸(現地縄張図では二の丸と三の丸)があるのだが、その周囲も土塁があり横堀が付いている。その横堀が土塁の内側にあるのだ...。これは内側を削って掻き上げ土塁を築いた溝がそのまま空堀として復元されたのであろう。