築城年代は定かではない。平安時代に安倍貞任が奥州から落ち延びてここに籠ったという伝承が残る。

南北朝時代には南朝方として葉室氏や堀河具信が藤島城を拠点として兵を挙げたが、暦応3年・興国元年(1340年)北朝方の武藤氏に敗れ、河内城へ退いたといい、これが山谷楯とみられている。

相沢川の北岸にある山谷集落内の小山に築かれている。県道358号線から一本北の集落内の道脇に標柱が建っている。