詳細不明。城主は友野石見守で幸山城主石川氏の重臣であった。
天正2年(1574年)毛利氏が宇喜多氏と同盟を結んだことに反発した三村氏は毛利氏から離反した(備中兵乱)。このとき幸山城主石川久式は三村氏に同調して松山城に籠城、幸山城には友野石見守らを置いて守らせていた。
幸山城は小早川隆景の軍勢があらわれると早々に降伏した。その後、松山城も落城し、石川久式は逃亡するが、逃亡中に討たれた。また一説にはこの岡谷城まで逃れてきたが、この地で自刃したともいう。
岡谷城は幸山城の東、和霊山から北へ伸びた丘陵に築かれていた。
宅地で近年まで友野家の屋敷があったが、現在は取り壊されて整地されている。改変されているため遺構ははっきりしないが、丘陵の西側に土塁とされる高まりがある。ただ外側も内側も削られていて本当に土塁なのか簡単に見ただけだと判別がつかない。
宅地のあった敷地の脇には巨石がありここが石川久式が切腹したところと云われ、社が祀られている。