『芸藩通志』には「福谷山 上里村にあり、泉三郎五郎久正が所居、伊豆は、三吉家士なるべし、」とある。
泉(和泉)氏は黒岩城主で、久正までの三代の居城であったという。弘治3年八幡宮を上里村に遷宮したときの棟札に社務として「泉三郎五郎 藤原久正」と記されており、この頃には泉氏は三吉氏の家臣として上里村の福谷山城を居城としていたと推測される。
福谷山城は標高340mほどの山に築かれている。三吉氏の旧居城である比叡尾山城と新居城である比熊山城のほぼ中間に位置している。
福谷山城は山頂部と山腹部に遺構がある。
山頂部は最高所の主郭Iと南西尾根先の曲輪群II、その鞍部の曲輪群III、主郭南下の曲輪群IVからなる。
主郭Iは北側に土塁を設け、内部は三段に分けており曲輪I3が一番広くなる。北端が最高所であるが、この部分は削平しておらず自然尾根の斜面を残しており、北尾根側に堀切1を設けている。
虎口1は一段低くなり、外側の曲輪IIIに向かって折れを伴う通路を設けている。
北側面には堀切3と畝状竪堀群2があり、竪堀群の下方には両サイドから土塁が迫り、虎口状に開口する空間を伴うが、北のほうから山道から続いてきている。
曲輪群IIは大きく三段の削平地があり、II2は北端に分厚い土塁がある。南西側に虎口2があるが、そこから下方がどのような通路設定になっていたかはっきりせず、南側面は切岸が不明瞭になる。あるいは、東側にある竪堀状地形を使っていたのかもしれない。
鞍部には曲輪群IIIがあるが、地形は歪で用途ははっきりしない。曲輪II側には鍵状屈折する土塁を伴う堀5があるが、南側は尾根を遮断せず、北の連続竪堀群側のみ伸びている。
山腹の曲輪Vは山上の曲輪群に比べて削平が甘く傾斜を伴う。東を除く三方を土塁が巡っているが、東側は切岸も甘く、北の堀切8と土塁は東端部が開口しており遮断しきれていない。北の土塁は内高1mから2mほど、堀幅は約4mである。中央に折れを入れており西側への横矢を意識していることから、やはり西の谷筋を警戒しているようである。
西から南の土塁は曲輪の内側を堀込むことで土塁の高さを出しているが、曲輪の高さとほぼ同じである。外側には1mほどの切岸を設けているが堀はない。虎口は西と南西隅にあり、南西隅の虎口4は東の土塁が内折れする。
山頂部と山腹部の間に横堀7と竪堀6がある。横堀7は一見堀底状の山道のようであるが、外側を土塁として構築してあり、末端も後世の改変のようには見えず、遺構と考えられる。また竪堀6も山上の曲輪からはかなり降った位置を起点としているが、そのまま谷筋まで落としており、これも遺構と考えられる。