詳細不明。本明城主福屋氏、温湯城主小笠原氏が城主として伝えられる。

飯の山城は江の川、三谷川、祖式川との間にある標高294mの仙岩寺山山頂に築かれている。現在山腹には仙岩寺があるが、もともとはこの山の上にあったといい、寺は現在無住であるが、小笠原氏の菩提寺である長江寺の末寺である。

飯の山城は仙岩寺山山頂部と、そこから東へ伸びた尾根に築かれている。

主郭は山頂で中央やや西寄りに南北に長い土壇があり、南に向かって階段状に腰曲輪を設けている。この腰曲輪はやや傾斜しており平坦ではない。北と南の尾根はそれぞれ堀切によって遮断されており、北は二重堀切でその先は土橋として両側を削り落とした地形になる。南尾根は一条の堀切で遮断している。

主郭の北側から東側側面一帯に畝状竪堀群が設けられており、明瞭に残っている。

東尾根の城郭は約200m程離れており、その間は特に遺構はなく一城別郭となっている。

この東曲輪群は東尾根からの侵攻に備えたもので、その中心となる曲輪は東側に土塁を設け、その外側に堀切と竪堀で二重の防御となっている。この堀切から南へ落ちる竪堀は大きく長く伸びている。手前の独立した竪堀は北側へ落ちる。 この曲輪は東側は土塁を設けているにも関わらず、西・南側一帯は切岸も曖昧な程の自然地形で、あくまで東側からの攻撃に対して備えている。

県道291号線沿いに仙岩寺の参道入口がある。駐車場はないが東側に広い路側帯があり駐車できる。仙岩寺から山上に登る道はあるのだが、寺近くの斜面は石がごろごろする地形で道が見えなくなっている。上側はつづら折りの道が付いているので、それを見つけるのが先決。入口は寺の山門の手前にある地蔵様から少し中に入り、上を見上げると右奥へ上がるようになっている。山に向かって右上を意識しながら登ればつづら折りの道が見えるだろう。山上からは山頂までは500m程で、一度谷間に降りて再度登る。