築城年代は定かではない。得能彦右衛門によって築かれたと伝えられ、萩森城の支城であった。城主は得能彦右衛門ののち兵頭越前守義房という。
元亀3年(1572年)豊後の大友氏の軍勢、佐伯惟教、鶴原掃部などが西宇和郡に攻め入り飯森城にも攻め寄せたが、落城せず持ちこたえ、西園寺氏が大友氏と講和したことから大友軍は帰還した。
飯森城は枇杷谷の東に伸びた尾根上に築かれている。
飯森城は一の森、二の森、三の森と呼ばれる峰の三ヶ所に城郭遺構が認められ、三の森が主要部となっている。
一の森(曲輪XX)は1/25000地図の等高線では反映されていないが、この部分が一番高く北側は鞍部となる。遺構は山頂部に小さな削平段が認められる程度であるが、北の鞍部は堀切で埋められて農道になったという。西の谷間側に山道の名残が認められるものの、堀切であった確証は見当たらない。
二の森(曲輪X)は小さな曲輪に祠が祀ってあり標柱もあるが、朽ちて何を書いているのかわからない。西背後の尾根を堀切で遮断している。
一番低い三の森が主郭部となり、大規模な城郭遺構が残る。
曲輪Iと東下の曲輪IIが主郭となるが、曲輪内には大きな堀込みが至る所に存在しており、南側面に至るまでかなり破壊されている。これは『愛媛県中世城館跡』によれば、「金鉱が出る」とかの噂で掘られたものらしい。したがって今となっては細部はわからないが、曲輪Iの規模は大きく、北西側は立派な土塁が現存している。
主郭の西背後は堀切6と堀切7で遮断する。堀切6は箱堀で土橋状地形の南側は掘られていない。主郭の北側面は傾斜している帯曲輪状地形Vがあり、西端は竪堀5に対して土塁が付き、東端は連続竪堀4となる。
曲輪IIの東下には堀切状地形3があり、北端は岩盤を削った虎口地形のaを経て帯曲輪VI、外側は竪堀のような地形となる。ここから小さな段曲輪を下ると広い曲輪IIIとなる。
曲輪IIIは北側に畝状竪堀群2があり、側面には石積みが確認できる。南側は細い帯曲輪状であるが、一部は畑の山道と思われる。南側にも一部石積みが確認できるが、大半は畑のものだろう。曲輪IIIの東下に堀切1があり、北側は大規模な堀切が残っているが南はほぼ埋め立てられ、途中から竪堀が落ちている。
東の先端にある墓地まで車道があり駐車可能。墓地脇の道を果樹園のほうに登って行くともう一つの墓地があり、そこから山に入るとすぐに堀切1になる。
最寄り駅(直線距離)