詳細不明。館主は飯岡平九郎が伝えられる。
飯岡館は飯岡山から北東に伸びた尾根の先端頂部に築かれている。
主郭は鉄塔が建っている辺りで、その頂部から同心円状に曲輪があるようだが、ヤブが深く細部はわからない。主郭背後に堀切があり、それぞれ竪堀として伸びている。北の竪堀は山腹を斜めに落ち、その脇からさらに連続竪堀が落ちる。空堀はそのまま曲輪の東側へと横堀として回りこんでおり、南側も同様に横堀として巡っている。このように主郭部を取り囲むように空堀が巡り一部は二重堀になっている。
この主郭部の南東下の秋葉神社の辺りも曲輪だという。境内が一段高く、その周囲を帯曲輪状の平段が巡る。東端の南東側と北東側側面にそれぞれ竪堀状の溝が落ちている。
秋葉神社の参道入口に案内板がある。登山道はこの参道入口脇の道から南の谷沿いに登っていくようになっている。この道は少々わかりづらいので神社から尾根伝いに登っていくほうが簡単かもしれない。
最寄り駅(直線距離)