築城年代は定かではないが鎌倉時代に遠山氏によって築かれたと云われる。 「遠山七家」(岩村・明照・明知・飯羽間・串原・苗木・安木)の一つ。

戦国時代の城主遠山友勝は織田信長の命によって苗木城へと移り、子の友忠が城主となった。その後、友忠も後阿寺城へ移り、子の友信が城主となった。

天正3年(1575年)武田勝頼の明知城攻めで遠山友信が、武田方へ寝返り明知城は落城した。これは信長公記が出典であるが、武田方の甲陽軍艦では武田軍が飯羽間城を攻め落とし、土蔵に隠れていた遠山友信を生捕りにして連れ帰ったとある。

飯羽間城は東へ舌状に突き出した丘陵に築かれている。 城内外至る所に手作りの案内板が設置されているのには驚くばかりである。

大手は西の鞍部にあり、南の中腹は家臣団の屋敷跡だという。主郭は頂部にあり、東西に長く東に二段の削平地を持つ。