詳細不明。城主は高田城主三浦氏の家臣福島右近と伝えられる。

飯山城は旭川南岸の山塊から北へ突出した小高い独立丘陵に築かれている。

飯山城は単郭の城で南へ続く尾根を二重の堀切で遮断して独立させ、山頂部に主郭を配しており、東側に帯曲輪が付いている。堀切に面した南側と西側に低い土塁が付いており、東側の中央部には凹んだ地形があり虎口かもしれない。

草加部集落にある蓮祐寺から池の南側を回って山に入る道がある。