築城年代は定かではない。近世米子城の一部として取り入れられ采女○と呼ばれたが、本城とは独立した丘陵にあって独立性が高い。

慶長8年(1603年)の米子城騒動の舞台となり、家老横田内膳村詮が主君中村一忠によって殺害されると、横田氏一族が飯山城に籠もって一忠に反旗を翻したが鎮圧された。

飯山城は米子城のある湊山から国道9号線を挟んだ東側にあり、現在は山頂部は公園となっている。パンフレットには「高石垣で囲まれた三段の曲輪がある」とあるが、山頂部の側面は藪が多く「高石垣」と呼べる程の石垣遺構は確認できなかった。しかし、北西側や北面には一部石垣が露出している部分がある。

現在の国道9号線は湊山と飯山の間を通っているが、本来この山陰道は飯山の東側を通っていた。

最寄り駅(直線距離)
0.9km 米子駅
1.4km 富士見町駅
1.4km 博労町駅
1.7km 後藤駅
2.3km 東山公園駅

付近の城(直線距離)
0.3km 伯耆 米子城
2.4km 伯耆 石井屋敷
2.8km 伯耆 石井砦
3.3km 伯耆 観音寺城
3.5km 伯耆 七尾城
4.6km 伯耆 山市場砦
4.8km 出雲 安田要害山城
5.6km 伯耆 小鷹城
5.7km 出雲 鉢伏城
5.9km 伯耆 村尾城
6.1km 出雲 十神山城
6.4km 伯耆 佐陀城
6.5km 伯耆 三崎館
6.5km 出雲 愛宕山城
6.8km 出雲 来見城
6.8km 伯耆 河岡城
6.9km 伯耆 善棚山城
7.0km 出雲 長田城
7.0km 伯耆 古要害
7.1km 出雲 八幡城
7.2km 出雲 山辺城
7.4km 伯耆 峰山砦
7.5km 伯耆 宮前館
7.6km 伯耆 尾高城

2016年11月