築城年代は定かではない。城主は飯山氏、後に毛利氏に属した山県国吉という。
城主山県国吉は天正8(1580)年4月、毛利輝元が備前虎倉城を攻めた軍に従軍したが、上加茂で宇喜多勢の伏兵にあい毛利軍は敗走、国吉は討死した。
この飯山城は毛利氏と宇喜多氏が対峙していたころ、毛利氏の将兵が多数在番しており、法明寺(現宝妙寺)阿弥陀堂の壁にいわゆる落書が残っていて、天正9年巳5月吉日として桂左衛門大夫(就宣)、粟屋備前守(元通)ら157人もの名が書き記されているという。
飯ノ山城は高梁市(備中)と吉備中央町(備前)の境に聳える標高508.9mの飯ノ山に築かれている。この辺りには飯(ノ)山城がいくつかあり、毛利方が在番した城は有漢の飯ノ山城ではなく、この上有漢の飯ノ山城であろう。
南西下に飯ノ山集落があり、現在は二件しか居住していないそうであるが、集落からの比高は約80mで、山頂にある稲荷神社ではかつて毎年お祭りをしていたそうである。
単郭の城で山頂部は低い段差で二段になり、南西に一段の腰曲輪、南下に帯曲輪がある。
北端は二重堀切1、南端は二重堀切4で、全周に渡って畝状竪堀群を設けているが、そのなかでも畝状竪堀群2と畝状竪堀群5の規模が大きく明瞭である。
現在の参道は南尾根から二重堀切3を経て直接登っているが、西側を回り込んで登る細い道もある。大手は不明であるが、南下の帯曲輪の東端部から山道が降りており、土塁を伴う虎口のような形状が確認できる。
集落からの参道は藪に埋もれて通れなくなっているようだ。南尾根の林道入口から尾根上に登っていくと歩きやすい。
飯ノ山集落へは南を大きく回る道が地図上で太く描かれているが、こちらはあまり使われておらず、落石倒木など道が悪い。西の県道から谷筋を通る道でアクセスするのが良い。