築城年代は定かではない。 城主は伊山国重、後に毛利氏に属した山県国吉という。
城主山県国吉は天正8(1580)年4月、毛利輝元が備前虎倉城を攻めた軍に従軍したが、上加茂で宇喜多勢の伏兵にあい毛利軍は敗走、国吉は討死した。
この飯山城は毛利氏と宇喜多氏が対峙していたころ、毛利氏の将兵が多数在番しており、法明寺(現宝妙寺)阿弥陀堂の壁にいわゆる落書が残っていて、天正9年巳5月吉日として桂左衛門大夫(就宣)、粟屋備前守(元通)ら157人もの名が書き記されているという。
この毛利衆が在番していた飯ノ山城はこの有漢ではなく上有漢にある飯ノ山城とされる。
山頂に社があり二段になっている。東に降りた所にも少し新しい社がありここも二段になっている。