築城年代は定かではく諸説あるが、 長元9年(1036年)兼俊が大隅国肝属郡の弁済使となって肝付氏を名乗り居城として築いたと云われる。
南北朝時代には北朝方の島津氏に対して、日向国伊東氏・肥後国菊地氏とともに南朝方となって転戦した。 肝付兼久は明応3年(1494年)島津忠昌による高山城攻めを退け、永正3年(1506年)再び柳井谷に陣を置いて攻めてきた島津忠昌を退けた。
戦国時代になると肝付兼続は大隅国一円に勢力を広げ戦国大名となっていったが、良兼・兼亮の時代に島津氏に降伏、高山は安堵されたが他の領地は没収された。 天正8年(1581年)肝付氏は薩摩国阿多へ移封となり廃城となった。
シラス台地に築かれ、深く広い堀と急峻な切岸に囲まれた曲輪群で構成された南九州の典型的な城郭である。 大手、搦手、本丸、二の丸などの案内が随所にあり迷わずに散策できる。