天正15年(1587年)島津氏によって築かれたと云われる。天正18年(1590年)島津義弘は日向国飯野城より移って居城とした。

義弘は朝鮮の役にはここから出陣し、帰国後文禄4年(1595年)に帖佐館を築いて移り、城代として川上三河守が在城したという。

城は川内川に面した台地に築かれている。現在は城山公園として大手門を模した冠木門などが建てられ整備されている。

本丸には石垣を用いた虎口が残り、周囲にも石垣が残っている。本丸の北には二の丸があるが、ここは草が生い茂っている。その他にも弓場・護摩所・八幡が城など広大な城郭である。

栗野ICから国道268号線に出て人吉方面に走って行くと城山公園の道標がある。