シラス台地に築かれ、深く広い堀と急峻な切岸に囲まれた曲輪群で構成された南九州の典型的な城郭である。

城は「亀丸城」・「山之城」・「東之城」・「蔵之城」・「西之城」などの曲輪群で構成され、空堀で分断されている。

主郭の「亀丸城」には島津忠良や義久・義弘・歳久・家久四兄弟などの碑が建っており、西端に土塁が残っている。