築城年代は定かではないが須佐美氏によって築かれたと云われる。
須佐美氏は南北朝時代に星ヶ城を居城とした佐々木信胤に従い、佐々木氏が細川氏に敗れると細川氏に従った。
弘安年間(1278年〜1288年)あるいは貞和3年・正平2年(1347年)に須佐美氏は土庄の高橋氏を梨木峠に襲った。高橋氏は辛うじて逃れたが、須佐美氏が高橋氏の城館を焼き払ったため、高橋氏は島外へ逃れ、肥後から薩摩へと移っていったという。
城山城は池田港の南島に聳える標高111mの城山に築かれている。現在は公園として遊歩道が整備されている。
主郭は山頂にあり、そこから東に向かって段がつき城山神社が鎮座している。北下の尾根にも一郭あり、小社が祀られている。
南西側の国民宿舎側からだと山頂近くまで車で行くことができる。北側からは「池田の浅敷」の所から登山道が付いている。