築城年代は定かではない。

永正年間(1504年〜1521年)には浦上宗久の居城であった。 浦上宗久は三石城主の浦上村宗の弟で、兄とともに赤松氏の重臣であった。

永正15年(1518年)浦上村宗は赤松義村に反発して播磨国置塩城を退き、居城である三石城へと退いて籠城した。このとき宗久は兄に同調せず、香登城に籠もって赤松氏に従った。 翌16年赤松義村が軍勢を率いて三石城を攻めたが敗れ、宗久は赤松氏に同調して攻めようとしたが、宇喜多能家がこれを見抜いていち早く村宗に通報したことで、宗久は城を捨てて備中へ逃れたという。

その後、村宗の子、浦上宗景が天神山城主として備前東部を支配すると、家臣の高取左衛門が城主となった。しかし、永禄年間(1558年〜1570年)に宇喜多直家が浦上宗景に反旗を翻すと香登城も宇喜多氏の支配となり、高取左衛門は帰農したという。

香登城は標高294mの城山山頂に築かれている。 香登城は本丸・二の丸・三の丸そして出丸からなる山城で、山頂に本丸、南西下の尾根に二の丸、南東に伸びる尾根に三の丸、北方の尾根に出丸を配している。

本丸は山頂にあり、地形に沿って三角形に近い形で、中央やや北側に土壇がある。南下と南西下に帯曲輪があり南西側は二の丸方向に数段の帯曲輪となる。虎口は南西隅にあり、帯曲輪の間を通って二の丸方向に通路が伸びる。虎口の内側は一段低くなっており、主郭内に入る通路は右折れになったいたと思われる。土塁は明瞭ではないが、南側に一部と北端にある。また帯曲輪に面した切岸部分に若干の石積が残っている。

二の丸は山頂から南西に伸びた尾根の標高250m付近にあり、尾根に対して長く伸びた曲輪は低土塁が付いている。尾根先は切岸のみで堀切は付いていない。

三の丸は山頂から南東に伸びる尾根の標高242.5m付近にあり、南尾根に一条の堀切をに設けて遮断している。

出丸は本丸から北方に伸びた尾根の標高300m付近にあり、本丸のすぐ北側は二重堀切で遮断し、その先は自然地形の尾根が続く。標高300m付近は削平されており、南側は特に切岸加工していないが、北側は切岸になっている。その先の尾根は西側が若干竪堀状になった地形があるが、明確な堀切は見当たらない。

登山口は国道2号線香登駅前から北に入っていくと墓地を経て城山池がある。この城山池の所に駐車スペースがあり、熊山と城山の登山口になっている。

城山へは三つ目の鉄塔まで登り、そこから三ノ丸を経て尾根伝いに登る道が付いている。