天慶3年(940年)藤原純友によって築かれ、二男の伊予次郎純年に守らせたのが始まりとされる。
以後、平治2年(1160年)緒方惟義・維時、治承2年(1178年)宇都宮信房の家人香春庄司孝義、建長年間(1249年〜1256年)香春判官友義、弘安年間(1278年〜1288年)中尾兵部丞、正慶2年(1333年)北条高政と続いた。
建武年間(1334年〜1338年)からは少弐頼尚・頼長・頼光の三代が続くが、応永元年(1394年)千手信濃守興房によって滅ぼされ、応永5年(1398年)には興房が大内盛見によって討たれ、以後大内氏の家臣原田氏が在城し豊前国の拠点となった。
大内氏が滅亡すると大友氏と毛利氏によって争奪戦がたびたび行われたが、毛利氏が九州から撤退し大友氏の属城となった。しかし耳川合戦で大友氏が大敗を喫すると小倉城主高橋鑑種が香春岳城を奪取した。天正14年(1587年)豊臣秀吉の九州征伐では高橋元種が香春岳城に籠もって黒田・毛利の先発隊を迎え撃ったが水の手を断たれて落城した。
香春岳城は金辺川に沿って南北に連なる香春岳に築かれている。香春岳は南から一ノ岳・二ノ岳・三ノ岳からなる連山であるが、香春岳城が築かれていたのは南側の一ノ岳と二ノ岳である。このうち一ノ岳は石灰岩採掘の為にもはや見る影もなく削られ遺構は消滅している。
現在残っている遺構は一ノ岳と二ノ岳の鞍部にある「タゴ土塁遺構」、二ノ岳山頂にある「祭祀遺構」、二ノ岳と三ノ岳の鞍部にある「一枡」と呼ばれる土塁遺構である。
三ノ岳はハイキングコースとして整備されているので、とりあえず登ってみると二ノ岳の方に道が続いている。「一枡」と呼ばれる土塁遺構がないかきょろきょろ見ながら歩くものの周囲は密集した藪で道以外は何も見えない。とりあえず二ノ岳山頂まで登ると想像以上に巨石が固まって山頂を構成しており「祭祀遺構」とは何かすらわからず。南側や西側にやや平たい土地があるものの城郭遺構とはほど遠い。「タゴ土塁遺構」は採掘場の近くで、国土地理院の地図で三ノ岳に登る途中の道を反対の南側に行けばたどり着けるようなのですが、これは入口のフェンスが閉じられておりいけませんでした。