築城年代は定かではないが延元4年・暦応2年(1339年)頃、島津貞久によって築かれたと云われる。島津貞久は薩摩・大隅・日向の三国守護で当初木牟礼城に置いていた守護所をこの碇山城に移したとされる。
延元4年・暦応2年(1339年)には南朝方の渋谷氏らの軍勢が北朝方の島津氏の碇山城へ攻め寄せた。このとき守護職島津貞久は在京しており、守護代の酒匂久景や新田宮社家の権執印俊正等が籠城して迎え撃った。寄せ手は大手を破り勢いに乗ったが、攻め落とすことができず退いた。
文中元年・応安5年(1372年)にも南朝方が攻め入り、峯ヶ城を攻め落とし碇山城へ押し寄せたが、このときも落城しなかった。
その後、島津総州家と島津奥州家が争うようになり、応永23年(1416年)島津久世は奥州家島津久豊により謀殺された。久世の嫡男久林は碇山城に籠もって島津久豊の軍勢に抵抗したが、頼みの伊集院頼久が久豊に降ったため、祖父の守る木牟礼城へ退いた。しかし、これも落城し守久と久林は肥前に逃亡した。永享2年(1430年)島津久林は秘かに薩摩へ戻ったが、潜伏先の真幸院で島津忠国に討たれ総州家は滅亡した。
碇山城は鹿児島純心女子大学の西500m程の所に築かれていた。 城山は採石場となり周囲も宅地化されて、ほとんど原形を留めていない。 登り口らしき所には進入禁止の札があったので、遠望のみであったが、どうやらかつて山上にあった石碑が麓のどこかに移されているようである。