築城年代は定かではないが祁答院良重によって築かれたと云われる。

天文23年(1554年)蒲生範清は祁答院氏等と連合して島津氏に叛き、島津方の肝付兼演の加治木城を攻撃した。島津氏は岩剱城を攻めることで加治木城に攻め寄せている蒲生方を牽制して肝付氏の救援を計った。この戦いで島津義久・義弘・歳久の三兄弟が揃って初陣を飾ることとなるが、島津忠良(日新斎)は、「三兄弟のうちの誰かが死なねば落ちまい」と語ったと伝えられる程の堅城であった。この戦いは激戦となって島津忠将が種子島を使い、岩剱城祁答院勢も種子島で応戦するなど日本ではじめて鉄砲を使用した本格的な戦いとなったという。加治木城に攻め寄せていた蒲生範清は岩剱城が取り囲まれた事を知ると加治木城の囲みを解いて岩剱城へ向かい、島津氏との激戦の末、祁答院良重の嫡子重経らが討死して蒲生氏は敗走、岩剱城に籠っていた残兵も夜陰に紛れて城を逃げ出し岩剱城は島津氏の手に落ち、その後は島津義弘が在番することとなり平松城を築いた。

城は剣の岡と呼ばれる標高225mの山に築かれており、南西の尾根を除いた三方は崖に囲まれた要害である。

城は山頂部と南西尾根の二ヶ所に曲輪群がある。山頂部は数段の削平地があるが切岸はなだらかである。尾根には数ヶ所堀切が残り、途中石積によって堀切が埋められているような所もある。南西の曲輪は石積が残り、南側に土塁を設け土塁の内側にも石積がある。南西下に堀切が見えるが、急峻な地形と降雨によって降りる事が難しく上から見下ろして確認するのがやっとであった。

平松城址である重富小学校から県道57号線に出て北西へ進んで行くと岩剣神社への道標がある。この岩剣神社に案内板が設置されており、ここから林道を登って行くと途中左手に登山口があり、ここから程よく整備された道を登ると山頂へ通じる。