築城年代は定かではないが天文年間(1532年〜1555年)に高橋鑑種によって築かれたと云われる。
高橋鑑種は豊後の大友氏の庶流一萬田氏より筑前国高橋氏の家督を継いだ武将で、筑前国守護代として宝満山城と岩屋城の城督を務めた。
高橋鑑種は武勇に優れた武将であったが、永禄年間(1558年〜1570年)に大友氏を離反して毛利氏に付いた。しかし、永禄12年(1569年)毛利氏は山陰で尼子残党が挙兵したこともあって九州から撤退する。これにより後ろ盾を失った高橋鑑種は大友氏に降り、鑑種は高橋家の家督を剥奪された。替わって吉弘鑑理の子の高橋鎮種(のちの高橋紹運)が家督を継いだ。
天正14年(1586年)薩摩の島津氏が北上してくると、岩屋城には高橋紹運、宝満山城には紹運の次男で筑紫広門の娘婿である高橋統増が筑紫氏の家臣とともに籠城した。 岩屋城では壮絶な戦いの末に、高橋紹運以下籠城兵数百がことごとく討死した。
その後、秀吉の援軍が九州に来襲した報を受けた島津氏は城を秋月氏に預けたが、立花山城の立花統虎によって奪いかえされ、天正15年(1587年)破却された。