築城年代は定かではないが、波多氏によって築かれたと云われる。 波多氏の居城としては八幡神社の裏山に波多城がある。 波多氏は、源久の次男特を祖とする松浦党の一族で波多氏を名乗った。

16代波多盛が嫡子なく没すると、後室の妹の子を17代波多親として迎えたが、これに不満を抱いた重臣日高氏は岸岳城を乗っ取った。後室は龍造寺氏に岸岳城の奪還を依頼、日高氏は松浦氏に援軍を依頼したが、松浦氏の到着前に龍造寺氏が攻め寄せ、日高氏は岸岩城を破棄したという。

波多氏はその後豊臣秀吉による九州征伐に参陣せず、秀吉の怒りに触れたが減封のみで存続、しかし文禄の役からの帰国途中で改易となり常陸国筑波山麓へ配流となった。

城は岸岳の山頂部の尾根に曲輪をならべた連郭式山城である。

登山道を尾根まで上り詰めた西端には、旗を立てたとされる岩があり、竹を立てるのに丁度良い大きさの穴が残っている。 そこから東に尾根を進むと、三の丸までは削平された小郭がならび、岩を削った堀切がある。

二の丸前の堀切の両側は近世城郭にみられる石垣で固められ、ここから先は近世城郭の様相で石垣が散乱している。 本丸北側には櫓台があり、大手門跡も石垣の崩れが激しいものの近世城郭の様相をもっている。 主郭から更に東へ進むと三左衛門殿丸を経て断崖絶壁の細尾根となり、姫落しと呼ばれる抜け穴に到達する。

大手門跡から南へ降ると岩の上に石垣を築いた櫓跡が残っている。