築城年代は定かではないが大治年間(1126年〜1131年)に宗像大宮司氏平によって築かれたと云われる。 その後、宗像大宮司氏宗の子氏元が祖とされる宗像一族の許斐氏の居城となった。

永禄2年(1559年)宗像鎮氏は大友氏の支援を受けて白山城主宗像大宮司氏貞を大島へ追いやり許斐岳城を居城としたが、翌年毛利氏の支援を受けた氏貞は許斐岳城を攻めて鎮氏を討った。

許斐岳城は標高271.0mの許斐山山頂に築かれている。

主郭は山頂にあり王子神社が鎮座し、東に馬場と呼ばれる広い曲輪があり、その先に堀切を挟んで小段が続いている。

主郭から北へ伸びた尾根は根元を深い堀切で遮断し、無線中継施設のある曲輪に至る。ここから北へ伸びた尾根には無数の連続堀切が連なり、下の方は堀切から堀底道となって伸びている。

主郭から南側へ降りると金魚池と呼ばれる淵を土塁が巡る池のある曲輪に至る。この南側は横堀になっており、金魚池の縁の土塁はこの横堀に対して横矢の構造がある。

宗像市大穂にある宗生寺は許斐氏の菩提寺で、筑前名島に入部した小早隆景ゆかりの寺でもあり名島城の搦手門が移築され墓もある。

登山道はいくつかあるようですが、王丸地区にある六之神社の手前にある「このみ公園」に駐車場がある。