築城年代は定かではない。

弘治2年(1556年)小原鑑元らが大友義鎮に反乱を企て、これに同調した佐伯惟教は義鎮によって討伐軍を送られた。惟教は討伐軍と交戦せずに一族を率いて伊予の西園寺実充を頼って落ちていった。永禄12年(1569年)惟教は義鎮に許されて豊後に戻り、烏帽子岳城を築いてここを守ったという。元亀元年(1570年)には旧領である栂牟礼城を返還され惟教はこれに移ったという。

烏帽子岳城は佐賀関半島に聳える標高267.8mの城山山頂に築かれている。 現在は山頂近くまで車道が通じ、山頂は城山森林公園として整備されている。

主郭は山頂にあり、円形の窪地は高射砲の跡である。主郭に土塁はなく虎口も明確ではない。北端の堀切8に近い西側面に石積がある。

主郭の北には浅くなった堀切8の先に曲輪IIがある。曲輪IIは北の尾根先まで削平されて曲輪となっているが、北端部に堀切は確認できない。堀切8は西側が横堀状になり、先端は竪堀になる。

東側面には土塁のついた曲輪IIIがあり、間隔を開けて竪堀4～7が配置されている。このあち竪堀4、5はかなり長く、一部に石積を伴う。

主郭から南へ伸びた尾根には二条の堀切1、2が確認できる。

国道197号線愛媛街道を東へ進み道の駅「佐賀関」を越えてしばらく行くと「城山森林公園」への道標が出ている。ここから佐賀関ダムに向かって登っていくと駐車場が完備された南側の登山口に着く

森林公園への道は林道なのだが、2013年に訪れたときよりも明らかに荒れており、東の佐賀関方面は上から木々が覆いかぶさってくるような状態であった。まだ北西の佐賀関ダム経由のほうが道が良い。