治承年間(1177年〜1181年)に緒方三郎惟栄の弟佐加四郎惟憲によって築かれたとも伝えられるが詳らかではない。
弘治2年(1556年)小原鑑元らが大友義鎮に反乱を企て、これに同調した佐伯惟教は義鎮によって討伐軍を送られた。惟教は討伐軍と交戦せずに一族を率いて伊予の西園寺実充を頼って落ちていった。永禄12年(1569年)惟教は義鎮に許されて豊後に戻り、烏帽子岳城を築いてここを守った。元亀元年(1570年)には旧領である栂牟礼城を返還され惟教はこれに移ったという。
烏帽子岳城は佐賀関半島に聳える標高267.8mの城山山頂に築かれている。 現在は山頂近くまで車道が通じ、山頂は城山森林公園として整備されている。
主郭は山頂にあり、そこから北西に伸びた尾根に細長い曲輪が続いている。 主郭には高射砲の台座が残っているが、特にめぼしい遺構はなく、北に向かって二段ほどの段が付く。その先に土橋を残した堀切があり、その先は北西に続く尾根に100m程の平段が続き、曲輪の縁には躑躅が植えられている。
堀切から東山腹に降りると横堀状になった空間があり、その北と南端に大きな竪堀が落ちている。竪堀には石積によって補強された部分がある。山腹をさらに北へ行くと、石積があり、さらに北に二条の竪堀が残っている。
南尾根は遊歩道によって大きく削られているが、二・三条堀切がある。
国道197号線愛媛街道を東へ進み道の駅「佐賀関」を越えてしばらく行くと「城山森林公園」への道標が出ている。ここから佐賀関ダムに向かって登っていくと駐車場が完備された南側の登山口に着く(地図)。
ここからだと比高60m程であっという間に山頂に着く。
最寄り駅(直線距離)