永禄5年(1582年)大友宗麟によって築かれたという説が一般的であるが、弘治2年(1556年)に小原鑑元の反乱で大友宗麟が丹生島に避難していることから、この頃には何らかの施設があったとも考えられている。

大友氏が毛利氏に門司での合戦に敗れた後、本拠地として築かれ府内城から移った。 このとき宗鱗は隠居し家督は義統が継いで府内城に居住しているので隠居城であったが、南蛮貿易などで栄え実質の中心地であった。

天正6年(1578年)の耳川合戦で島津氏に大敗すると、豊後まで北上してきた島津軍の攻撃を受ける。これに対してポルトガルより輸入した国崩しと呼ばれる大砲を城内から撃ち込んで島津氏を退散させるが、城下町は焼失してしまう。

文禄2年(1593年)文禄の役で大友義統は鳳山城を破棄して敵前逃亡した罪により改易された。翌3年(1594年)福原直高(後の長堯)が臼杵城主となった。

慶長2年(1597年)福原直高は府内城へ転封となり、代わって太田一吉が三万五千石(後に六万五千石)で臼杵城主となった。慶長5年(1600年)関ヶ原合戦で太田一吉は病と称して臼杵城を動かなかったが、子の一成が西軍に属して戦ったため戦後改易となった。

慶長5年(1600年)美濃国郡上より稲葉貞通が五万六十石で入封、以後稲葉氏が十五代続いて明治に至る。

臼杵城は臼杵湾に浮かぶ丹生島という島に築かれており、大友氏の時代は丹生島城と呼ばれていた。現在は臼杵公園として整備されている。

臼杵城は丹生島城と呼ばれる四方急峻な島に本丸と二の丸が築かれており、福原氏・太田氏の時代に「祇園州」と呼ばれる対岸の埋め立てが進み三ノ丸が築かれた。この三ノ丸と丹生島との間は「古橋」と「今橋」という二つの橋で結ばれた。太田氏から稲葉氏に代わる頃には31基の櫓と7基の櫓門があったといわれる。

本丸と二の丸の間の空堀は稲葉氏時代に整備されたもので、北側には天守櫓があった。

臼杵城は臼杵公園となっており、北側には車道が付けられ破壊された部分も多々あるが、畳櫓や卯寅口門脇櫓が現存し、大手櫓門が復元されている。また城下には維新後に建てられた旧臼杵藩主稲葉家下屋敷も現存している。

北側の今橋口から車道が山上まで通じており、本丸まで車で登ることもできる。麓から登る場合、西側の稲葉家下屋敷付近に観光者用の無料駐車場が用意されている。

少し離れた臼杵石仏にヤマコ臼杵美術博物館(地図)があり、ここに臼杵藩稲葉氏、臼杵城に関する展示がある。