築城年代は定かではないが中世の縣城(あがた)がその前身である。

近世延岡城を築いたのは高橋元種で、豊臣秀吉による九州征伐により松尾城に封ぜられた豊臣大名である。元種は慶長6年(1601年)に延岡城の築城を開始し、慶長8年(1603年)に完成した。

和暦(西暦)	事象
慶長18年(1613年)	高橋元種は罪人を匿った罪により改易。
慶長19年(1614年)	肥前国日之江より有馬直純が五万三千石で入封
元禄4年(1691年)	有馬永純は越後国糸魚川に転封。
元禄5年(1692年)	下野国壬生より三浦明敬が二万三千石で入封。
正徳2年(1712年)	三浦明敬は三河国刈谷に転封。 三河国吉田より牧野成央が八万石で入封。
延享4年(1747年)	牧野貞通は常陸国笠間へ転封。 陸奥国磐城平より内藤政樹が七万石で入封、以後代々続いて明治に至る。

延岡城は五ヶ瀬川と大瀬川が合流する地点にある標高53mの城山と呼ばれる独立丘陵に築かれており、現在は城山公園として整備されている。

延岡城は城山に天主台、本丸、二の丸、三の丸があり、西に離れた内藤記念館の所に西の丸があった。

本丸の中にある小高い山頂部が天主台で、現在は鐘突堂になっている。本丸の東には三重櫓があったが天和3年(1682年)に焼失して以後再建されていない。本丸の南西隅に櫓門があり大手虎口で二の丸に繋がる。本丸の北西隅にある石垣が俗に「千人殺し」と呼ばれている石垣で、一つの石を外すと石垣全部が崩れる仕組みが施されているという。

城山の北側に駐車場がある。有料であるが城山公園を利用する場合無料になるようである。ただ開館時間が9:00頃で時計がずれている。