文安3年(1446年)土持宣綱によって築かれたと云われる。

縣庄を本拠として勢力を張った縣土持氏は宣綱の時、松尾城を築いて西階城より移り、康正2年(1456年)一族の財部土持氏とともに都於郡城の伊東氏と戦ったが敗れ、翌長禄元年(1457年)には財部城は伊東氏によって包囲され、開城して財部土持氏は滅亡する。

その後、縣土持氏は伊東氏と門川城、日知屋城などを争って度々戦うが、元亀3年(1572年)木崎原の戦いで島津氏に敗れた伊東氏は瞬く間に衰退し、天正5年(1577年)伊東義祐は都於郡城を捨てて大友氏を頼って落ち延びた。これによって島津氏と大友氏の巨大勢力の狭間に立つこととなった縣土持氏は、島津氏、大友両氏に通じて命脈を保とうとするも、天正6年(1578年)大友氏の大軍に攻撃され落城し滅亡した。

その後、耳川合戦で大友氏を敗った島津氏の所領となったが、天正15年(1587年)豊臣秀吉による九州征伐の後は高橋元種が入封し、慶長8年(1603年)延岡城を築いて移るまでの居城であった。

城は五ヶ瀬川の北岸にある丘陵に築かれている。

現在は南西隅部の曲輪に土持氏記念碑が建ち、そこに標柱もある。空堀を越えた北東側の曲輪には社があり、北端に土塁が残る。更に北東側にもいくつか曲輪が残るが畑となっているようである。

本東寺には徳川家康の孫で、慶長19年(1614年)肥前国日之江から延岡に入封した有馬直純の正室日向御前の墓がある。

東側にある本東寺の脇の細い道を登って行くと公園に達する事ができ登り口に一台駐車できるスペースもあるが、道が狭いので歩いて見るほうが良いだろう。