建武4年・延元2年(1337年)伊東祐持によって築かれたと云われる。 伊東氏は源頼朝の家臣工藤祐経が日向の地頭職を得てその子祐時が伊東氏を称したことに始まる。祐持のとき日向に下って都於郡城を築いたが、その後京都で没し、祐持の子祐重が貞和4年(1348年)に日向に下向、一族の守永祐氏に奪われていた都於郡城を回復して居城とした。
その後、伊東氏代々の居城として続いたが、永正元年(1504年)火災によって焼失し、その後は宮崎城や佐土原城などを居城とすることもあった。伊東義祐は嫡男義益を都於郡城に置いて自身は宮崎城や佐土原城を居城とした。家督を継いだ義益が没すると、その嫡男義賢も都於郡城主となった。
日向一円に勢力を拡げ伊東氏四十八城と呼ばれる勢力を持った伊東氏も、天正5年(1577年)島津氏に敗れ、豊後の大友宗麟を頼って落ちていった。
島津氏の所領となると鎌田政親が城主となり、天正15年(1587年)豊臣秀吉による九州征伐の後は佐土原領となった。
都於郡城は三財川の東岸の台地の上に築かれている。現在は国指定史跡となり公園として整備されている。
都於郡城は広大な台地の上に築かれた群郭式山城で、深い空堀によって曲輪がそれぞれ独立する形になっている。現在公園として整備されているのが中心の五城郭で、本丸、二の丸、三の丸、西の城そして奥の城である。
都於郡小学校と大安寺の間にある大安寺池はかつての堀跡で、大安寺の東の丘には伊東氏歴代の墓所がある。
都於郡小学校を目指して行けば良い。小学校の北側に道標が出ており、それに従って行くと大きな駐車場がある。