築城年代は定かではない。長禄2年(1458年)島津忠国は新納忠続を志布志城から飫肥城へと移し、伊東祐国に備えた。

新納忠続は櫛間城主伊作久逸と不仲であったことから、伊作氏は伊東氏に通じ、文明16年(1484年)には伊東祐国が飫肥へ侵攻、翌年にも祐国が飫肥へ侵攻したが討死してしまった。島津氏は新納忠続を志布志へ戻し、代わりに帖佐より島津忠廉(豊州家)を飫肥へ派遣した。

天文10年(1541年)頃から伊東義祐は飫肥へ侵攻を開始、永禄5年(1562年)には飫肥城を攻め落としたが奪い返されたため、永禄11年(1568年)には自ら大軍を率いて飫肥城を攻め落とし、子の伊東祐兵を飫肥城主とした。

天正5年(1577年)祐兵は島津氏に奪われた櫛間城を取り戻すために出兵したが、戦いに敗れ、逆に飫肥城を包囲された。父義祐の周りでも譜代家臣の中に島津に寝返るものが続出した。祐兵は飫肥城を捨てて義祐に合流、義祐とともに日向を捨てて豊後の大友宗麟を頼った。

島津氏の所領となると上原長門守が城主となったが、天正15年(1587年)豊臣秀吉の九州征伐の後、流浪の後、秀吉に仕えていた祐兵が再び飫肥城主となり、はじめ三万六千石、関ヶ原合戦の後に五万七千石の大名となった。

寛永13年(1636年)三代祐久が家督を相続したとき、弟祐豊に三千石を分与して五万四千石、明暦3年(1657年)四代祐由が家督を相続したとき、弟祐春に三千石を分知して五万一千石となり、以後代々続いて明治に至る。

飫肥城は酒谷川に面した台地に築かれており、大きな空堀で区画した曲輪を連ねる群郭式山城であったものを近世城郭として改修したものである。

本丸は現在の「旧本丸」と呼ばれている所にあったが、大地震のあとの貞享3年(1684年)から改修され、現在の小学校のある中の丸と今城をならして本丸とした。旧本丸の南に松屋丸、北に中の城、北の城、北西に西の丸など数多くの曲輪が築かれていた。

城内には現存する建物はないが、大手に櫓門、松尾の丸に御殿、旧本丸の北側にも城門が再建されている。城下町は今も尚風情が残り、大手門脇にある豫章館は旧御三家の伊東主水家の屋敷で、維新後県知事となった伊東祐帰が移り住んだ。

大手門の近くに観光用の無料駐車場がある。城内は無料で散策できるが、飫肥城歴史資料館や松尾の丸、豫章館などの施設は有料である。これらをまとめて見学できるチケットも販売されている。