築城年代は定かではないが斉衡年間(854年〜857年)財部土持氏によって築かれたと云われる。
財部土持氏は日向一円に広がった土持七頭の一つであったが、長禄元年(1457年)景綱の時、伊東祐尭に小浪川合戦で敗れ滅亡した。
伊東氏は落合民部少輔を城主とし伊東氏48城のうちの一つとなった。
豊臣秀吉による九州統一後は秋月種実の所領となり、慶長9年(1604年)種長の時、串間城から財部城に居城を移した後、明治まで秋月氏の治政が続いた。
慶長12年(1607年)からは城改修を行い、山上に三重櫓が設けられるなど近世城郭へと変貌した。また地名も延宝元年(1673年)三代種信の時、高鍋と改めた。