築城年代は定かではないが元弘年間(1331年〜1334年)肝属兼重によって築かれたと云われる。
兼重は南朝方としてこの城に籠り、北朝方の畠山氏の攻撃をしのいだが支えきれなくなり高山へと逃れた。
明応4年(1495年)島津氏と伊東氏の間で飫肥と三俣の地が交換となり、伊東氏の所領となった。
伊東氏ははじめ八代長門守を城主としたが、天文元年(1532年)島津氏が攻め入り天文3年(1534年)長門守は討死、替わって城主となった落合兼佳は北郷氏に降った。
豊臣秀吉による九州統一後は都城の伊集院氏の所領となったが元和元年(1615年)廃城となった。