築城年代は定かではないが浦氏によって築かれた。 浦氏は小早川宣平の七男氏実が豊田郡浦郷を所領して浦氏を称したことに始まり、代々小早川氏に従った。

浦氏は五代元安に嗣子がなかったため、乃美家氏の子賢勝に家を継がせた。賢勝の子が浦宗勝(乃美宗勝)で、毛利元就が厳島で陶晴賢を敗った厳島合戦において、村上水軍を味方にするべく外交をした人物として有名である。また、永禄4年(1561年)には大友氏の武将伊美弾正左衛門を討ち取り、永禄11年(1568年)には尼子再興軍や大内輝弘の挙兵によって、毛利の主力が九州より引き上げる中、少数にて立花山城に籠城した。天正3年(1575年)石山本願寺への兵糧補給戦でも活躍している。

現在は公園となっており、どこまで当時の形状を維持しているかわからないが、主郭の北にある二の丸に相当する曲輪の北側には土塁が残っている。

近くの勝運寺は浦氏の菩提寺で浦宗勝の墓がある。