築城年代は定かではない。一説に播磨国の赤松氏の三男石黒某が升田に住み砂越の館を構えて移ったが、鎌倉から出羽郡司として砂越氏が下向した為に砂越を明け渡して松山へ移り、砂越氏が城主となったという。

永正10年(1513年)砂越氏雄は大宝城主武藤氏と戦って敗れ武藤氏維が砂越城主となった。天正16年(1588年)越後国の本庄繁長が庄内へ侵攻し、砂越武藤氏は青沢へ退き後に三春城主秋田安房守に仕えたという。

砂越城公園が主郭跡で周囲に土塁が残り、西側には濠も残る。東隣の長應寺が二の丸とされ、南側に土塁が残っている。