戦国時代の城主は土肥源七とも土肥源十郎、土肥弥太郎とも伝えられる。永禄12年(1569年)上杉謙信に攻められ落城した。

堀江城は上市川の北岸にある中加積神社の南の墓地や田畑となっている所にあったという。上市川の氾濫によって段丘が削られ遺構は残っていない。かつて上市川は城の北側を流れていたという。