築城年代は定かではないが室町時代に杉岡蔵人によって築かれたと云われる。 後に梶原氏が城主となり、三木城合戦では後詰めの役を果たした。

慶長5年(1600年)池田輝政が姫路城に入封すると家臣中村主殿助が高砂城に入城したが、この時、近世高砂城が築かれたが、元和の一国一城令によって破却された。

高砂神社周辺が城址といわれるがこれは近世高砂城で、中世の高砂城の位置は定かではないと云う。