築城年代は定かではないが室町時代に高瀬土佐守によって築かれたと云われる。 高瀬氏は赤松氏の一族で羽柴秀吉による三木城主別所氏攻略に際して滅亡したという。

また一説に天正年間(1573年〜1592年)頃に高砂浦の城主梶原氏の家臣円山祐則が城主であったとも云われる。

現在は市街地に埋没して遺構は残されていない。 イズミヤとコーナンの駐車場を結ぶ通路の脇の一画に西脇城の石碑が建つ。