正和2年(1313年)来住惟友によって築かれたと云われる。 来住氏は清和源氏多田満仲の後裔が下向して来住氏を名乗ったのが始まりとされる。

天正年間(1573年〜1592年)来住景政・景利父子は別所氏に従って三木城に籠城し天正8年(1580年)の落城に際して戦死したという。以後、来住城は廃城となってその子孫は帰農したといわれる。

現在は宅地や田畑となっているが、主郭が1m程の高さで残っている。 主郭の北東隅部には社が奉られ、南側に曲輪へ入る道が付いており、ここが虎口であったのだろうか。

主郭の北側にある民家の塀際に土塁跡らしき土盛が確認できる。

来住小学校の北側の県道118号線を西へ進み、谷川橋を渡って少し進んだ所にある交差点を南下する。200m程南下すると左側に城の台地らしいものが見える。右側には家老戸谷公民館がある。