築城年代は定かではないが鎌倉時代に加須屋氏(糟谷)によって築かれたと云われる。 糟谷氏は相模国大住郡糟屋荘発祥で藤原氏の末裔という。寿永3年・元暦元年(1184年)源頼朝に属して平氏討伐に功を挙げた有李が、播磨国印東郡南条郷を得たことに始まる。

天正5年(1577年)羽柴秀吉が播磨へ侵攻して大半の勢力を味方にして、翌6年再び播磨に入ると加須屋館(加古川城の前身)で播磨国人衆を集めて評定が行われた。この軍評定が別所氏の離反をまねき、三木城合戦のきっかけとなったと云われる。

この三木城合戦で糟谷氏は別所方と羽柴方に別れて、羽柴方についた糟谷武則は後の賤ヶ岳合戦で七本槍の一人と数えられ、加古川城を居城として三万五千石を領したが、関ヶ原合戦で西軍に属したため改易となった。