築城年代は定かではないが慶長年間に屋代勝永によって築かれたと云われる。
屋代氏は信濃国村上氏の庶流で村上氏に従っていたが、屋代志摩守正国の時に武田氏に降った。長篠合戦で正国の嫡子正長が討死すると秀正を養子に迎えた。秀正は武田氏滅亡後に一時上杉景勝に属して海津城を守ったが、後に徳川家康に従った。越中守勝永と名乗った秀正は家康に従って巨摩郡の三之倉・神取・若神子・日野・小田川などで六千七十三石余りを領して住んだのがこの屋敷という。
勝永没後、家督を継いだ屋代忠正はそれまでの自分の所領四千石と遺領六千石余りを合わせて一万石を領し駿河大納言徳川忠長に仕えたが、寛永9年(1632年)忠長の改易に連座して所領を没収された。寛永13年(1636年)赦免され、寛永15年(1638年)には安房国一万石を領して北条藩を立藩し大名に復帰した。
屋代氏館は塩川東岸の上神取集落に築かれていた。 現在は開墾されて大部分が畑となっているが、道路に面して土塁が南北に残っている。