築城年代は定かではないが土肥氏によって築かれたと云われる。 中世に中新川一帯に勢力を持った土肥氏の一族の居城で、城主は土肥孫十郎、土肥源太郎、土肥孫太郎、土肥弥太郎などの名が残っている。

土肥美作守政繁が佐々成政との戦いに敗れた際に、郷柿沢館城主は出陣することができず降伏して帰農した。その後松倉城主椎名氏の子孫椎名兵部を招いて西養寺を開山し現在に至るという。

郷柿沢館には現在西養寺があるが、その周囲には土塁と濠が残り、西と南東部に虎口がある。

最寄り駅(直線距離)
1.5km 新宮川駅
1.8km 上市駅
2.4km 中加積駅
2.9km 新相ノ木駅
3.5km 相ノ木駅

付近の城(直線距離)
1.1km 越中 鋤山砦
1.9km 越中 堀江城
2.7km 越中 小森館
2.7km 越中 堀江館
3.1km 越中 上梅沢館
3.4km 越中 有金館
3.7km 越中 黒川砦
4.5km 越中 森野新館
4.5km 越中 柿沢城
4.8km 越中 郷田砦
5.0km 越中 弓庄城
5.1km 越中 日中城
5.2km 越中 小出城
5.7km 越中 竹内館
5.7km 越中 仏生寺城
6.0km 越中 稲村城
6.1km 越中 蓑輪城
6.3km 越中 石の門砦
6.4km 越中 水尾城
6.5km 越中 水尾南城
6.5km 越中 南升方城
6.6km 越中 鶯野城
6.6km 越中 茗荷谷山城
6.8km 越中 升方城

2010年7月