詳細不明。
寺谷館は比高30mほどの丘陵の上に築かれており、東背後には詰城と考えられる寺谷城が存在する。
丘陵の上に石積で区画された方形に近い曲輪がある。周囲は比較的広いなだらかな地形が拡がるが畑として開墾されているため遺構の判断は難しい。
曲輪の石積は比較的大きく高さ2m前後で積まれている。南に虎口があるが、この付近の石は特に大きく整然としている。北背後は尾根を削り込んで曲輪となっており、北側は開墾されているため不明だが堀切は見当たらない。
川沿いに登って行くと砂防ダムがあり、東から越える道が付いている。砂防ダムの北側から沢にかかる石橋があり、そこから登って南に進むと館跡となる。
駐車場はない。砂防ダムのところに駐める事はできるが民家の敷地かもしれない。