築城年代は定かではないが南北朝時代に穴沢氏によって築かれたと云われる。 穴沢左衛門成季は田村宗季とともに南朝方に属したという。

穴沢館は南北70m、東西50m程の本丸と北郭・南郭で構成されていたという。本丸の周囲には幅10m〜15m程で空堀が巡らされていたという。

現在は農地整備によって本丸部分のみが畑として残り、周囲は水田となったというが本丸部は薮化しているようである。