築城年代は定かではないが稲沢五郎資家によって築かれたと云われる。 稲沢氏は那須頼資の五男資家が稲沢を分知され稲沢五郎を名乗ったことに始まる。那須六家の一つ。

稲沢氏は那須氏の重臣として続き、江戸時代には黒羽藩の大関氏に仕えたが寛文8年(1668年)稲沢右衛門の時に絶家となった。

稲沢館は稲沢集落の北にあり、国道284号線と西の小川との間に築かれていた。 明治頃までは土塁と堀が良く残っていたといわれるが、現在は土塁や堀の残欠が残るのみで、国道に面した民家の土塁の所に石碑が建っている。

地籍図によれば、南北二郭の複郭の平城で南郭は方形に近く、北郭は南郭の半分程度の広さであった。西は小川による自然の堀で残り三方に堀を巡らせていた。