鎌倉御家人で入江一族の渋川権守遠兼より始まる渋川氏の館と伝えられる。 「曽我物語」・「吾妻鏡」に散見される渋川中務丞兼貞・渋川孫次郎朝貞がおり、朝貞は梶原討伐で活躍した。
南北朝時代には入江左衛門尉春倫が渋川氏の後に居住したとも伝えられる。
渋川館は周囲に土塁と堀を巡られた方形の居館であったとされ、昭和初期の頃までは周囲の土塁が概ね残っていたとされるが、現在はわずかに北東隅付近の土塁と濠跡が残っているだけとなっている。降雨のため山城をあきらめ平地の屋敷跡を探して回ったが遺構とよべるものが残っているのはこの渋川館のみである。
土塁は金剛院の北側にある駐車場に面した道路を北東へ進んで行くと左側にあり、案内板が建てられている。