築城年代は定かではない。武田氏に仕えていた渡辺因獄祐の屋敷と伝えられ、天正10年(1582年)武田氏が滅亡した後は徳川家康に従い、本栖城に籠もって北条氏の軍勢を退けたという。
この地に屋敷が構えられたのはいつの時代か定かではないが、渡辺因獄祐の祖父渡辺知の頃に本栖へ来て中道往還の警固の役目に就いたとされる。
渡辺因獄祐屋敷は渡辺因獄祐の墓がある渡辺屋敷と呼ばれる部分と煙硝屋敷と呼ばれる部分が隣接してあり、石塁によって区画されている。煙硝屋敷の部分には犬が飼われており、さんざん吠えられたが、飼い主の方に見学を申し出ると快諾していただけた。
国道沿いに道標が出ている。車は本栖湖観光用の駐車場が利用できる。