室町時代中期の永正の錯乱で室町幕府第11代将軍足利義澄が近江へ逃れて将軍職を廃されると、義澄に重用されていた三条実望も身の危険を感じ正室(今川義忠の女)の実家である今川氏を頼って駿河に下向した。この三条実望が駿河で屋敷を構えたのが三条氏館とされ、約三十年程存続したとされる。
三条氏館は「御所ヶ谷(ごしょがや)」と呼ばれる南に開いた谷間にある。 屋敷跡は畑となっているとのことなので、谷の間を通る道の右側にある一段高くなった畑が屋敷跡であろうか。地元の方の話では谷の東側の中腹にある神社は三条氏を祀ったものだという。