築城年代は定かではない。長享2年(1488年)安倍有宣が京より下向して屋敷を構えたことに始まる。
安倍有宣は陰陽師安倍晴明の末裔で公家として代々朝廷に仕えていた。安倍家は正和6年(1317年)花園天皇より「泰山府君祭料地」として安倍有弘が御綸旨を賜ったことから、この名田庄との関わりが始まったとされる。
安倍氏は土御門家として有宣、有春、有脩、久脩と続いたが、慶長5年(1600年)勅命により上洛、翌6年より京へ移ったため、この地を去った。
土御門家の屋敷は南川の北岸、山麓からやや高くなった所に築かれている。
館跡は麓より一段小高くなった所にあり、南から階段で上っていく。館跡の一角に泰山府君社祠跡があり、その南側に方形の天壇がある。西の谷筋を入った所に土御門家の墓所がある。
国道162号線沿いにある道の駅「名田庄」から東へ500m程進んだ所に案内板があり、この辺りに駐車できる。