築城年代は定かではないが弘安年間(1278年〜1288年)在原信盛によって築かれたと云われる。 信盛が弘安年間に京より松平郷へ下向して館を築いたのが始まりとされる。
信盛のあとを継いだのは嫡子信重である。ある日、徳阿弥と称する旅僧が信重の催した連歌の会に立ち寄り、それが縁となって信重の次女水女の入婿となった。後に見込まれて還俗して松平太郎左衛門親氏と名乗って信重のあとを継いだ。この親氏が松平氏の祖となるのだが、後に徳川氏が新田源氏を称するのは、この徳阿弥が上野国新田郡世良田荘得河郷の出自とされたからだ。
親氏のあとを継いだのは泰親である。親氏の子、信広と信光が幼少であった為、世良田より呼び寄せていた弟の泰親が相続したという。応永年間には岩津を攻めたが、この時信広が傷を負った為、信広は松平郷に留まることとなった。この家系が江戸時代に交代寄合として代々松平郷に続いた松平太郎左衛門家である。
現在は松平東照宮となっている。境内を囲むように水堀があるが、この石垣は江戸時代初期のものだという。