築城年代は定かではないが阿部因嶽正によって築かれたのが始まりとされる。
その後は、安藤薩摩守信平が城主となった。信平は親鸞聖人を招いて説法を聞いたところ、この教えに感化され、武士をやめて念信と改名、明眼寺と名付けたという。これが現在の妙源寺とされる。
安藤氏はのちに徳川氏に仕え、安藤直次のときに徳川家康の関東移封にともない関東へ移った。その後、掛川城主を経て紀州徳川の付家老として紀伊田辺城主となっている。
桑子城は妙源寺の南西付近に築かれていたというが遺構はない。妙源寺には安藤氏を始め本多氏の墓が残る。
妙源寺参拝者用の駐車場がある。
最寄り駅(直線距離)