築城年代は定かではない。鎌倉時代に駿河権守高階保遠入道西忍の居館であったという。

建永2年(1207年)浄土宗の開祖法然上人が流刑となり、この地へ配流となると塩飽の地頭駿河権守高階保遠が迎え入れ、館の前に庵を建てた。これが現在の専称寺の前身という。

高階氏館は現在の専称寺の境内とされる。専称寺からは笠島城への遊歩道があり、北の笠島集落から南の泊集落へ抜ける峠に隣接している。

またこのお寺には年寄吉田彦右衛門の墓がある。

最寄り駅(直線距離)
8.0km 児島駅

付近の城(直線距離)
0.1km 讃岐 笠島城
0.7km 讃岐 塩飽勤番所
1.1km 讃岐 泊古城
3.2km 讃岐 与島城山城
4.9km 備前 祇園下台場
5.0km 備前 釜島城
5.0km 備前 下津井古城
5.1km 備前 西ノ脇台場
5.2km 備前 田之浦台場
5.4km 備前 下津井城
5.6km 讃岐 沙弥城山城
7.0km 備前 湊山城
8.1km 備前 宮の鼻城
9.0km 讃岐 聖通寺城

2014年10月