築城年代は定かではないが明応年間(1492年〜1501年)頃に志佐純本によって築かれたと云われる。 志佐純本は田平の里城主峰昌のことで、延徳2年(1491年)平戸の松浦弘定との争いの結果、昌の長男太郎興信を弘定の養子として里城を譲り、自身は志佐氏の名跡を継いで志佐純本と称した。
志佐純本がこの地に館を築いて隠棲し、三男純忠のこの地を与え、深江純忠と称しその子深江将監忠昌と続いた。
深江氏館は江迎鹿町駅の南西側にある丘陵に築かれていたという。 「日本城郭大系」によれば、藤護神社辺りを山城として詰城とし、北下の台地に居館があり、空堀が残るという。
居館にある空堀を確認したかったのだが、家を建築中であったため確認できなかった。建設中の建物は形からすると公民館のような気もするが不明である。日が暮れてしまって行けなかったのだが、江迎町長坂にある寿福寺に深江氏三代(純本・純忠・忠昌)の墓がある。