伝承によれば南北朝時代に大坂の八王寺からきた高木佐門李平の居館があったとも云われる。

天正13年(1585年)千徳氏の浅瀬石城が南部信直に攻められた時に、援軍要請に応えて後詰めした大浦為信が陣を構えた所で、慶長元年(1596年)津軽為信が千徳氏の浅瀬石城を攻め滅ぼした時にも陣が構えられた。

高木地蔵館は高木集落の台地に北東端にある愛宕神社一帯に築かれていた。 神社の南側に空堀が残っていたようであるが、現在は埋め立てられたのか残っていない。