築城年代は定かではない。室町時代に九戸信伸、戦国時代に江刺家氏の居城であったとも云われるが定かではない。
江刺家氏は九戸氏の一族とも小軽米氏の一族とも云われ詳らかではないが、天正19年(1591年)九戸の乱で九戸城に籠城した人物に江刺家一照斎、慶弔5年(1600年)南部信直が出羽に出兵したときの従軍者に江刺家瀬兵衛の名が残る。
江刺家館は瀬月内川の西岸にあり、川に向かって緩やかに傾斜した丘陵に築かれている。
江刺家館は内部が畑地になっていて明瞭ではないが、中央東よりが周囲より低く、いくつかの段があるがほぼ緩斜面になっている。外側は東側を除く三方を空堀が巡っており、北東側の一部と西側が二重の空堀になっている。また、西側は二重堀の奥にさらに一条の堀が巡っている。この堀は南側にも回っていたようであるが、現在は消滅している。
江刺家小学校の北側が江刺家館である。入口がわからずぐるりと車道を一周してしまったが、北東側の道路に面して空堀の末端があったのでここから入った。