文治5年(1189年)佐原義連によって築かれたと云われるが定かではない。 佐原義連は葦名氏の祖である。

飯寺という地名の由来は本光寺で葦名直盛が飯を食したからだと伝わる。

館は阿賀川の東岸に築かれており、方形居館であったとされる。 現在のオリンパスの工場の南側にあり、土塁が残っているとあったが現在はもう残っていないようである。