築城年代は定かではないが堀江氏によって築かれたと云われる。 堀江氏は鎮守府将軍藤原利仁の後裔で、齋藤氏の流れを汲み、利仁より九世の孫實嗣のときに越前国坂井郡堀江郷より、堀江を名乗ったと云われる。

当初は番田に館を構え、細呂木郷・本庄郷・荒居郷に広く公文職を有した有力な勢力であったが、長禄年間に越前守護の斯波氏と守護代甲斐氏・朝倉氏との内紛で守護方に味方して敗北し、衰退すると朝倉氏に従った。

堀江氏はその後、一向一揆に対応するために番田から下番に館を移したと云われ、それがこの下番の堀江館である。

永禄10年(1567年)堀江氏が秘かに一向一揆と結んで朝倉氏に背くとの風説が広まり、これを聞いた朝倉義景は魚住備後守景固と山崎長門守吉家を大将として堀江氏を攻めさせた。このとき朝倉方は溝江館に本陣を置いて堀江景忠父子を攻めたが、堀江氏も巧みな戦術でこれを撃退し、最終的に和議となって堀江父子は堀江館を出て能登国熊木へ隠棲した。

朝倉氏が織田信長に敗れて滅ぶと、天正2年(1574年)堀江氏は加賀一向一揆とともに越前に侵攻し、溝江館の溝江氏を攻めて滅ぼすと、秘かに織田氏に通じて海神城主となり、名を岡部に改めた。

下番の堀江館は現在の本荘小学校一帯に築かれていた。 堀江館は番田と下番そして中番にあったと云われるが、この中番の堀江館は隣接する春日神社の地にあったと云われる。またその隣にある龍雲禅寺は堀江氏の菩提寺である。

下番の堀江館は小学校の西側に堀江石見守の偲ぶ石碑が建てられているが、めぼしい遺構は残っていないようである。