築城年代は定かではないが溝江氏によって築かれたと云われる。 溝江氏は南都興福寺の荘園のうち河口荘溝江郷を中心に勢力を拡げた国人である。
永禄10年(1567年)堀江館の堀江氏が秘かに一向一揆と結んで朝倉氏に背くとの風説が広まり、これを聞いた朝倉義景は魚住備後守景固と山崎長門守吉家を大将として堀江氏を攻めさせた。このとき朝倉方が本陣を置いたのがこの溝江館である。 堀江氏は和議の後、能登国熊木へ隠棲した。
天正元年(1573年)朝倉氏が織田信長に滅ぼされると、溝江氏は織田氏に従い所領を安堵された。しかし、翌天正2年加賀国一向一揆が越前に攻め寄せると、能登へ逃れていた堀江氏も一向一揆とともに越前に攻め入り、溝江館を襲い溝江河内守景逸(宗天入道)と溝江大炊介長逸父子ら一族郎党は自刃して滅亡した。
溝江館は市姫町にある「ふるまちふれあい会館」の西隣に築かれていた。
地籍図では土塁に囲まれた方形居館を確認できたが、現在は遺構を確認することはできない。現在は案内板が設置され、お堂が奥に祀られている。北東にある妙隆寺は溝江氏の菩提寺という。