暦応3年・興国元年(1340年)細川師氏によって築かれたと云われる。 それ以前に守護所があったとも云われるが定かではない。足利尊氏の命により淡路を平定した細川師氏が守護となり養宜館に入ったことが知られる。
その後代々淡路国守護細川氏がつづいたが、永正16年(1519年)細川尚春が阿波国にて三好之長に謀殺され、その子彦四郎も淡路国守護となったが淡路には入国できず、養宜館は廃された。
養宜館のある地は古来より淡路の中心として栄えていた地域で、近くには国分寺や未発見であるが国衙の地名なども残っている。
養宜館は南北に長い方形の居館であるが、その規模は大きく現在残っている土塁から推測しても少なくとも南北200m、東西150m程はある。曲輪内は現在大半が開墾されているが、南が高く北が低い地形になっている。周囲は土塁と水堀が巡っていたが、明治以降大きく損なわれて、現在残っているのは北から東にかけてである。土塁の一部には石積が見られるが、手持ちの資料には触れているものはないので後世のものであろうか。
国道28号線から県道128号線に入って西へ進むと平成病院がある。この中八木交差点を曲がって北へ進むと道標がある。館の中心近くにある中八木集会所を目指すと良い。