築城年代は定かではないが藤原清兼によって築かれた平島塁がその前身である。
天文3年(1534年)室町幕府11代将軍足利義澄の二男足利義維(後の義冬)が阿波国守護職細川持隆に招かれ、三千貫の所領を与えられて阿波へ移り、平島塁を修築して住んだのが平島館である。
平島館に代々住んだ足利氏は阿波公方あるいは平島公方と呼ばれた。足利義冬の長男が永禄11年(1568年)に三好三人衆に奉じられて第十四代室町幕府将軍となった足利義栄である。
江戸時代になって蜂須賀氏が支配するようになると平島公方の所領は減らされ、わずか百石となった。四代義次のときには足利から平島に改めるように命じられ、以後平島氏を称するようになる。文化2年(1805年)九代義根のとき阿波から脱出して紀州経由で京へ上った。これにより平島館は廃城となった。
平島館は現在阿波公方・民俗資料館が建っている辺りに築かれていた。 現在ここに残っている平島館の遺構は資料館の東側にわずかに土塁が残っているだけであるが、信行寺(阿南市那賀川町)と吉祥寺(阿南市長生町西方)に山門、地蔵寺(小松島市松島町)に書院と玄関が移築され現存している。
玄関と書院(移築 書院)
門(移築 城門)