築城年代は定かではない。

建武年間(1324年〜1336年)には伊賀国より下った伊賀隆定の二男定澄が赤館城主となり、赤館氏を名乗り、以後代々赤館氏の居城となった。

永禄3年(1560年)寺山館まで勢力を北上させた佐竹氏に対抗するため、白河結城氏は葦名氏に支援を求め、葦名氏によって赤館が改修され、赤館氏は沢井へ領地替えし、上遠野盛秀を城代とした。

天正3年(1575年)佐竹氏は赤館を攻略し南郷を制圧し、赤館・寺山館・羽黒館・東館をもって南郷衆を組織した。

関ヶ原合戦後に佐竹氏が出羽国秋田へ転封となると一時天領となったが、慶長8年(1603年)立花宗茂が棚倉一万石を領して大名に復帰し、そのとき居城したのがこの赤館といわれる。宗茂は後に三万五千石に加増され、元和6年(1620年)宗茂は旧領の筑後国柳河へ転封となった。元和8年(1622年)丹羽長重が常陸国古渡より五万石で入封すると、新たに棚倉城を築いて居城を移し廃城となった。

現在は赤館公園として山頂の主郭付近が整備されている。主郭から北側へ降りて行くと山麓に横堀が築かれており外側に土塁が残っている。

棚倉の市街地から県道25号線を北上すると赤館公園への入口があり、車で山頂まで登ることができる。