築城年代は定かではないが平安時代に安倍頼時によって築かれたと云われる。 衣川柵を居城とした安倍頼時の末子白鳥八郎行任(則任)の居城であった。

中世初期には山名氏、末期には岩渕氏や白鳥氏が居城としたという。

白鳥館は北上川に張り出した丘陵にあり、北上川が館山を迂回して流れている。

北から南へ本丸・二の丸・三の丸を配しており、空堀で区画される。本丸は北側が崩落によって破壊を受けている。二の丸は白鳥神社が祀られ西側に土塁が残る。三の丸は宅地となっている。