築城年代は定かではない。城主は松本対馬と伝わる。松本氏は船岡館を居城とした葦名氏四天王の筆頭松本氏の一族である。

松本対馬は允殿館の館主ともされる明徳7年に登場する松本右馬允の叔父で、謀反をおこし明応9年(1500年)葦名盛高に攻められ綱取城へ逃れたが後に討たれた。

対馬館は現在完全に市街地に没して遺構は残っていない。おそらく県営住宅の対馬館団地が建っている辺りに館があったものと思われる。