貞和元年・興国6年(1345年)中村宗香(仁位宗香)によって築かれたと云われる。
中村宗香は筑前守護代宗経茂の弟で、宗頼次と称していたが、対馬守護代として対馬の仁位中村に館を構え、仁位氏あるいは中村氏を称した。
中村宗香の子澄茂は今川了俊のもと対馬守護職となり、その子頼茂と二代続いて仁位宗家が守護職であったが、了俊の失脚とともに宗本家の貞茂が島主となった。
仁位館は現在の豊玉高校の敷地辺りに築かれていたという。遺構はないようだが、山裾は「お館様」と呼ばれる石祠があるという。ただ探してみたがそれらしいものは見つけられなかった。