築城年代は定かではない。大内氏の家臣冷泉判官隆豊の館という。

冷泉氏は大内弘世の五男弘正を祖とする。興豊の時に母冷泉少納言の名を取り冷泉氏を称した。この興豊の子が隆豊で天文二十年(1551年)8月陶晴賢が謀反を起こして大内義隆を討った大寧寺の変で奮闘するも及ばす義隆に殉じた。

隆豊の妻子(平賀弘保女と五郎・四郎)は舅であった安芸国頭崎城主平賀弘保を頼って落ち、後に毛利氏に召し出された冷泉五郎元豊は玖珂郡祖生郷の内千貫文を宛がわれた。元豊は永禄5年(1562年)豊前国柳浦で討死し、家督は弟四郎元満が継いでいる。冷泉元満は慶長2年(1597年)朝鮮蔚山城にて戦死し家督は元珍が継ぎ、江戸時代は萩藩家臣として続いた。

冷泉氏館は島田川に注ぐ支流の北側にあり南西に延びた舌状の丘陵に築かれている。

日本城郭体系によれば「四方に土居を残し石垣も一部残存している」とあるが、現在は土居は残っていないようである。現在は丘陵の南側に冷泉社が祀られ五輪塔群がその脇に置かれている。この五輪塔が冷泉氏にまつわるものかどうかはわからない。

館跡はほぼ平坦であるが社付近が一段高くなっている。北西から南にかけて帯曲輪のような段が設けられている。

国道437号線祖生バイパスから県道115号線に入り橋を渡って直ぐを右折して旧国道437号線を南下する。すると祖生東小学校に達する前に左側に「冷泉屋敷」の道標がたっている。この道標に従って行くと冷泉社に至る。集落内には駐車スペースがないので最初の標柱近くの路肩に駐車するのがよい。