平安時代末期に横江氏によって築かれたと推測されているが定かではない。 横江氏は林六郎光明の五男横江基光を祖とする。

館は宇佐八幡神社の北西の水田付近にあった。遺構は残っていないが、圃場整備とともに発掘調査が行われ、東西に走る堀が検出され、14世紀後半の遺物が出土している。