江戸時代初期の大身旗本花房氏の居館である。花房氏は宇喜多氏の家臣であった花房正成のとき宇喜多騒動によって蟄居し、関ヶ原合戦後に徳川家康に旗本として取り立てられ、備中国小田郡・後月郡内で五千石を賜り、横谷御土井に居館を築いて住んだ。
二代花房幸次のときに検地と三千石の加増によって九千石余りとなるが、三代花房幸昌が幼少で家督相続したため三千石は召し上げられ、六千石余りとなる。その後、延宝3年(1675年)横谷御土井を引き上げ、江戸の屋敷へ戻った。
花房氏館は惣門池の東側一帯で中世庄氏の館跡と一部重複していたようである。 現在は宅地などとなって遺構はない。
西の山腹にある総泉寺が花房氏の菩提寺で、境内に花房氏の墓がある。