築城年代は定かではない。 館主は横山氏で建武年間(1334年〜1338年)に来住し、津之郷一帯を所領としたという。

天文17年(1548年)大内氏が神辺城主山名理興を攻めた際には、山名氏の被官で合ったにも関わらず大内方となり、山名氏との和平交渉を行ったという。 その後は神辺城主となった杉原氏に従い、杉原氏滅亡後も所領は安堵された。関ヶ原合戦後に毛利氏が防長二カ国に減封となると横山氏は当地に残り、福山に入部した水野氏に一時仕えたが、帰農して庄屋となったという。

小森館は80m四方の居館で幅9mの堀が四方に巡らされていたという。 山陽新幹線の建設によって発掘調査が行われ、多数の近世陶磁器が出土したという。 現在は新幹線の高架下となり、遺構は何もない。