築城年代は定かではないが小山田氏によって築かれたと云われる。 小山田氏は桓武平氏秩父氏の一族で秩父重弘の次男有重が武蔵国小山田荘に住んで小山田氏を名乗ったことに始まる。武蔵国小山田城を参照。甲斐の小山田氏はこの有重の子小山田行重(一説に行平)より始まるという。
応永23年(1416年)の上杉禅秀の乱で、禅秀に荷担して敗れた甲斐国守護武田信満の妻は小山田弥次郎の娘であった。
永正年間(1504年〜1521年)に武田信虎と信恵との対立で、小山田氏は信恵方に与し、当主小山田弥太郎は討死、永正7年(1553年)頃には小山田氏は武田信虎の軍門に降っていた。弥太郎の跡を継いだのは小山田越中守信有で、この越中守信有は「中津森ノ殿様」と呼ばれていたことから、このときに中津森館があったのは確実である。
享禄3年(1530年)中津森の館が焼失したこともあり、天文元年(1532年)越中守信有は中津森館から谷村に居城を移した。以降の小山田氏は弥三郎信有、信茂と続く。
天正10年(1582年)武田勝頼は織田信長の侵攻を受け、新府城を捨てて小山田氏を頼ってきた。しかし、小山田氏は勝頼一行の受け入れを拒否し、勝頼は天目山にて自刃して果て、武田氏は滅亡した。武田氏を見限り織田氏に近づいた小山田氏であったが、織田信忠によって甲府善光寺にて処刑され、小山田氏もまた滅亡した。
中津森館は大幡川の北岸にある山裾の台地に築かれていた。 小山田氏の菩提寺である桂林寺の南側一帯で、現在は開墾されて畑になっており、堀跡がわずかに確認できる程度である。