築城年代は定かではないが永禄年間(1558年〜1570年)頃に谷柏相模守直家によって築かれたと云われる。 谷柏氏は最上義光の小姓片倉蔵人で永禄年間(1558年〜1570年)頃に谷柏館を居城として谷柏氏を名乗ったという。
慶長5年(1600年)谷柏相模守は最上義光の命によって、飯田播磨守・富並忠右衛門・日野伊賀守らと江口五兵衛を引きつれに畑谷城へ向かったが、到着前に畑谷城は落城していた。飯田播磨守は畑谷城の落人を逃す為に上杉軍に立ち向かい討死。谷柏相模守はこれを見て討死覚悟で上杉軍へ突入して追い散らし、捨てられていた飯田播磨守の首を探し出して山形へ引き上げたという。 その後、長谷堂城と上山城へ向かった上杉軍の一部が谷柏館へも侵攻したが、これを良く守り落城しなかったという。