築城年代は定かではない。観応年間(1350年〜1352年)には高坂刑部大輔の居館であったという。高坂刑部は秩父氏の一族で秩父重綱の子高坂五郎が祖であるとか、武蔵七党の一つ児玉党を出自とするなど諸説ある。
文禄元年(1592年)徳川家康の家臣加賀爪政尚(加々爪とも)が三千石を領し高坂館を居城とした。この加賀爪氏は八条上杉家の上杉満定の子政定が駿河国守護今川範政の養子となって駿河へ移り、加賀爪氏の祖となって今川氏滅亡後に徳川家康に仕えた。
加賀爪正尚は慶長元年(1596年)京の伏見城にて大地震により圧死し、嫡男忠澄は徳川秀忠の一字を下賜され忠澄と名乗り、関ヶ原合戦、大坂冬の陣・夏の陣の功により五千五百石に加増された。寛文元年(1661年)忠澄の子直澄のとき、寺社奉行となって一万石に加増され諸侯に列し遠江国掛塚に陣屋を構えた。さらに寛文8年(1668年)には三千石を加増され、一万三千石となった。しかし、天和元年(1681年)加賀爪直清のとき、旗本成瀬正章との領地境の争いで不備があり、所領没収となって改易された。
高坂館は現在の高済寺一帯に築かれていた。都幾川による段丘の東端に位置し、高済寺の西側には城山稲荷・加賀爪氏累代の墓(県指定旧跡)があり、高土塁の上に残されている。外側には空堀があるが、館は寺の境内から更に南へと続いていたという。