築城年代は定かではない。奥州藤原氏初代清衡の時代から要害とされていたという。

平家を打倒した義経は兄源頼朝と対立して再び奥州へ下り、藤原秀衡の庇護をうけてここに居館を与えられたという。文治5年(1189年)源頼朝の圧力に耐えかねた藤原泰衡の急襲によって義経は自刃して果てたという。義経が自刃して果てたのは衣川館(衣河館)で、この高館に比定されているが、近年では接待館が衣川館ではないかとする説もある。

高館には天和3年(1683年)仙台藩四代藩主伊達綱村によって義経堂(ぎけいどう)が建てられている。

義経堂の西に空堀で区画した曲輪が二郭程あり、北側に土塁が残っている。

高館義経堂への入山券(大人200円)が必要である。義経堂と義経に関する簡易の資料館がある。