詳細不明。館主は鎌倉時代初期の平賀義信とその子孫馬場蔵人が伝えられる。 また、近世初頭には伊達氏の家臣であった馬場(平賀)氏が作並村に屋敷を構えていたという。
川を挟んだ西側には「殿屋敷」と呼ばれる地があり、こちらが古く平賀館であったとも云われ、川の東に遺構の残る平賀館が中世まで遡るのか不明な点が多いようである。
平賀館は広瀬川に面した高台に築かれている。北の山を切り離すように土塁が巡り、一部堀がある。広瀬川に面した西側にも土塁を伴う空堀のような地形が残されているが、これは後世の改変で遺構ではないという。
南麓には平賀氏の菩提寺でった興源寺跡があり、川沿いには江戸時代の仙台藩の番所である作並境目番所跡がある。