築城年代は定かではないが承元元年(1207年)頃に阿蘇惟次が南郷より矢部に移って館を築いたのが始まりとされる。 以後、阿蘇氏が代々続くが、天正13年(1585年)頃に幼少で家督を継いだ阿蘇惟光が島津氏の攻撃から逃れるため目丸山へ逃亡し、以後使用される事はなかった。
現在の矢部高校が館跡である。もともと浜の館の所在地は伝承では矢部高校付近とされていたものの、確たる証拠がないままだったらしい。昭和49年度に矢部高校が改築されたときに発掘調査が行われ浜の館の所在地が明らかになったという。
現在矢部高校の東側門付近に建物の礎石が一棟、元の場所から少しずらして保存展示されている。