築城年代は諸説あるが天正15年(1587年)頃に伊達政宗によって築かれたとの説が一般的である。 天正12年(1584年)伊達輝宗が隠居所として館山へ移つり、隠居所の普請が完了するまで家臣鮎貝宗重宅に住み、翌13年に移ったという。天正15年(1587年)には政宗自身が地取・縄張して築城を開始、しかし天正19年(1591年)には領地替えで岩出山城へ居城を移し廃城となった。また一説には、伊達氏が米沢を居城としていたのは米沢城ではなく、この館山城という説があり、政宗の普請はそれを改修したとする説がある。

城は大樽川が鬼面川に合流する地点の西にある尾根先の頂部に築かれており、尾根に沿って東西に大きく三つの曲輪があり、それぞれ空堀によって区画されている。

東の曲輪は南東部と北西部に虎口があり、南東側が大手、北西側は大きめの桝形虎口である。西側は空堀に面して土塁があり、北側の桝形虎口の所は櫓台になってやや空堀に張り出している。この空堀は南は川へ、北側は竪堀となって麓まで伸びている。

中央の曲輪は北側と西側に土塁が残り、北西部に虎口がある。西側の空堀に面した土塁は北側に比べて高くなっている。

西の曲輪は他の二つと比べて狭く、西側に土塁が残る。西の曲輪と中央の曲輪を区切る空堀は水力発電所へ供給される水路が埋設されている。

空堀を隔てて西の中央の曲輪は北側に土塁が残り、北西端に虎口がある。その西側にある空堀は尾根先にある水力発電所へ落とし込む水が通る水路が埋設されている。

西端の曲輪はそれほど大きくなく、西側に土塁が残る。

国道121号線大樽橋を渡って西へ進み左側に見える山が城址。それほど高くない山なので北側の竪堀の付近から登ったのだが、もう少し西側、「城山つり堀」とある小屋の辺りで二俣にわかれた道の山側の道を少し進むと水路付近へ登る道がある。