築城年代は定かではない。 城主は江口五兵衛光清で、上杉領との境に位置する要所の為、武勇の誉れ高かった江口氏が長岡城より八千石を領して移封されたという。
慶長5年(1600年)関ヶ原合戦前、上杉討伐のため北上中の徳川家康は石田三成の挙兵により西へ引き返す。最上氏は南部氏などの諸将を最上へ集結し米沢口より会津領へ押し寄せる予定であったが、石田三成の挙兵を聞いた諸将は領内の安定をはかるために領国へ退いてしまう。上杉氏は周辺大名の動向を見たうえで、直江兼続を主将とする大軍を最上領へ侵攻させる。これに対して最上軍は各出城を破棄して兵力を集中させることを目指すが、畑谷城主江口光清は、敵を目の前にして城を明け渡すのは武士として末代までの名折れとして上杉軍を迎え撃った。義光は飯田播磨守・谷柏相模守などを援軍として派遣したが、到着する前に落城、勝ちに乗じた上杉軍は軍勢を二手に分け長谷堂城・上山城へと向かった。
城は畑谷集落の北にある館山に築かれている。館山山頂付近にある主郭部は非常に小さな城で西下に二重の横堀があるのが特徴であるが、この城の最大の特徴は東の簗沢集落へ抜ける谷間にコの字状に築かれた大空堀と、西の尾根に築かれた三重の空堀である。