至徳元年・元中元年(1384年)中山継信によって築かれたと云われる。 中山氏は大江親弘の家臣中山忠義を祖とする。
継信の孫中山宗朝は谷木沢館を築いて二男勝政を置き、長男直誠を長崎楯に置いて二城体制で備えた。天正12年(1584年)最上義光が寒河江城へ侵攻すると、中山玄蕃(朝正)はこれを食い止めようとして戦って敗れ、寒河江氏が滅亡すると玄蕃は最上義光に従った。
慶長5年(1600年)会津の上杉氏が直江兼続を主将として山形へ侵攻した際には、中山玄蕃は寒河江城を守ったが落城した。中山玄蕃は江戸時代には七千石を領したが、元和8年(1622年)最上氏が改易となると廃城となった。
城は最上川の南岸の平地に築かれていた。 現在、本丸跡には中山宗朝の時代に植えられたと伝えられる大銀杏が残っている。 周囲は市街地となっており、堀は水路として残っているようである。ここから少し東へ行った所に土塁跡と思われる土盛が残っている。