築城年代は定かではないが天文年間(1532年〜1555年)頃に(大宝寺)武藤晴時によって築かれたと云われる。 武藤氏は晴時の時それまでの居城であった大宝寺城から尾浦城へと居城を移した。

天正11年(1583年)武藤義時は最上義光の誘いに乗って裏切った家臣前森蔵人の奇襲を受けて自害した。家督を継いだ武藤義興は天正15年(1587年)最上義光と東禅寺筑前守によって攻められ落城し自害した。この時義興の養子となっていた義勝(本庄繁長の子)は城を脱出して繁長のもとへ逃れた。

天正16年(1588年)越後国の上杉景勝の家臣本庄繁長・義勝父子が庄内へ侵攻し、関根城・清水城などの諸城を落として尾浦城に迫ると、東禅寺氏は十五里ヶ浜でこれを迎え撃ったが敗れ、尾浦城代中山玄蕃は最上へ退いた。義勝は武藤氏を再興して上杉景勝を通じて豊臣秀吉に臣従したが、天正19年(1591年)大和国へ配流となり、所領は上杉氏に渡された。

慶長5年(1600年)出羽合戦で最上義光が尾山城を攻め落城、上杉方の城将松本信濃父子が討死した。義光は家臣下治右衛門秀久を一万二千石で尾浦城主とすると、尾浦城を修復して大山城と改めた。この改修によって山城から平城に近い形に改められたという。慶長19年(1614年)下治秀実が暗殺されると義光の六男大山光隆が二万七千石で城主となった。

元和8年(1622年)最上義俊が改易となると庄内に入部した酒井忠勝の所領となり、正保4年(1647年)七男酒井忠解に一万石を分地して大山藩を立藩させたが、寛文8年(1668年)忠解は嗣子なく没したため改易となり後は天領となった。