慶長6年(1601年)小川光氏によって築かれた。 関ヶ原合戦後、光氏が入封し古城を改修して丸山城と改め居城とした。
元和2年(1616年)美濃国大垣より石川忠総が六万石で入封すると永山城と改称したが、寛永10年(1633年)下総国佐倉に転封となり、豊前国中津藩小笠原長次と豊後国杵築藩小笠原忠俊に分割して預けられ、寛永16年(1639年)再び天領となった。
天和2年(1682年)播磨国姫路から(越前家)松平直矩が七万石で入封、このとき山上は破棄され麓に館を築いたが、完成を待たず出羽国山形に移封となった。 その後は再び天領となり小川氏が代官となった。