万治元年(1658年)永井伊賀守尚庸によって築かれた。 尚庸は山城国淀藩主永井尚政の三男で、明暦4年(1658年)兄の永井尚政が家督を継いだとき、三男尚庸に二万石が分与され諸候に列した。
尚庸は奏者番、若年寄などを務め、寛文10年(1670年)には三万石に加増された。
延宝5年(1677年)二代永井直敬が家督を継ぐと度重なる転封となる。貞享4年(1687年)下野国烏山へ三万石で転封、元禄15年(1702年)には三千石を加増され播磨国赤穂へ三万三千石で転封、宝永3年(1706年)信濃国飯山へ転封、宝永8年(1711年)武蔵国岩槻へ転封となる。
宝暦6年(1756年)永井直陳のとき美濃国加納に転封となり、以後明治まで続いた。
渚陣屋は江戸時代初期の万治元年(1658年)に築かれ、貞享年間(1684年〜1688年)永井尚敬のときに佐太陣屋へ移されるまでのわずかな期間に利用された。
永井伊賀守陣屋は御殿山と呼ばれる比高20m程の丘陵に築かれていた。 現在山上には御殿山神社が鎮座しており、その参道にある御殿山神社の案内板によれば、御殿山美術センター建設に先立つ発掘調査で、中世の大溝や江戸時代の建物跡など陣屋に関わる遺構も見つかったようである。