天和3年(1683年)以降に板倉重宣によって築かれた。
重宣の父板倉重良は下野国烏山藩主板倉重矩の長男であったが、病身のために廃嫡となり弟重種が家督を継いだ。 その後、板倉重種は老中となり天和元年(1681)に烏山より武蔵国岩槻に六万石で加増転封となる。しかし、翌天和2年(1682年)には徳川家綱の後継者問題に関する対立や、嫡男を兄の子重宣ではなく、自身の子重寛としたことからの後継者問題が起こり、重種は老中を罷免されて一万石を減封、信濃国坂木に五万石で転封となった。翌天和3年(1683年)重種は領地五万石の返上を幕府に願い出たが、重種の嫡男重寛に三万石、重良の嫡男重宣に二万石をそれぞれ分知することになった。上総国市原郡、信濃国伊那郡・佐久郡内で二万石の所領となった重宣は高滝陣屋を築き高滝藩となった。
貞享元年(1684年)重宣がわずか二十一歳で没すると、母方の丹波国園部藩主小出英知の三男重高を養子に迎えた。元禄12年(1699年)板倉重高は備中国庭瀬に転封となり、わずか二代で高滝藩は廃藩となった。
高滝陣屋の高滝湖の東岸の大和田の集落にあったというが、現在は宅地や田畑となって遺構はのこっていないようだ。