築城年代は定かではないが正徳元年(1711年)以前に(大給)松平乗真によって築かれたと云われる。
大給松平氏は寛永4年(1627年)大坂の陣の功によって大給松平真乗の次男真次が三千石の知行を奥殿の地に願い出て認められ、更に足助に四千石の加増を受けた。 貞享元年(1684年)乗次の時に河内・摂津・丹波に所領を得て諸侯に列し、乗真の時、河内・摂津・丹波の所領一万二千石が、信濃国佐久郡と三河国加茂・額田に移され、これによって正徳元年(1711年)奥殿に陣屋を移した。
文久3年(1863年)乗謨の時に陣屋が手狭となり、所領の大半を占める信濃国佐久郡の田野口に龍岡城を築いて移った。
現在奥殿陣屋跡には古地図を元に書院風の茶処、冠木門などが建てられ、庭園も整備されるなど観光地として賑わっている。 また、陣屋の一画には無料の資料展示室が設けられている。
陣屋の遺構としては、冠木門付近の石垣と、奥の山にある歴代藩主の墓所通じる道の途中に土塁が残っている。