天保13年(1842年)鵜殿藤輔によって築かれた。 もともとは「宗管屋敷」(宗管は垣屋光成)と呼ばれ、桐山城主垣屋氏の居館があった地と云われる。

鵜殿氏は鳥取藩主池田氏の家老で五千石を領した。 池田光仲の父池田忠雄の生母督姫は家康と鵜殿長持の娘との間に生まれた子で、鳥取藩鵜殿氏はその縁によって家老を務めた。

鵜殿大隅陣屋は桐山城の東麓に築かれていた。

現在は株式会社カスミの工場の敷地となっており、入口脇に案内板が設置されている。 それによれば、「御陣屋跡絵図」に東は堀と土手、北にも一部堀と土手が築かれ、入口の脇は石垣によって固められていたという。工場の敷地となっており、遺構の確認は難しいが、石組の「御陣屋の井戸」が残り、現在でも湧き水をたたえているという。

桐山城の登山口の一つ「奥内登山口」の近くに鵜殿氏の墓地(岩美町指定史跡)(地図)がある。