宝永8年(1711年)に大藪小出氏によって築かれた。 大藪小出氏は、寛文6年(1666年)出石藩主小出吉英の子、小出英信が養父郡内に二千石を分知されて旗本となったことに始まる。当初は大塚村に陣屋が置かれたが火災焼失により大藪に陣屋が移された。

大藪小出氏は二代小出英輝が弟小出英長に五百石を分知して千五百石となった。その英長は出石藩宗家の家督を継ぐことになり、五百石も宗家に併合している。

英輝の後は英方、英都、英邨、英為、英明、英道と八代続いて明治に至る。

大藪陣屋は大藪公民館の少し北側の地にあり、現在は民家の宅地となっているが、宅地の土台となった石垣が残っている。この石垣は中央にスロープが築かれており、周囲の民家の基壇とは異なった造りである。大藪公民館の所にある地蔵堂は陣屋の建物の一棟が移築されたものだという。

更に谷間の奥にある泉光寺は大藪陣屋の代官を務めた大島家の菩提寺である。

大藪公民館の前の道を北東に歩いて行くと右側に少し奥に入った宅地があり、ここが陣屋跡である。付近の方には代官所と聞いた方が通りがいいようだ。