元禄11年(1698年)渡辺基綱によって築かれたと云われる。 伯太藩渡辺氏は徳川家康に仕えて「槍の半蔵」の異名をとった渡辺守綱の五男吉綱を初代とする。 宗家は尾張藩家老の渡辺家で守綱没後、四男治綱が家督を継いで尾張国寺部に陣屋を構えている。伯太藩渡辺氏は五男吉綱が寛永元年(1624年)早世した兄忠綱の旧領三千石と新田五百二十石を合わせ、三千五百二十石の旗本として始まった。
寛文元年(1661年)渡辺吉綱は大坂定番となって一万石を加増され、一万三千五百二十石を領して諸侯に列した。当初武蔵国比企郡野本に陣屋を構えていたが、元禄11年(1698年)三代渡辺基綱のき領地を近江国へ移されたので、和泉国大鳥郡大庭寺に陣屋を移した。 享保12年(1727年)陣屋を和泉国泉郡伯太へ移し伯太藩となった。
大庭寺陣屋は県道208号線大庭寺交差点の南側にあり、池に半島状に突き出した地に築かれていたという。南側から道が付いているようにも見えるが、入口がよくわからず、遺構はないということもあって県道側からしか見ていない。