慶長9年(1604年)平岡頼勝によって築かれたと云われる。
平岡頼勝は備前岡山城小早川秀秋の家老で備前国児島郡に二万石を領していたが、浪人した後に徳川家康に仕えた。慶長9年(1604年)には一万石を賜り徳野に陣屋を構えた。
慶長12年(1607年)に頼勝が没すると嫡頼資が家督を継ぐ。承応2年(1653年)に頼資が没したが嫡子頼重は家督を継ぐことを許されず徳野藩は改易、平岡頼重には改めて一千石が与えられ旗本となった。家督を継ぐことができなかったのは、嫡子頼重と庶長子平岡新十郎との家督争いの他、二代頼資生前の「不法の事」が理由とされる。
平岡氏の後は旗本岡田善政が陣屋を利用し、大久保氏を代々の陣屋守としておいていたという。
徳野陣屋は現在ゴルフ練習場や宅地などとなっており、わずかに陣屋の井戸が残るのみだという。県道から少し西に入った路地に案内板が設置されている。
徳野藩初代平岡頼勝の墓は禅台寺、二代平岡頼資の墓は専養寺にある。