宝暦2年(1752年)(鷹司)松平信有によって築かれた。 吉井藩主五代信有の時に吉井に陣屋を築いて矢田陣屋から移った。当初矢田陣屋とそのまま呼ばれていたが、十一代信発の時に吉井陣屋と呼ばれるようになった。

吉井藩(矢田藩とも)は天正18年(1590年)三河国田峯城主菅沼定利が徳川家康の関東入部に際して吉井城二万石を領して入部したことにはじまる。慶長7年(1602年)定利が没し、養子となっていた奥平信昌の子忠政が継ぐと美濃国加納へ転封となり、その後は天領・旗本領となった。

慶長15年(1610年)安藤重信が五千石を領し、元和5年(1619年)高崎五万五千石を領して大名となる。天和2年(1682年)堀田正休が一万石を領して吉井に居住したが、元禄11年(1698年)近江国甲賀三郡へ転封となる。

延宝2年(1674年)松平信平が七千石を領して木部陣屋を居所とした。この信平は公家鷹司の出で慶安3年(1650年)に将軍徳川家光に謁見し、廩米俵、月俸二百口を賜わった。これは家光の正室となっていた姉の孝子の縁を頼ったものであるが、一説に信平は家光の弟駿河大納言松平忠長の一子長七郎長頼の子であるとも云われる。

その後三代松平信清の時に三千石の加増を賜わり一万石となって大名に列し矢田陣屋を構えた。

陣屋は吉井町郷土資料館の北方に築かれていた。現在は市街地に没して大半の遺構は消滅したが、吉井小学校の南側の道路を東へ行った所にある春日神社跡に南西部の土塁が残っている。 吉井町郷土資料館には大手門が移築現存している。