築城年代は定ではないが小林氏によって築かれたと云われる。 平季衡から始まるという小林氏が中世に築いた矢田城が矢田陣屋の前身だという。
天正18年(1590年)徳川家康の関東入部に従い菅沼定利が二万石で吉井に入部し、このとき小林氏は菅沼定利の家臣となったという。
延宝2年(1674年)(鷹司)松平信平が七千石を賜り木部陣屋を居所とした。 延宝7年(1679年)には矢田陣屋へ居所を移し、貞享3年(1686年)からは再び木部陣屋、元禄元年(1688年)からは矢田陣屋へ移り元禄2年(1689年)に没している。
元禄2年(1689年)信平が没すると松平信正が家督を継いだが、わずか2年の元禄4年(1691年)に没し、松平信清が家督を継いだ。
宝永6年(1709年)松平信清が三千石の加増を受けて一万石となり、諸侯に列して矢田藩となった。享保9年(1724年)信友が家督を継ぐと宝暦3年(1753年)には吉井陣屋に移った。
矢田陣屋(矢田城)は現在宅地となっているが、西側の道路に面して南北に土塁と空堀が確認できる。「中世吉井の城館跡」にある図面によれば、西側が本丸、東に二ノ丸、北の代官所の辺りが外郭であったようだ。