戦国時代末期に築かれた車瀬城がその前身である。 戦国時代には有岡城主荒木村重の家臣荒木平太夫が城主で、平太夫は村重が織田信長に謀反して討伐されると開城し、後に羽柴秀吉に従って因幡国若桜へ転封となった。

天正10年(1582年)羽柴秀吉の家臣山崎堅家が城主となり、後にその子家盛が継いだ。 関ヶ原合戦で家盛は西軍として丹後国田辺城攻めに参陣するが、義兄の池田輝政の尽力などによって免れ、因幡国若桜へ転封となった。

慶長6年(1601年)有馬則頼が入封するが慶長7年(1602年)に没し、遺領は嫡男で丹波国福知山城主の有馬豊氏が継いで併合される。1620年(元和6年)大坂の陣の功によって有馬豊氏は筑後国久留米へ転封となる。

1626年(寛永3年)出羽国上山から松平重直が3万石で入封するが、寛永10年(1633年)重直は豊前国龍王へ転封となった。

寛永9年(1632年)に九鬼守隆が亡くなると隆李と弟久隆が相続争いをおこし九鬼久隆が家督を継いだが、寛永10年(1633年)久隆は五万五千石から三万六千石に減封されて志摩国鳥羽城より三田へ転封となり、弟の隆李は新封二万石で丹波国綾部に入部した。

三田に転封となった久隆は新城を築くことを許されず、車瀬城跡に三田陣屋を構えて、以後明治まで九鬼氏が続いた。

陣屋は周囲を見下ろす高台に築かれており、現在の三田小学校に居館があり、内堀を挟んで北側、現在の有馬高校が二の丸であった。