関ヶ原合戦の功により福島高晴が伊勢国長島から秋山城主として入封したが、元和元年(1615年)改易となり秋山城は破却された。
替わって織田信長の二男織田信雄が大和国宇陀郡三万石と上野国甘楽郡二万石余りを賜った。信雄は四男信良に上野国甘楽郡二万石を分封して小幡藩とし、信雄が没すると五男高良が宇陀領を家督した。このとき、小幡藩と宇陀松山藩のどちらが本家かでもめたが、幕府の裁定によって宇陀松山藩が本家となった。
元禄7年(1694年)四代織田信武のとき「宇陀崩れ騒動」によって自害するという事件が発生し、幕府の裁定により五代信休は丹波国柏原二万石に減封となり、それまで認められていた国持大名の格式も取り上げられた。織田家転封後は天領となった。
織田家が入封したとき最初に陣屋が置かれたのが長山屋敷(現在の宇陀市大宇陀地域事務所付近)で、寛文11年(1671年)頃に向屋敷(現在の春日神社西側付近)に移り、その後に上屋敷(現在の春日神社北側付近)が造営された。
国指定史跡になっているのが「松山西口関門」で江戸時代初期の遺構という。春日神社の西側の参道沿いに「春日門跡」があり、櫓台二基による虎口跡で最近案内板が設置されている。
松山西口関門(現存 城門)