寛永3年(1626年)阿部正次が大坂城代となって摂津国内で三万石を加増されたときに設けられたのが始まりとされるが、正次が没したのちに所領は関東へ移された。
慶安3年(1650年)安部信盛は大阪定番に任ぜられ、摂津国内で一万石を加増、あわせて一万九千二百五十石となり諸侯に列し武蔵国岡部藩となった。陣屋ははじめ柴原村にあったが、のちに野畑村にに移されたという。
岡部藩は慶応4年(1868年)安部信発のときに三河国半原へ陣屋を移し、半原藩となって明治を迎えた。
桜井谷陣屋は現在住宅街となっており遺構はない。