寛永6年(1629年)織田信昌によって築かれた。 元和元年(1615年)織田信長の二男織田信雄は大和国宇陀郡三万石と上野国甘楽郡二万石の大名となり、大和国松山陣屋を居城とした。元和3年(1617年)信雄の四男信良が上野国甘楽郡二万石を分封され小幡藩を立藩した。はじめは福島村に設けられていたが、寛永6年(1629年)に南の小幡村に陣屋が移された。

明和4年(1767年)七代織田信邦の時、山県大弐の明和事件に関係して織田氏は出羽国高鼻へ転封となった。代わって上里見より(奥平)松平忠恒が二万石で入封し、以後四代続いて明治に至る。

陣屋は雄川の東岸に築かれている。現在は織田氏が造った「楽山園」として整備され、陣屋跡も石垣の積み直しや長屋の建設など、現在も復元工事中である。

小幡には武家屋敷や古い町並みが残り、観光地となっている。歴史民族資料館には「ふるさと創生資金」の一部で買い取ったという小幡氏の赤備えの具足が展示されており、写真撮影も許可されている。また目の前の交差点脇に大手門の礎石が残っている。