前橋藩酒井氏の出張陣屋として築かれたのが始まりであるが、その時期は定かではない。
延宝8年(1680年)上野国前橋藩主酒井忠清は伊達騒動などの裁決で、上総国望陀郡などで二万石の加増を賜り、その領地を支配するために向郷陣屋が築かれたという。
寛延2年(1749年)酒井忠恭が播磨国姫路に転封となり替わって松平朝矩が前橋藩主となるが、これによって向郷陣屋も松平氏に引き継がれ、明和5年(1768年)に川越藩となってからも維持されたが、文政10年(1827年)三本松陣屋に移された。
向郷陣屋は久留里駅の南西にある向郷集落に築かれていたが遺構はない。