築城年代は定かではないが天文年間(1532年〜1555年)大胡氏によって築かれたと云われる。 大胡氏は藤原秀郷の末裔といわれる。
天文10年(1541年)頃、金山城横瀬氏の勢力により圧迫され、大胡勝行は小田原北条氏を頼って武蔵国江戸の牛込に移り、弘治元年(1555年)牛込氏に改称した。
その後、金山城由良成繁の家臣増田繁政が城代を勤めたが、由良氏は後に上杉輝虎に叛き、輝虎は大胡城を奪って北条高広を置いて金山城を攻めた。
小田原の役の後、関東に入部した徳川家康は、牧野康成を三河国牛久保より二万石で入部させた。牧野氏は元和2年(1616年)五万石で越後国長峰に移封となり、大胡は前橋酒井氏の領地となり城代が置かれた。
しかし、寛延2年(1749年)酒井氏が播磨国姫路に転封となり廃城となった。
本丸を中心に北に堀を挟んで北城、西に空堀を挟んで二の丸、その南に三の丸、さらに南に南郭を配している。
本丸は土塁を伴い東側は急峻で二の丸とは土橋で連結している。 二の丸は現在駐車場となっており、ここまで車で登って来られる。 二の丸にわずかに残る石積が二の丸門跡で桝形虎口となっている。
北城は現在大胡幼稚園となっているが、その間の堀はかなり深い。