天慶3年(940年)藤原秀郷によって築かれたのが始まりとされる。 秀郷は平将門が関東を制圧した天慶の乱を鎮圧した功によって、下野に勢力を張った。

延徳3年(1491年)佐野氏中興の祖といわれる佐野盛綱が城を修築した。 戦国時代には小田原北条氏と越後上杉氏の狭間にあって苦慮しながら、上杉謙信による攻撃を10回にわたって退けるなど堅城ぶりを発揮した。

しかし、天正13年(1585年)当主佐野宗綱が長尾顕長の足利に攻め入ろうとして、須花坂を越えようとしたとき、鉄砲に当たって討死した。その後家中は動揺し北条氏康の五男氏忠が佐野家の養子となって家督を継ぐことで北条氏と和解する。

天正18年(1590年)豊臣秀吉による小田原征伐では、先の当主宗綱の弟房綱は豊臣方となり唐沢山城の城代大貫氏を討って唐沢山城に入った。 これにより秀吉から所領三万九千石を安堵される。 その後、房綱は秀吉の家臣富田左近将監の次男信種を養子に迎え、信種は佐野信吉と改名した。

慶長7年(1602年)信吉は佐野城を築いて居城を移したため、唐沢山城は廃城となった。

城は唐沢山の山頂にあり、本丸跡には佐野氏の祖、藤原秀郷を奉った唐沢山神社が建っている。

関東においては石垣が用いられている城郭は少なく、その中でもこれ程の規模の石垣を用いた城郭は稀である。 神社の建てられた本丸、その南の南城は総石垣で、西側の二の丸、三の丸にも石垣が見られ、更に西に降った所には桝形の虎口が残る。

一方東へ続く尾根には堀切で断ち切った曲輪が連なり、途中には二重堀切もあるが、この部分は堀切部分が破壊され竪堀になった部分しか残っていない。