築城年代は定かではない。一説に平安時代末期に小山政光によって築かれたとも云われるが確証はない。 小山氏(おやま)は藤原秀郷の末裔太田政光が下野国都賀郡小山を領し小山氏を名乗ったことに始まる。
南北朝時代には小山朝氏・氏政は北朝方に属す。康暦2年(1380年)小山義政の時には宇都宮氏との領地争いが起こり、鎌倉公方足利氏満の再三の制止しにもかかわらず、河内郡裳原で宇都宮基綱と戦い基綱は討ち死にした。これに対して鎌倉公方は義政を討つよう関八州に命を下し、義政は各地で応戦するも好転せず永徳2年(1382年)祇園城を焼き払って櫃沢城へと逃れるも更に攻められ義政は自害し、子の若犬丸は奥州へ逃れた。若犬丸も奥州で挙兵したが再興はかなわず応永4年(1397年)会津で自害し小山氏は滅亡した。この時代の小山氏の本城は祇園城ではなく鷲城であったという。
その後小山氏は同族の結城泰朝が継ぎ祇園城を本城として代々続く。戦国時代には北条氏に属していたが、豊臣秀吉による小田原征伐後に所領を没収され、所領は結城秀康に与えられた。
徳川家康が関東へ移封となると本多正純が三万三千石で入封したが、元和5年(1619年)宇都宮へ転封となり廃城となった。
城は思川の東岸の河岸段丘に築かれており、川に沿って南北に縄張されている。 周囲は市街地となっているが、本丸から北の部分が残り城山公園として整備されている。
観晃橋の北にあるのが本丸で周囲に土塁が残る。本丸の北には馬出しがあり、塚田郭、中久保郭、北久保郭などが良好に残る。