築城年代は定かではないが文明年間(1469年〜1487年)頃に白倉氏によって築かれたと云われる。東にある仁井屋城とあわせて白倉城と呼ばれる。
白倉氏は小幡氏の一族で、山内上杉氏の重臣として上州八家のひとつに数えられる。
天文15年(1546年)白倉五左衛門は、笛吹峠(碓氷峠)の戦いで、武田信玄の部将板垣信方を射落として勇名を轟かせた。
永録6年(1563年)白倉宗任は武田信玄に降ったが、その後北条氏に属し、天正18年(1590年)豊臣秀吉の小田原征伐で宗任は小田原城に籠城した。
城は北へ張り出した丘陵の先端に築かれており、現在は史跡公園として整備されている。
本丸の四方に深い空堀を巡らせ、南に土橋が架かり南曲輪と繋がる。本来は南曲輪にも虎口があったようであるが、現状は失われている。