築城年代は定かではないが応永年間(1400年)頃に倉賀野頼行によって築かれたと云われる。
倉賀野氏は武蔵児玉党の一派で、関東管領上杉憲政に従っていたが、城主倉賀野行政が川越付近の戦で討死した。
その子尚行は永禄3年(1560年)上杉政虎の関東進出に従い、翌永禄4年には上杉政虎に従い
相模国小田原城に侵攻した。この後、反撃に出た小田原北条氏は、武田氏とともに倉賀野城に攻め寄せたが、これを撃退した。
永禄6年(1563年)上野国に侵攻した武田氏は、
木部城を落とし倉賀野城に攻め寄せたがこれも撃退する。
しかし、永禄8年(1565年)に武田氏の攻撃で落城し尚行は上杉謙信を頼って逃れた。
落城に先立って永禄2年(1559年)頃、武田氏に降っていた倉賀野十六騎の一人、金井秀景が元亀元年(1570年)城主となり、倉賀野氏を称した。
秀景は後に小田原北条氏に属し、小田原の役では
小田原城に籠城し、降伏開城後に死去した。
