築城年代は定かではないが観応・正平(1350年)頃に赤堀直秀によって築かれたと云われる。 赤堀氏は上野国佐位郡赤堀発祥で藤原秀郷の末裔という

享徳4年(1455年)赤堀時綱は古河公方に属し関東管領上杉氏方と戦った。 その後、上杉謙信に従っていたが謙信死後は小田原北条氏に従った。