大永5年(1525年)佐野小太郎盛綱のときに免鳥山城守義昌によって築かれたと云われ、以降免鳥氏代々の居城となった。
佐野氏が足利長尾氏に備えて築いた城であった。天正5年(1577年)長尾顕長によって落城したが、佐野宗綱がすぐに取り戻している。天正9年(1581年)にも再び長尾顕長によって攻められ落城した。天正13年(1585年)佐野宗綱が討死し、北条氏忠を養子に迎えて小田原北条氏に与することとなったため、免鳥城もまた佐野氏の属城として戻され、佐野和泉守が城主となったが、天正18年(1590年)小田原北条氏の滅亡とともに廃城となったと考えられている。
免鳥城は現在の免鳥公民館一帯に築かれていた。公民館の北東の道路沿いに石碑があり、この北東側一帯が本丸であった。かつて本丸には井戸があり発掘調査でもそれが検出されている。