天文13年(1544年)宇喜多直家により築城された。 当時浦上宗景に仕えていた宇喜多直家が初陣で赤松晴政との戦いで戦功をあげ、三百貫の所領と30人の足軽を与えられた。
天文18年(1549年)宇喜多直家は砥石城を攻略した恩賞として奈良部に所領と新庄山城を賜って居城を移し、乙子城には弟の宇喜多忠家を置いた。
乙子城は吉井川の河口付近にある標高47.8mの独立丘陵に築かれている。 山はひょうたん型で、西側が高く主郭となり、東側の乙子大明神のある所が二郭であろう。
主郭付近はいくつかの土壇が広がるが、多くは墓地になっている。東側に続く尾根に堀切状に削り落とし、現状土橋が架かるような地形があるが、遺構かどうか不明である。