文明年間(1469年〜1487年)上野氏によって築かれたといわれるが定かではない。
上野氏は松山城主三村元親の血縁となり一翼を担うが毛利氏が三村元親を松山城に攻め自刃させると最後の拠点である常山城に迫った。
天正3年(1575年)城兵わずか二百に対して毛利軍数千が押し寄せたため上野隆徳の妻(三村元親の妹)も鎧を身につけ侍女ともども奮戦し自害したと伝わる。その後は毛利氏が城番をおいた。
天正11年(1583年)中国国分により、児島は宇喜多領となり、重臣の戸田秀安を置いた。 関ヶ原合戦で宇喜多氏が滅亡すると小早川秀秋が入封し重臣伊岐真利を置いた。 小早川氏断絶後に入封した池田氏はこの城を廃し下津井城の改修に資材を転用したといわれる。
常山城は標高306.8mの常山山頂に築かれており、現在山頂近くまで車で行くことができる。
主郭は山頂にあり、そこから北と北東の２つの尾根に曲輪を展開している。主郭部一帯には石垣が築かれている。
北麓にある常山駅の南側の道路を西へ進んでいくと常山城へ続く車道の入口がある。
最寄り駅(直線距離)