築城年代は定かではないが南北朝時代に湯川氏によって築かれた八王子城がその始まりとされる。
天正18年(1590年)羽柴秀長の家臣で泊城主の杉若越後守氏宗が上野山城を築き、泊城から移って居城とした。所領は一万石余であったが、杉若氏宗は関ヶ原合戦で改易となり、浅野氏が紀州に入ると浅野左衛門氏定が上野山城に入ったが、港の近くに州崎城を築城する。しかし災害によって州崎城は流失し、湊城を築いたという。
上野山城の位置は定かではなく八立稲荷神社の辺りと云われている。標柱があるとの情報もあったが見つけられなかった。