長承元年(1132年)大掾氏の家臣鈴木五郎高郷によって築かれたのが始まりと云われる。
康安2年・正平17年(1362年)大山義孝によって修築された。 大山氏は佐竹氏九代佐竹義篤の子義孝が茨城郡大山村と那珂西高久半分を領して大山五郎を称して大山氏の祖となった。
義孝の子義道の長男義兼は孫根城に移って孫根氏となり、大山氏は義道の次男義定が家督を継いだ。
延徳2年(1490年)山入一揆に際して太田城を逃れた佐竹義舜は母方の大山氏を頼り、義舜は孫根城に匿われた。 明応9年(1500年)山入氏の軍勢は孫根城に攻め寄せたが、孫根氏は義舜を先導して金砂山城へと無事に脱出させた。
天正年間初期(1574年〜1576年)頃、大山氏と同族で佐竹氏庶流の小場城主小場氏との間で争いが起こった。小場氏は石塚城主石塚氏と連合して大山氏と頓化原で戦い大乱戦となったが勝敗決せず、宗家の佐竹義重の調停によって和議となった。(頓化原合戦)
文禄4年(1595年)佐竹義宣の時、佐竹領内の領地替えによって大山義則は小高城に移り大山城は廃城となった。
大山城は那珂川の西岸にある比高30m程の丘陵に築かれている。 丘陵は南北に長い独立丘陵でこの辺りの城としては珍しい立地になっている。
現在山上には天守風のホテル大山城が建っている。南側に社が祀られた高台があり、この辺りがやや城跡っぽい雰囲気を残している。