築城年代は定かではないが長山氏(あるいは永山)によって築かれた。 長山氏は大掾氏の庶流行方氏の一族で、行方幹平の次男知幹与一次郎が行方郡長山村に住んで長山氏を称した事に始まる。

大永2年(1522年)同族の島崎城主島崎利幹に攻められ落城、城主長山幹綱は自刃して果てた。幹綱の子長山勘解由政幹は落城寸前に城を脱して太田城主佐竹義篤を頼って落ちた。

長山政幹は天文21年(1541年)の伊達氏の内訌で、佐竹義篤が伊達晴宗の要請を受けて出陣した際にも出陣し、帰路陸奥国関山にて敵の伏兵にあって佐竹一族が多数討ち取られるなか、無事に帰還した。政幹の子長山幹氏は天正年間(1573年〜1592年)に小野崎義昌に属して陸奥国亀山城の駒木根信重を攻めて戦功を挙げたが、この戦いの傷がもとでこの世を去った。

長山城は「かすみの郷」公園の南側にある比高20m程の丘陵に築かれている。 公園のほうにも城域は広がっていたようであるが、その部分は消滅している。

現在残っている部分は空堀を挟んで東西二郭になっている。東の曲輪は東西に長い曲輪で南から東側にかけて低土塁が付いている。南側の中央付近には虎口らしき開口部があり、南側に向かって通路が残っている。西の曲輪は東曲輪の半分ほどの広さであるが周囲に土塁が巡らされている。

かすみの郷公園を目指す。道路に面して石碑と案内板が設置されている。城への入口は西側の裾を巡る通沿いに歩くと空堀の部分から入ることができる。