在地領主高山氏の居城。高山飛騨守友照とその子でキリシタン大名として著名な高山右近重友の出生の地と云われる。
高山城は八幡神社、西方寺の北西背後にある山に築かれていたという。
主郭とされる山頂部は椎茸栽培地となっており、平坦ではあるものの切岸はまったくなく、自然地形のようである。南の林道脇に堀切状の凹みがあり、唯一の人工地形のようであるが、西側は凹みはなく、東のみ竪堀状になっており、城郭遺構なのかどうかも不明である。現状では城跡と思われるような遺構は見あたらない。
八幡神社には「高山右近誕生之地」の石碑がある。
八幡神社前に駐車スペースがある。ここから西方寺の所を北西に進んでいくと、途中右上に登る林道があり、小さな「高山城」の道標がある。このまま林道を登っていけば主郭とされる椎茸栽培地に至る。
最寄り駅(直線距離)