築城年代は定かではないが高橋氏によって築かれたと云われる。 高橋氏は土庄小学校の辺りにあった城山に居館を構えていた。
貞和3年・正平2年(1347年)高橋氏は妻子を連れて梨木峠を通行していたとき、池田城主の須佐美氏に襲撃され、妻子はその場で討たれた。高橋氏はその場を逃れたが須佐美氏に城館を焼き払われたため、肥後へ落ちていった。
高見山城は標高153mの高見山に築かれていた。現在は「高見山公園冒険の森」として整備されている。
山頂には中央に展望台らしき施設が建てられているが、中には入ることができない。この部分の旧状はまったくわからないが、その周囲は傾斜面であり、曲輪として削平されたような名残りは見あたらない。『香川県中世城館跡詳細分布調査報告書』の図面ではこの部分を中心に東西尾根に曲輪を想定し、東は鞍部の先にある現在石祠が祀られた部分も出丸として表記している。ただ、現状山を歩いてみても削平地はまったく見あたらず、普通の山でしかない。
南の県道254号線から公園への入口がある。山腹に駐車場が用意されている。