築城年代は定かではない。近江京極氏の被官であった磯野氏の居城という。
永正14年(1517)あるいは天文元年(1532)におこったとされる、浅井亮政が京極高清を幽閉した事件に対して、浅見対馬守が山本山城に、磯野氏が磯野山城に楯籠もって浅井氏に対抗したが敗れたという。
その後裔となる磯野員昌は浅井氏の重臣となり佐和山城を守備していたが、織田信長に降って高島郡を与えられたが、その後出奔している。
磯野山城は標高270mほどの磯野山に築かれている。
主郭は山頂部IでI1を最高所として周囲に削平段が築かれている。I2の東端は分厚い土塁で、北側に開口部があり虎口のようである。北側面には帯曲輪が階段状に設けられ、竪堀3の上部に山道が接続する。この道はそのままま堀切6の方に続くのだが、もともとの導線の可能性もある。
主郭の西背後はニ条の堀切6,7で遮断し、その先にも堀切8がある。南尾根は南東側に竪堀4と堀切4を組み合わせ、南西下に幅広い堀切5を設けて遮断する。
主郭から東へ続く尾根は堀切2の先にかなり離れて堀切1がある。この間の尾根はほぼ自然地形であるが、IIの部分が古墳を削平したような削平地で南西下に切り込みの削平地がある。他は緩斜面の自然地形が続く。
主郭から南へ続く尾根は堀切5から下方に若干削平加工されたAとBの地形が残るが、切岸がなく城郭遺構ではなさそうである。