築城年代は定かではないが麻生氏によって築かれたと云われる。 城主は麻生氏家臣の大庭隠岐守種景と伝えられる。

高塔山城は標高122m程の高塔山に築かれていた。現在は高塔山公園として大きく改変され遺構は残っていない。「河童封じの地蔵尊」のある辺りが本丸であったといい、その北側斜面に「大庭隠岐守種景」の碑が建っている。