築城年代は定かではないが小高氏によって築かれたと云われる。 小高氏は大掾氏一族の行方忠幹の後裔で、忠幹の子景幹の嫡男為幹が小高郷に移って小高太郎を称した事に始まる。なお景幹の次男高幹は島崎氏、三男家幹は麻生氏、四男幹政は玉造氏の祖となっている。
天正19年(1591年)小高治部大輔とその子は、佐竹義宣の「南方三十三館の仕置」によって常陸太田城にて謀殺され小高氏は滅亡した。この後は(佐竹)北義憲、大山義則が城主となったが、慶長7年(1602年)佐竹氏の秋田転封によってこの地を去った。
小高城は常光院の東、北東へ向かって伸びた台地に築かれている。
小高城は台地の上を空堀で区画して副郭にしており、北から四つの曲輪がある。一番北の曲輪は南北に長く伸びた曲輪で低い土塁があり、周囲は帯曲輪になっている。この曲輪のみ現在は畑となっていない。二つ目の曲輪も残存度が高く、周囲に高土塁があり、側面は横堀になっている。