詳細不明。この辺りには字「伯母屋敷」、「奥屋敷」、「北屋敷」といった地名があり、このうち「伯母屋敷」は石田三成の伯母の屋敷跡と伝えられる。
南速水城は南速水集落の北側に遺構が残る。熊野神社から少し東へ進み集落の東端付近に北側に無線塔が建っている。この西側の竹藪の中に土塁の遺構が残存する。残念ながら余りに荒廃した竹藪で、遺構の確認は簡単ではない。
「滋賀県中世城館調査報告」によれば北東隅部と思われるl字の土塁が二つ、北西隅部と思われるl字の土塁が一つあり、少なくとも三つの区画があったことが確認できる。