詳細不明。「榊森神社」の案内板によれば、「当村出身の城主、高根氏」とあるが、「榊森城」の案内板には城主不明とある。

榊森城は榊森神社のある南へ張り出した尾根の先端にあり、神社の東隣に築かれている。

単郭の城で神社に面した西側に土塁が付き、南西端は小高くその東下に石積された主郭側にめり込んだ平坦地がある。虎口は北西と北東にあり、北西側が今の入口であるが、大手は東という。その東の虎口付近にも石積が残る。

主郭の北側は窪地で周囲に土塁が巡るような地形になり、中央に塚のような地形が残る。また、主郭の南西したは円形の段があり、南西側に開口している。

県道からの道はやや狭いが、神社の参道入口に駐車場がある。