横井城は道の駅「和良」の南に聳える標高590m程の山に築かれている。
横井城は東西二郭の城で南西から北東に伸びた尾根に曲輪を展開する。主郭は西側で東西に広いが曲輪内は段差が多くあまり削平していない。切岸は全体的に回しており、南北両側面には犬走りがある。北側には二箇所竪堀か虎口のような遺構がある。主郭の東側面には横堀になった部分があり、南はそのまま犬走りに通じる。
東の曲輪も不整形で帯曲輪が二段程回っている。
登山道は北麓にあり、横野集落から和良川に沿って少し進むと南の山の裾野に横井城の標柱が建っている。この辺りから尾根伝いに登る道がある。