福持九郎城を参照。
山下氏城は福持九郎城、福岡氏城と３つの城が近接して築かれており、谷を隔てて北側に位置する。
主郭I1は伊賀の城としては基本となる方形の高土塁で外側に横堀を巡らせるプランであるが、土塁は四方に回らず三方を囲むタイプである。東辺に土塁がないため虎口は明確ではないが、東下にある横堀II1はほぼ中央で段差がある。
主郭の北隅には福持九郎城と同じく土壇Bがあり、櫓台とすることも可能であるが、宗教的な空間ではないかと考えられる。南辺土塁の一部に石塁のようなもの、主郭南東の段に石積が確認できる。
主郭の周りをできるだけ横堀で囲もうとする努力が見られ、北西部や南東部は急斜面との間の僅かな空間に横堀を設けている。
主郭の東下には曲輪II2、II3など緩斜面を伴う曲輪群が続い、最下段に広い曲輪II4がある。