築城年代は定かではないが穴沢氏によって築かれたと云われる。
文明18年(1486年)あるいは永正元年(1504年)に葦名盛高の家臣穴沢越中守俊家が桧原周辺の山賊を退治して町割りをし住み着いたのが始まりとされ、このとき戸山城を築いたとも云われる。
永禄7年(1564年)伊達氏の軍勢が侵攻しきたが、穴沢俊恒・俊光父子がこれを撃退、この恩賞として蘆名盛氏より大荒居村が与えられた。
天正12年(1584年)穴沢一族の穴沢四郎兵衛が伊達政宗に内応、これを機に伊達政宗が桧原へ侵攻すると戸山城と岩山城は落城し穴沢俊光も自刃した。これによって穴沢氏は衰退したが、小田原へ行って難を逃れていた俊光の嫡子俊次が柏木城へ入っている。
戸山城は標高1037の山に築かれている。
主郭は山頂にあり、南に雛壇状に帯曲輪が巡っているが削平は全体的に甘い。北尾根に土塁と堀切があり、少し離れた北側にももう一条堀切がある。内側の堀切は西へ長く竪堀として伸びているが、その脇に鈎状屈折した堀がある。南側面は雛壇状帯曲輪が続くが、下方に二段になった横堀が残る。
主郭部から少し離れた南東尾根に北西背後に堀切と土橋が残る曲輪群があり、小さな段曲輪が続いている。
南の県道沿いに「戸山城南大手登口」という看板があり、そこに駐車できる。登山道はないが、南東尾根に沿って踏み跡がある。登りやすそうな場所を選んで登っていけば城域に入る。