穴沢氏は蘆名氏の家臣で、文明18年(1486年)あるいは永正元年(1504年)に葦名盛高の家臣穴沢越中守俊家が桧原周辺の山賊を退治して町割りをし住み着いたのが始まりとされる。

戸山城や岩山城を築いて伊達氏の侵攻を何度か撃退しているが、天正12年(1584年)穴沢一族の穴沢四郎兵衛が伊達政宗に内応、これを機に桧原に侵攻した伊達氏の軍勢によって戸山城と岩山城は落城し、穴沢俊光は自刃した。穴沢氏は小田原へ行って難を逃れていた俊光の嫡子俊次が柏木城に入っている。