築城年代は定かではない。 坂戸城上田長尾氏の支城として家臣の栗林氏が在城していた。
天正6年(1578年)上杉謙信の急死にともなう家督相続争いで、上田長尾氏は上杉景勝方として三郎景虎を支援する小田原北条氏に備えていたが、北条氏照を大将とする大軍によって樺沢城は落城した。
樺沢城を攻め落とした北条軍は樺沢城を拠点として坂戸城や板木城、浦佐城などを攻撃したが、坂戸城は落城せず、冬を迎えたことで樺沢城には北条高広、河田重親、長尾景憲らを残して関東に引き上げた。
上杉景勝は樺沢城に在城していた河田重親や長尾景憲の寝返り工作を行い、翌天正7年2月には樺沢城に猛攻を仕掛け長尾景憲の寝返りもあって落城したという。
樺沢城は龍澤寺の西に聳える標高300mほどの山に築かれており、現在は登山道が整備されている。
大規模な山城で空堀で区画された本丸、二ノ丸、三ノ丸、出丸と表記された曲輪群があるが、一つ一つの平場はそれほど広くない。
最大の見どころは背後に続く尾根を遮断する多重堀切で、堀切と竪堀が複雑に組み合わさって西背後の尾根を遮断している。また現在は登山道の一部になっている部分もあるが、幅の狭い横堀が多重に備えられている。
東麓の龍澤寺の向いに登口があり、そこから少しあがったところに見学者専用の駐車場がある。
最寄り駅(直線距離)