築城年代は定かではないが伴野氏によって築かれたと云われる。
伴野氏の前山城の支城と云われ、大永元年(1521年)以降は伴野貞祥の弟刑部大輔貞慶とその子兵庫助貞秀が在城、天文年間(1532年〜1555年)に武田氏が佐久へ侵攻した頃には市川梅蔭斎等長、伴野善九郎が在城していた。
天正10年(1582年)武田氏が滅亡すると徳川家康に従った依田信蕃が荒山城を攻略、このとき城主の市川和泉守長義は上野国小幡城に加勢して留守であった。
荒山城は長命寺背後の丘陵に築かれていた。
東西に並ぶ三つの曲輪からなっており、東から本丸、二の丸、三の丸と云われる。西端の部分に大沢保育園と大沢地区社会体育館が建っている。
本丸の西端に土塁が残り、この上に稲荷神社が祀られている。この稲荷社は落城の際に自刃したお高姫の霊を弔うために建立されたものと伝えられる。本丸と二の丸との間に通路となった堀が残り、二の丸は墓地や畑となっているが一角に天神社が祀られている。