築城年代は定かではない。大永3年(1523年)浅井亮政が小谷城を築いた初期の本丸があった所とも云われる。
元亀3年(1572年)には援軍に駆けつけた朝倉氏が布陣したが、天正元年(1572年)八月に織田軍によって攻め落とされ、形成を不利とみた朝倉義景は一乗谷を目指して退却を始めた。これを好機と見た織田信長は、小谷城の包囲を嫡男信忠に任せ、自ら先頭をきって朝倉軍の追撃を実行し、刀根坂の戦いで朝倉軍に壊滅的な打撃を与えた。織田軍によって朝倉氏の居城である一乗谷は焼き払われ、朝倉義景は大野まで逃れたが、一門である朝倉景鏡の裏切りにより自刃して果て、越前朝倉氏は滅亡した。
大嶽城は小谷城のある小谷山の山頂に築かれている。
主郭は山頂にあり、低いながらも分厚い土塁が周囲を巡っている。山頂からは東、南、西北西の三方に尾根が伸びている。東尾根は小谷城の本丸のある尾根で、こちら側は平段が所々あるが、ほとんど遺構らしい遺構はない。西北西の尾根は二重堀切によって遮断している。そして南尾根には同じく朝倉勢が布陣した福寿丸と山崎丸があり、この大嶽城の大手もこの南尾根に向いている。
主郭の西から南下にやや緩やかな地形の段があり、その外側に土塁が巡っている。曲輪の内部には通路か堀状の窪地がある。さらに南下に二段方形に土塁が付いた曲輪があり、その西側から巨大な竪堀が一条、かなり下方へと伸びている。この竪堀は下では緩やかにカーブを描いている。さらに西へ回り込むとここにも一条大きな竪堀が落ちている。先の竪堀を降りていくと、竪堀の下にさらに一段の平段があり、その下に堀切が付いている。