築城年代は定かではない。建久年間(1190年〜1198年)頃には岩櫃城主として吾妻太郎助亮が登場している。

その後、下河辺行重の孫という行盛が貞和5年・正平4年(1349年)碓氷の里見義時と戦って敗れて自刃し、その子憲行が叔父の安中の斎藤梢基の養子となり、延文2年・正平12年(1357年)上杉憲顕の属して里見義時を討ち、岩櫃城を回復したという。

永禄4年(1561年)頃より武田信玄は西上野に侵攻し、永禄6年(1563年)真田幸隆によって岩櫃城は攻略され、斎藤憲広・憲宗父子は越後の上杉謙信を頼って落ちた。永禄8年(1565年)斎藤憲宗は上杉氏の援軍を得て岩櫃城の奪還を目指したが武田信玄が箕輪城へ着陣した報を受け嵩山城に退いた。その後嵩山城は真田幸隆によって攻略され斎藤氏は滅亡した。

天正2年(1574年)真田隆幸が没し、天正3年(1575年)長篠の合戦で幸隆の長男信綱と次男昌輝が討死すると、武藤氏を継いでいた三男昌幸が真田に復姓した。 天正10年(1582)武田勝頼が甲斐国新府城を捨てて体制を立て直そうとした際に、昌幸は岩櫃城へ勝頼を迎えようとしたが実現せず、勝頼は小山田氏を頼ったが途中天目山にて自刃、武田氏は滅亡した。

関ヶ原合戦の後、真田信之の持城となったが、元和の一国一城令により廃城となった。

城は吾妻川の北岸に聳える標高802.6mの岩櫃山の東の尾根先標高594m付近に築かれている。この尾根先の主郭から北東側の平沢地区に向かって遺構が残っている。

主郭は東西に長く北東隅に櫓台とされる一段高くなった地形が残り、北側は櫓台から西へ土塁が伸び、その先の北西隅に虎口が開く。本丸の東に堀切を挟んで二の丸があり、南側が堀切・横堀に張り出している。本丸の南には横堀があり、堀切と交わって竪堀となって南へ伸びている。

国道145号線を原町に至ると山側に櫓風の建物の岩櫃城温泉があり、そこから南西に少し進むと高架となる手前で側道に入る。この付近に岩櫃山登山口の道標がある。