築城年代は定かではない。岩櫃城の斎藤越前守憲姫の家臣成田長門守が城主と伝えられる。
永禄6年(1563年)武田氏の武将真田幸隆は岩櫃城の斎藤越前守憲広を攻略、これを越後に走らせた。このとき越前守は末子城虎丸を嵩山城に置いて守らせ、仙蔵城はその支城として重要であった。しかし、永禄7年(1564年)真田幸隆はこれを攻略し嵩山城攻めの足掛かりとされた。翌永禄8年(1565年)幸隆は嵩山城も攻略、これによって斎藤氏は滅亡した。
仙蔵城は内山城とも呼ばれ、四万川東岸の標高534.9mの山に築かれている。
南の県道沿いにある登山口から鉄塔整備道を経由して山頂まで登山道が整備されており、山頂から南北に伸びた尾根に曲輪と堀切を連ね、そこから東へ伸びた尾根にも曲輪と堀切を設けている。山頂より南側の部分は比較的見やすくなっているが、北側はこの時期藪が酷く、特に北の尾根は作業林道がきていて改変されてしまっている。