永正6年(1509年)木曽義在によって築かれた。
伊那を勢力下に置いた武田信玄は天文24年(1555年)に木曽へ侵攻、このとき木曽義康が上之段城、木曽義昌が八沢城(小丸山城)に楯籠もって抵抗したが敗れ、木曽氏は武田氏に従い、木曽義昌は武田信玄の女を正室に迎えた。
天正10年(1582年)木曽義昌は織田信長の調略に応じて武田勝頼から離反する。勝頼は木木曽氏を攻めるため上原城まで進んだが、木曽義昌からの援軍要請に応じた織田信長は嫡男信忠を大将とする援軍を派遣する。信忠の軍勢は信濃の諸城を次々と攻略し、武田信盛の籠もる高遠城もわずか一日で攻め落とし、新府城から小山田氏を頼って落ち延びた武田勝頼も天目山で自刃し武田家は滅亡した。
武田氏滅亡後、義昌は安曇・筑摩郡を信長から与えられたが、本能寺の変によって旧武田領を巡る争いが勃発すると、信濃に侵攻してきた上杉景勝に深志城を明け渡して木曽へ撤収し、最終的には徳川家康に従属する形となった。
天正18年(1590年)豊臣秀吉による小田原攻めによって徳川家康が関東へ移封となると、木曽義昌も下総国阿知戸に転封となった。
上之段城は関山公園の西下にあるグラウンドのあたりに築かれてた。
南側に東西に伸びる尾根が主郭の一部であったが北側は造成時に削り取られているという。遺構はほとんどなく、堀の一部が残っているというが、東の道路部分がそうなのだろうか。グラウンド南側の道路沿いに案内板がある。