築城年代は定かではないが応永年間(1394年〜1428年)に北畠満雅によって築かれたと云われる。

正長元年(1428年)小倉宮聖承(小倉宮)は皇位継承に不満を抱き、伊勢国司北畠満雅を頼って嵯峨より伊勢に落ちると、北畠満雅は鎌倉公方足利持氏とともに挙兵した。 満雅は阿坂城を築いて足利将軍の軍勢を迎え撃つと、幕府軍は城を包囲して水の手を切った。このとき籠城軍は白米を馬の背に流して水があるように見せかけ、幕府軍を欺いたことから白米城とも呼ばれる。

永禄12年(1569年)織田信長が大河内城の北畠具教を攻めたさいには、重臣大宮入道含忍斎が阿坂城に籠もっていたが、織田の家臣木下藤吉郎らに攻められて落城した。

阿坂城は標高312.6mの桝形山に築かれている。山頂の主郭部を白米城、北尾根にある曲輪を椎の木城とも呼ぶが併せて阿坂城である。

主郭部は山頂部にあり白米城と呼ばれているが、山頂を円形に削平し切岸加工している。北東側に浅い堀切があり、その尾根はそれほど削平されていないが、先端部分にも一条の堀切がある。

主郭から北西に200m程離れた所にあるのが二郭で椎の木城と呼ばれている。二郭は切岸で高く削られた曲輪を南北二郭にし、周囲には低土塁が巡る。北西側にはやや大きな竪堀が一条あり、そこから北側にかけて土塁の付いた腰曲輪がある。北東尾根は堀切で遮断しているが、今は遊歩道があって食い違い虎口のようになっている。主郭へ向かう南尾根は二条の堀切が残る。

北西麓にある浄眼寺は文明10年(1478年)に北畠政勝が僧大空玄虎を招いて建立したと伝えられる寺院で、北畠氏縁の寺院である。

登山道はいくつかあるようですが、浄眼寺境内から続く登山道が良く整備されており、駐車場やトイレも完備している。