築城年代は定かではないが室町時代はじめに阿曽沼氏によって築かれたと云われる。 阿曽沼氏は下野国安蘇郡阿曽沼を本貫とする一族で、当時葛西領であったが、葛西氏が遠野領からの侵攻に備えて阿曽沼氏を配したと云われる。
慶長5年(1600年)関ヶ原合戦で、横田城主阿曽沼広長は上杉景勝を討伐するため南部利直に従って山形へ出陣したが、この戦に従軍しなかった一族で鱒沢城主の鱒沢広勝が謀叛を企て、留守番であった上野広吉、平清水平右衛門も加わって横田城は乗っ取られ、山形より帰還した阿曽沼広長は城に戻ることができなかった。そこで妻の実家である世田米城阿曽沼広久を頼って落ちてきた。
世田米は当時伊達領であったため、広長は伊達政宗に援助を求め、遠野奪還を試みたがついに果たせなかった。
世田米城は気仙川東岸の標高120.8mの山に築かれており、現在主郭には八幡神社が祀られている。
気仙川に面して南北に伸びた山が本丸、その東側にあり現在畑となっている部分が二の丸と云われ、その間の鞍部が空堀とされている。現状では本丸とされる神社境内の南側に削り残された土盛りが土塁のようでもあるが、かなり改変されているようで、二の丸を含めめぼしい城郭遺構は見あたらない。
世田米城の案内板は北西麓にある公園の入口にある。登山道はこの公園から登る道と、東の鞍部へ通じる道がある。公園に駐車することが可能。