築城年代は定かではないが嘉暦2年(1327年)もしくは元徳年間(1329年〜1332年)頃に富田祐義によって築かれた。 富田氏は安積郡富田を領して葦名氏に従い、三代祐義の時に下荒居村を含む大沼郡西十二組と耶麻郡の領地を交換させられ下荒居城を築いたと云う。葦名氏の四天王(松本氏・富田氏・佐瀬氏・平田氏)の一人である。

城は連郭式の平城で南から北へ本丸・二の丸・三の丸を配していたが、現在はその面影を見ることはできない。辛うじて二の丸と三の丸の間の内膳堀がグラウンドの南側を東西に流れ、宝寿院の脇に二の丸土塁の一部が残っているのみである。