築城年代は定かではない。永禄年間(1558年〜1570年)の館主は常世大炊助で、永禄2年(1559年)に常安寺を開基した。
常世氏は加納氏の一族とも考えられている。常世氏が史料にはじめて登場するのは文亀2年(1502年)で常世某が葦名盛高によって誅されている。
常世館は西常世公民館の100m程南に築かれており、現在は個人宅の敷地となっている。 南北に長い長方形の区画で周囲に土塁が巡り、東側は水路がそのまま堀跡のようである。
県道の東側には常安寺があり、公民館から北へ進んでいくと常世・竹花古墳(市指定史跡)がある。ここに並んでいる五輪塔群の中の一つが常世大炊助のものであると伝えられている。