築城年代は定かではない。鎌倉時代末期藤崎城安東氏の所領で別当熊野修験の館という。

三世寺館は標高28.4mの独立丘陵に築かれている。 山上は二段の曲輪があり、山頂には仁王堂が鎮座している。 主郭の南淵と下の曲輪の西から南側の淵には幅広の土壇があり、土塁跡と思われる。

西にある神明宮のある丘陵にも堀跡があり、出丸とみられている。ここには付近で見つかった板碑七基が集められている。