築城年代は定かではないが南北朝時代に安保氏によって築かれたと云われる。
安保氏は武蔵七党の一つ丹党を構成した武士団で、源氏や北条氏、足利氏などに従って数々の戦功を挙げ、全国各地に所領を得ていた。その一つが出羽国余目である。
余目の安保氏は十六代続いたが、天正3年(1575年)に余目能形が病没し、弟の与次郎も武藤氏と戦って敗れ滅亡した。
余目館は乗慶寺の境内一帯に築かれていたという。一辺100m四方の方形居館であったと推測されているが現在遺構はない。乗慶寺の境内には江戸時代の天保15年(1844年)に安保氏十六代を供養するために建立された五輪塔が残されており、町指定文化財となっている。