築城年代は定かではないが平安時代中期に佐藤知基によって築かれたと云われる。
佐藤氏は奥州藤原氏の家臣で陸奥国信夫の余目からこの地へ地方官として派遣されたという。
余目城は現在の八幡神社を含む一帯に築かれていた。この余目八幡神社は佐藤氏の氏神を経て、安保氏がこの辺りを治めるようになると余目館の守護神として遷され、江戸時代に再びこの地へ遷されたという。
現在余目城の遺構は詳らかではないが、神社から北の八幡公園に向かう所に「平安の昔 余目城北堀 此処にありき」という標柱が建っている。これはここにあった水路が北側の堀の名残りということで建っているが、今の水路はもう少し北側にある。