築城年代は定かではないが安東氏によって築かれたと云われる。 藤崎城安東氏の別家安東次郎が大光寺に住み大光寺左衛門を名乗っており、この館が五日市館とみられている。
暦応元年・延元3年(1338年)に外浜の十三城が津波よって破壊されたため、左衛門尉秀光が大光寺城に移り、大崎城主葛西頼清の女を娶ったという。
五日市館は引座川の南岸にあり、川に沿って東西に築かれていたという。 現在辺り一面はりんご園になっているが堀跡が残り、昭和初期には鎌倉時代から室町時代と思われる五輪塔の一部が発見されている。
引座川の北側に「五日市外館跡」の標柱を見つけましたが、引座川を挟むようにして館があったのでしょうか。