正慶2年・元弘3年(1333年)曾我道性によって築かれた大光寺古館が最初とみられている定かではない。
曾我氏は桓武平氏で相模国曾我郷を本貫地とする鎌倉御家人で、建保5年(1217年)曾我氏の一族平広忠が平賀郡の地頭代として入部し、貞応元年(1222年)には曾我五郎二郎が入部して貞応3年(1224年)に地頭職となった。
その後、曾我氏は大光寺の本家と岩楯の分家に分かれ、正慶2年・元弘3年(1333年)には本家の大光寺曾我氏が北朝方、分家の岩楯曾我氏が南朝方に属して同族で争った。
津軽に逃れてきた北條一族の名越時如と安達高景は大光寺曾我道性を頼り、岩楯曾我光高・工藤貞行・成田泰次らの南朝方の攻撃を受けた。大光寺曾我氏は南朝方の攻撃を防ぐことができず石川城に逃れ、さらに敗れて持寄城に立て籠もったがここも落城し、道性は捕らえられ嫡子重経は討死し、大光寺曾我氏は滅亡した。戦いに勝った岩楯曾我氏も正平16年(1361年)頃に南部氏によって滅ぼされた。
南部氏は津軽郡代を兼ねて南部遠江守信愛を大光寺城代とした。信愛の子左衛門が死んだ後は、滝本播磨重行が城代となった。永禄8年(1565年)重行は乳井城主で福王寺の別当乳井玄蕃を暗殺すると、天正3年(1575年)大浦為信によって攻められ落城した。
津軽氏の属領となると乳井大隅守建清が城主となり、慶長4年(1559年)には津軽為信の娘婿津軽左馬助建広が城主となった。建広は慶長12年(1607年)津軽為信が没した後の家督相続争い(津軽騒動)で、為信に先だって没した嫡子信建の子大熊を擁立しようとして失敗し追放された。これによって大光寺城は廃城となり、弘前城築城の為に部材が転用された。弘前城に残る亀甲門、誓願寺の鶴亀門は大光寺城にあったものだといわれている。