天正5年(1577年)塚崎城主であった後藤貴明は龍造寺隆信と和睦し、このとき実子晴明を龍造寺に人質として出し、隆信の子家信を娘槌市の婿養子に迎え、後藤氏の家督を譲った。これによって隠居した後藤貴明が隠棲したのが現在の光明寺のある地で、天正11年(1583年)に貴明が没したのちに光明寺境内となった。
後藤貴明隠居館は勇猛山北麓にある光明寺の境内地であった。もともとは少し小高くなったところに本堂があったが、今は麓に移り山門と基壇のみが残されている。
境内東側には後藤貴明夫妻の墓があり、その上には芦原鍋島家(山代氏)の墓所がある。