平山寺の創建は不明であるが、江戸時代の宝永5年(1708年)に焼失し、今ある薬師堂が建てられた。

この薬師堂から平安時代末期の薬師如来坐像が発見され、現在は九州歴史資料館に安置されている。

平山寺跡にある平山寺宝篋印塔は市指定有形文化財となっている。