和銅元年(708年)元明天皇の勅願寺として創建されたと伝えられている。

天正15年(1587年)豊臣秀吉による九州征伐では豊臣軍の本営が置かれた。泰平寺住職宥印法印の斡旋もあって島津義久は雪窓院で剃髪して出家し『龍伯』と名を改めて泰平寺を訪れ、秀吉に降伏した。

泰平寺と隣接する泰平寺公園一帯に『宥印法印の墓(市指定)』、『泰平寺住僧墓(市指定)』、『和睦石(市指定)』などが残る。また公園の入口に『秀吉・義久和睦の像』がある。