大隅国分寺は奈良時代後期から平安時代初期に建立された推測されている。 国分寺小学校の西側に駐車場や空き地になった所があり、ここに大隅国分寺跡の石碑が建っており、国指定史跡となっている。

本格的な発掘調査はなされていないようで、未だ伽藍の配置などはわかっていない。 国分寺跡にある「石造層塔」は「康治元年(1142)」の年号が刻まれており、国分寺の最高を祈願して建立されたものと考えられている。