日向国分寺は現在の木喰五智館の辺りにあった。発掘調査によって講堂跡、中門跡、回廊跡、寺域を示すと見られる溝などが検出されており、寺域は約200四方と考えられている。

天明8年(1788年)全国行脚中の木喰がこの地を訪れた時、衰退していた国分寺の住職となって再建に尽力した。明治の廃仏毀釈によって国分寺も廃寺となってしまったが、五智如来像は仙光寺へ移され難を逃れた。