天文17年(1548年)牧氏によって築かれたと云われる。 牧若狭守長清は斯波義銀の従兄弟にあたる牧下野守長義(義清)の長子で、信長の妹小林殿を正室に迎えている。
牧氏は前津小林に四千石を領していたが、元亀元年(1570年)牧長清が没して廃城となったとという。
小林城は清浄寺一帯に築かれていたという。この地は廃城後に尾張藩主徳川光友の剣術師範を務めた柳生兵庫の屋敷となり、元禄年間(1688年〜1704年)に清浄寺が建立され矢場地蔵尊として徳川累代の祈祷所となった所である。
このお寺の境内に四基の宝篋印塔があり、戒名から牧長義夫妻、牧長清夫妻の墓のようである。