柳生藩柳生家は本姓菅原氏で関白藤原頼道が大和国四箇郷を春日神社に寄進した時、菅原永家が小柳生郷の庄官となり子孫が小柳生氏を称したのが始まりとされる。 芳徳寺の境内もかつて柳生氏の居城柳生城の一部であった。江戸時代に柳生家は将軍家剣術指南役として取り立てられ、寛永13年(1636年)一万二千五百石に加増され大名に列し、柳生陣屋を構えた。
柳生家墓所は芳徳寺境内の北側にあり、初代柳生宗矩から代々の墓が並んでいる。またその一角に剣術の師、上泉信綱の供養塔「柳眼塔」がある。
柳生藩柳生家墓所は芳徳寺の一角にあり、参拝料が必要である。
