天文10年(1541年)跡部将監頼利によって築かれたと云われる。 跡部氏は美濃源氏土岐氏の流れを汲む一族で、はじめ美濃国守護土岐頼芸に従っていた。
天文21年(1552年)大桑城が落城して土岐氏が滅亡した後は斎藤道三に与し、弘治2年(1556年)道三と義竜が争った長良川合戦では義竜方に与して功を挙げたという。
永禄7年(1564年)織田信長の美濃侵攻により跡部城と恵利寺は焼失したという。
跡部城は跡部集落の西の山塊から東へ伸びた丘陵に築かれていた。 現在は宅地造成や圃場整備により城の遺構は残っていないが、「お屋敷」と呼ばれる一角が公園となり、石碑と案内板が設置されている。
北にある恵利寺は跡部頼利の曾孫にあたる大和尚物堂宗接禅師によって再興されたものという。