築城年代は定かではないが南北朝時代に赤松貞範によって築かれたと云われる。 赤松貞範は黒井城を詰の城として築くとその館城として留堀城を築いたという。
その後、黒井城主となった荻野伊予守の屋敷となったが、天文23年(1554年)荻野伊予守は荻野(赤井)直正によって留堀城で殺害され、黒井城主となった荻野直正は波多野氏とともに丹波国で勢力を伸ばして行く。
城は黒井城の北方約2kmにあり、周囲よりやや高くなった丘に築かれていた。
城は丘の東端に築かれており、西側に大堀切を設け櫓台もあったという。 しかし、本丸には三輪保育園が建てられ、西に続く台地も整地され大半の遺構は消滅したという。
三輪保育園か三輪小学校を目指す。南側の道路に石碑が建っている。
最寄り駅(直線距離)