築城年代は定かではないが建武4年・延元2年(1337年)頃に北朝方の足利高経(斯波高経)によって築かれたと云われる。 大黒丸城の出城といわれ、足羽七城の一つに数えられることもある。
建武5年・延元3年(1338年)藤島の戦いでは、北朝方に寝返った平泉寺衆徒の籠る藤島城の援軍に向かってこの城から発した軍勢が南朝方の大将新田義貞と遭遇し、燈明寺畷で義貞を討った。 しかし、翌年義貞の弟脇屋義助が再び挙兵して黒丸城を攻めると、足利高経は黒丸城を捨てて加賀へ逃れた。
小黒丸城は九頭竜川と日野川が合流する地点に築かれていた。 現在は辺り一面宅地や水田となり遺構はない。 黒丸町集落の西の外れに小黒丸城の石碑が建てられているが、もとはここより北方50mの所にあったという。