文明元年(1469年)織田遠江守広近によって築かれたと云われる。 織田広近は尾張守護代織田郷広の子で織田敏広の弟である。 文明元年(1469年)木之下城を築いて小口城から移った。
広近の嫡男寛広は兄で岩倉城主の織田敏広の養子となり、尾張上四郡の守護代織田伊勢守家の家督を継いでいる。
木之下城の織田氏は広近のあと四代続き、天文6年(1537年)織田信康のとき犬山城を築いて居城を移し廃城となった。
木之下城は現在の愛宕神社一帯に築かれていたという。 その規模は南北350m、東西200m程であったという。
特に遺構らしきものはないが、愛宕神社にある金明水の井戸は木之下城の時代に掘られたものだと推測されている。