詳細不明。城主は細川氏の家臣武田氏と伝えられる。
柿ノ木谷城は成相寺の北に聳える標高291mの山に築かれている。
主郭は山頂にあり、これを中心に東西に伸びた尾根に曲輪を展開する。主郭は東西二段で西が低く、北西隅に虎口がある。虎口は二度折れて出ていく構造である。この主郭部周辺に帯曲輪が多段に付いている。石積や列石は主郭内や南の帯曲輪、東の帯曲輪など点在している。
主郭から東へ伸びる尾根は一段低く鞍部があり、その東が一段高くなる。ただこの尾根の最高所の部分はほぼ自然地形で、東端には堀切もない。ただ北下にはきれいに削平された帯曲輪が付いている。
主郭から西へ伸びた尾根には曲輪が連なっており、南に帯曲輪がある。一部は横堀状となり、西端には虎口がある。
成相寺の北、山頂から南へ伸びた尾根を利用すると登りやすい。