築城年代は定かではないが貞治6年・正平22年(1367年)頃に鹿伏兎讃岐守盛宗によって築かれたと云われる。 鹿伏兎氏は関氏六代関盛政の四男盛宗が鹿伏兎谷を領して鹿伏兎氏を称したことに始まるという。
はじめ牛谷城と呼ばれていたが、七代鹿伏兎宮内少輔定好のときに修築して鹿伏兎城と呼ばれるようになった。
天正11年(1583年)織田信長が本能寺の変で倒れたあとの跡目争いで、織田信孝に与した鹿伏兎定義は織田信雄・羽柴秀吉方の攻撃を受けて鹿伏兎城を捨てこの地を去った。
鹿伏兎城は加太駅の北西背後に聳える標高263mの牛谷山山頂に築かれている。
鹿伏兎城の主郭は山頂部ではなく、その北東下に一段下がった山腹に築かれている。 山頂は一応削平されているが、そこから南東へ伸びた尾根は自然地形に近いものである。山頂部は詰の段か見張りのようなもので、尾根は土塁のような役割も果たしているのか。
山頂の北下から東下にかけて大きく二段の曲輪があり、北側が主郭のようである。 主郭は北と南に虎口を開く。北虎口に面した北端部に一段高い土壇があり、虎口の内側はやや折れのある通路になり、外側は北尾根側に凹んだ空間がある。この虎口を形成する土塁の外側にしっかりとした石積が設けられているが、これは本当に遺構なのだろうか。 南の土塁は主郭の側面を覆う土塁の南端が幅広くなり、虎口に至る。
主郭の南虎口を降りると二郭で、ここに石積の井戸が残り今なお水を蓄えている。この曲輪も南東側に虎口が付いているが、外側は崩落している部分もありその先は不明である。この虎口に対して尾根上から横矢が掛かる。
加太駅の西側の奥に神福寺があり、ここに鹿伏兎城の案内板が設置されている。この図に書かれている道は今はなく、谷を挟んだ西側から登る道が主郭の北虎口へと通じている。しかし、この登山道の入口は線路を越えた山側にあり、道路沿いには何の案内もないので見知らぬ人がこれを探し出すのは困難である。
登るのはお寺から山へ取り付き、谷間から右上の尾根によじ登り尾根伝いに登るのが確実である。一応、登山道入口の地図を示すが、田のあぜ道を抜けて道へ出てくると「問屋場跡」の石碑が建っている民家付近に出る。
最寄り駅(直線距離)