築城年代は定かではない。 衣笠氏の居城で衣笠祐盛・範弘父子が在城し、範弘の子範景の時に端谷城を築いて居城を移したという。

城は櫨谷小学校の南東側にある小山に築かれている。 山頂に社が設けられ、そこに向かう道沿いに竪堀、土塁跡が残っている。大手側といわれる北西方面にある竹薮の中には堀底道と虎口が良く残っている。

城山の東側面を通る車道が左へカーブするあたりに山沿いに入る道があり、山頂の社へ続く道がある。