築城年代は定かではない。 城主は庭谷氏で国峯城主小幡氏の一族という。
天正18年(1590年)豊臣秀吉による小田原征伐で国峯城主小幡信定は北条氏に属していたため小田原城に籠った。この時、国峯城と庭谷城の守備を命じられたのが庭谷左衛門大夫兼行である。
城は鏑川の西岸の河岸丘陵に築かれている。 主郭は方形で東が鏑川に面し、残りの三方に土塁を設け西に虎口がある。南は赤城大明神の鳥居があるが、ここはやや土塁が削られただけのように見え、元もとの開口部ではなさそうである。主郭の北側面の下部に石積が残っている。 主郭の北下と西から南を覆うように曲輪があったというが、こちらは畑や住宅地となっている。