建久3年(1192年)柿岡時知(時家とも)によって築かれた。 常陸国守護八田知家の十男小田時知がこの地に住んで、柿岡氏を名乗ったことに始まる。
戦国時代末期には柿岡氏は衰退し武蔵国岩槻城主太田資正の次男梶原政景の居城となったが、 永禄12(1569年)に佐竹氏は小田氏治の小田城を攻め落とし、政景が小田城へ移った為、真壁房幹が城主となった。
その真壁氏も文禄4年(1595年)に大島城へ移り、長倉城主長倉義興が城主となるが慶長5年(1600年)義興が没すると国分盛重が城主となる。しかし、慶長7年(1602年)佐竹義宣は出羽国久保田に転封となり国分氏も出羽へ移った。
・慶長19年(1614年)立花宗茂の弟直次が五千石で入封、元和7年(1621年)種次の時、筑後国三池に転封。
・元和9年(1623年)稲葉正勝が五千石で入封、寛永9年(1632年)相模国小田原に転封。
その後は天領となった。
城は柿岡小学校のある高台に築かれており、柿岡小学校と西側にあるシルバー人材センターの間に土塁が残り、その南側に空堀が残っている。
たまたま学校の先生に合うことができたので、話をさせて頂いた所、石碑と案内板が校内に設置されているとのことであったので、許可を頂いて撮影した。東側にある校門から少し入った所に設置されていた。