築城年代は定かではないが芹沢氏によって築かれたと云われる。 芹沢氏は常陸大掾氏一族で、大掾義幹の次男茂幹の後裔幹文が相模国芹沢に移って芹沢氏を称したことに始まるとされる。
芹沢幹文のあとは良幹、高幹、望幹と続き、望幹の子良忠は常陸へ戻って大掾詮国に仕えた。良忠の子もまた相模に住んでいたが、芹沢秀幹のときにこの地へ住んで芹沢城を築き、地名もいつしか芹沢となった。秀幹の後は定幹、国幹と続く。天正19年(1591年)佐竹義宣は「南方三十三館の仕置」として大掾一族を中心に謀殺したが、この芹沢氏は無事であった。
芹沢城は比高20m程の台地の上に築かれていたという。現在は大半が畑となっており、明瞭な遺構はほとんど残っていないようである。
芹沢外記旧宅(「芹沢鴨生家跡」の看板のある所)から台地の上へと続く道を登り詰めると芹沢城の碑と案内板がある。南東側の大宮神社付近に土塁のような土盛りが残されているが、遺構なのかどうかはっきりしない。