築城年代は定かではない。柴生田氏の居城という。
『諏訪御符礼古書』には文明2年(1470年)「柴生田石見守光信 御符礼一貫八百文」、文明12年(1480年)「宮頭 柴生田沙弥常能 御符礼一貫八百」、文明17年(1485年)「柴生田磯並伊豆守直光 御符礼一貫八百」の記録が残る。
永享8年(1436年)に小笠原政康が禰津氏の支城であった芝生田城と別府城を攻略している。
芝生田城は芝生田集落の北方に築かれていた。 田畑の中にビニールハウスが二つ並んでいる所が城址だと云われているが、耕地整理されているのか周囲と何ら変わらない地形である。そこにある木の下に石碑があり、これが「信濃の山城と館」に記されている「小笠原氏常磐外記長武之碑」のようである。