築城年代は定かではないが芦野氏によって築かれた。 築城に関しては二つの説があり、一般的に前者の方が有力とされている。 天文年間(1532年〜1555年)に芦野資興が太田道潅に兵法を学び芦野城を築いたという説と、天正18年(1590年)に芦野盛泰が築いた説である。

芦野氏は正平年間(1346年〜1370年)に那須資忠の三男(あるいは二男)資方(あるいは資宗)が芦野家を継いだことがわかっているが、それ以前については詳らかではない。しかし、吾妻鏡の建長元年(1256年)6月2日の条に「奥の大道を警固するべき路次の地頭」として芦野地頭があり、芦野館を居城とした人物がいたことは確かなようである。

天正18年(1590年)那須七騎の一人芦野盛泰は、主家烏山城主那須資晴には従わず、那須衆として豊臣秀吉の小田原城攻めに参陣し本領を安堵された。

慶長5年(1600年)関ヶ原合戦では徳川家康に属して上杉景勝の南下に備え、その功によって加増され約三千石を領して交代寄合の旗本となった。この時、芦野城の二の丸に陣屋が構えられ芦野陣屋として代々芦野氏が続き明治に至る。

芦野城は奈良川の東岸、芦野集落の東の山に築かれている。

那須歴史探訪館から遊歩道を登ると広い平地かあり、ここが芦野城二の丸で芦野陣屋が設けられてい所である。二の丸は東西両側に土塁が残り、西側の北が裏門、南側が表門であった。表門は枡形虎口になっている。

芦野城の本丸は二の丸の北に築かれている。南北に長い曲輪が本丸で、空堀を挟んで北に一郭、東に三郭ある。

芦野集落にある那須歴史探訪館に駐車場があり、ここから遊歩道がある。