築城年代は定かではないが永仁年間(1293年〜1299年)に芳賀高俊によって築かれたと 云われる。 芳賀氏は下野国芳賀郡大内荘の発祥で、清原高澄の子高重が花山天皇の怒りに触れて寛和元年(975年)芳賀郡大内荘に配流となって居住したことに始まる。

南北朝時代には宇都宮氏に従って北朝方として南朝方と対峙、暦応4年(1341年)南朝方の春日顕国によって攻められ、飛山城は落城、しかし康永年間(1342年〜1345年)頃には再び芳賀氏の手に戻った。

天正18年(1590年)の小田原征伐の後に廃城となった。

現在は国指定史跡として飛山城史跡公園となり、歴史体験館が併設されているが、残念ながら歴史体験館は休館日であった。

城は鬼怒川の東側の台地に築かれており、北と西は天然の要害をなす。北西隅に本丸、東と南を覆うように二の丸、南に三の丸を配している。

堀は途中屈折させたり、櫓台を外に張出すことで横矢を掛けるようになっている。