大永元年(1521年)大石定重によって築かれた。 大石氏は木曽義仲の末裔で信濃国小県郡大石発祥といわれ、武蔵国守護代であった。 定重の時に滝山城を築いて高月城から居城を移したが、子定久の時に小田原北条氏に属し、北条氏康の次男氏照を養子として家督を譲った。

永禄12(1569年)武田信玄が北条領へ侵攻し滝山城を攻めたて、三の丸まで落とされたが、なんとか持ちこたえた。

その後、氏照は八王子城を築いて居城を移した。

現在国指定史跡として滝山城址公園となっており、巨大な空堀で区切られた曲輪群が非常に良好に残っている。

本丸には霞神社と金比羅社が奉られ、中の丸から引橋が架けられている。中の丸の南に二の丸があり、東へ行けば信濃屋敷、西へ行けば千畳敷を経て三の丸、南には馬出が残っている。

城址に置いてあるパンフレットに縄張図が載ってあり、これを見ながら散策しないと、自分がどのあたりに居るのか一瞬わからなくなるほど、空堀が入り組んでおり、一通り歩くだけでもかなりの時間を要する。