築城年代は定かではない。古くは松山郷などと呼ばれ、鎌倉時代には執権北条義時の支配地で、建武4年には仁木弥太郎義有がこの地の地頭であった。

観応年間(1350年〜1352年)には原田喜太郎がこの地を根拠地として南朝方と戦った。貞治年間(1362年〜1368年)には関東管領上杉憲顕の家臣丸山善正が城主となり、その後数代丸山氏が続き、永正4年(1507年)越後国守護上杉房能が守護代長尾為景によって追われ自刃した際に丸山左近入道信澄もともに自刃したという。

その後、長尾上杉氏の家臣が在城し、最後の城主は小森沢政秀であった。

犬伏城は犬伏集落の北西背後の標高365.5mの城山に築かれている。犬伏集落はもともとこの城を詰城とした居館があった所で現在でも空堀などの遺構を見ることができるという。

犬山城は山頂に主郭を置きそこから東から南の山腹に曲輪が設けられている。 東の山腹にはかなり広い削平地が段々に設けられ、谷を隔てた南側、南東へ伸びた尾根にも曲輪や堀切などが明瞭に残されている。

国道253号線から犬伏集落に入り、集落内の道を西へ進んでいくと集落内の案内板がある。登山口はそこからさらに西へ進み、最後川沿いにさしかかる所に松之山街道の案内板が設置されている。ここが登山道の入口で墓地脇を登っていくと南東に伸びた尾根の曲輪群に入り、谷を越えて主郭まで道が通じている。