築城年代は定かではないが天野氏によって築かれたと云われる。 天野氏は藤原南家工藤時理の後裔で、藤内遠景が伊豆国天野郷に住んで天野氏を称したことに始まる。遠江の天野氏は承久の乱の後、山香荘地頭職として入部した一族である。
山香荘一帯に勢力を拡げた天野氏は遠江の有力国人となり、戦国時代は今川氏に従った。桶狭間の合戦で今川義元が織田信長に討たれると、永禄6年(1563年)には天野氏宗家の天野景泰・元景親子が今川氏から離反し、庶流で篠ヶ嶺城主天野藤秀の子景貫が天野家の惣領となっている。しかし、天野景貫もまた今川氏を離反して徳川家康に従った。ところが、元亀3年(1572年)に甲斐の武田信玄が遠江へ侵攻したときには、天野氏は武田氏の先陣となっている。
天正2年(1574年)には徳川家康が天野氏を攻め、このときは天野氏が撃退したが、天正4年(1576年)再び徳川家康が侵攻すると天野氏は支えきれず、一族家臣団とともに甲斐の武田氏を頼って落ち、遠江の天野氏は滅亡した。
犬居城は春野高校の北に聳える標高255mの行者山山頂に築かれており、現在は登山道が整備されている。2012年に訪れたときにはよく整備されていたが、2022年の再訪ではハイキングルート以外はヤブが深くなっていた。
最高所は物見台と呼ばれる曲輪Iで展望台が建っている。西尾根は鞍部となっており堀切と思われるがあまり加工した痕跡がなく自然地形に近いと思われる。
東へ伸びた尾根には南端が幅広の土塁のような曲輪IIが東西に伸び、北山腹に曲輪IIIがある。東端は虎口となり、曲輪IVとの境に堀切3があり土橋が架る。
曲輪IVは馬出し構造で側面に横掘2があり、北の虎口は堀切3から伸びる竪堀と横掘の間を通路としている。
北尾根には南端に土塁と堀切1を備えた曲輪Vがある。その先は堀切はなく北側面に平段、北山腹に井戸曲輪と呼ばれる曲輪VIがあり、現在も湧き水がある。
国道362号線犬居橋の西側に陸橋が架かっているのが見える。この陸橋を北へ進んだ所に登山口があり入口に駐車できる。