築城年代は定かではない。今川了俊(貞世)を祖とする遠江今川氏の居城とされる。 遠江今川氏の居城はこの堀越城と見付端城が伝わり、貞世の後貞臣、貞相と続いたがいずれの時代に堀越城、見付端城を居城としたのかは詳らかではない。
天文12年(1532年)今川義元が西楽寺に与えた安堵状に地頭堀越貞基の名が残り、この堀越氏は遠江今川氏の末裔である。
堀越城は海蔵寺一帯にあったという。近年まで寺の西側にある市街地に土塁などの遺構が残っていたとされるが、ほとんど消滅したようで見つけることはできなかった。
海蔵寺に「堀越藤左ヱ門」という墓があるが堀越氏の一族であろうか。