築城年代は定かではないが小山氏によって築かれた。
小山(こやま)氏は下野国小山(おやま)氏の一族とされ、鎌倉時代に海賊を取り締まるためにこの地にきたのが始まりとされる。なお、発祥とされる下野小山氏は「おやま」と読むが、紀伊小山氏は「こやま」と読むようである。
小山氏は熊野水軍として活躍し、紀伊守護畠山氏などに従っていたが、関ヶ原合戦で西軍に属して没落した。
江戸時代には紀州藩徳川氏に召し出され、大島浦遠見番役を代々務めた。
小山屋敷は古座駅の南側一帯に築かれていた。現在は住宅街となっており、線路の東側に小山井戸と呼ばれる井戸が残るのみである。