築城年代は定かではないが井上氏によって築かれたと云われる。 井上氏は鎌倉時代に清和源氏頼信の子頼季がこの地に来住して井上氏を称したのが始まりとされる。
井上氏は米持氏、村山氏、高梨氏、須田氏などの庶流を輩出してこの辺り一帯に拡がっていった。
井上氏居館は小坂神社の北西にあり、南背後には詰城とされる井上城がある。
井上氏居館は現在果樹園などになっているが、南側に空堀跡が残り、果樹園の部分にも段差があり、南西隅部が削られて入隅になっているのが確認できる。
東の竹の城方面に行った所に井上氏墳墓がある(地図)。