築城年代は定かではないが室町時代に吉良氏によって築かれたのが始まりとされる。 吉良氏は三河発祥の足利氏の一族で世田谷吉良氏はその庶流である。
吉良氏は鎌倉公方、関東管領上杉氏、小田原北条氏などに従って付いたが、天正18年(1590年)豊臣秀吉による小田原征伐で廃城となった。
世田谷城は豪徳寺の南にある世田谷公園一帯に築かれている。
世田谷城の城域ははっきりしないが、世田谷公園一帯、あるいはそれに豪徳寺を含む、またさらにそれよりも拡がる可能性が考えられている。
世田谷城址公園となっている部分は台地の南東端と考えられ、土塁と空堀で区画された小さな曲輪などを見学することができる。ただ北側にある豪徳寺団地や宅地の裏の空堀や土塁のほうが残存度は高いように思える。団地内は関係者以外立ち入り禁止とあったので参道などから眺めただけであるが、南北に長く土塁が残っているのがわかる。またこの参道も堀底のような雰囲気がある。北から回り込むと宅地裏に残る空堀などは確認することができる。
豪徳寺には彦根藩井伊家の墓所があり井伊直孝や井伊直弼の墓がある。