築城年代は定かではないが貞応元年(1222年)に阿蘇大宮司惟次によって築かれたとも云われる。
阿蘇氏の後は豊臣秀吉の家臣で佐々成政、さらに宇土城に入った小西行長の所領となり、その家臣結城弥平次が城代となった。この小西氏の時代に大規模に改修されたとも云われ、城内から出土したクルス瓦(十字架と聖旗が描かれたキリシタン瓦)は、この弥平次がキリシタンであったからとも考えられている。
関ヶ原合戦後に小西氏が改易となると熊本城主加藤清正の所領となり、加藤氏の家臣長尾豊前守善政、加藤正直が城代となる。この加藤氏の時代にも城が大改修され三重の天守が聳えていたという。
愛藤寺城は緑川とその支流である千滝川が合流する地点の高台に築かれている。台地の上には小さな相藤寺集落があるが、城が築かれているのは集落の南方で現在は畑や山林となっている。
本丸は畑であるが、その北東にある「一の天主」と呼ばれる土壇の上に案内板と標柱が建っている。この本丸は石垣造りのようで、西の空堀に面した部分に一部確認できる。また東の道路側に現在ブルーシートが掛かっている所があるが、この中に高石垣がある。
本丸の西に空堀を隔てて西にあるのが三の丸、本丸の北に二の丸がある。二の丸は小西氏時代の本丸とも云われ、「二の天主」と呼ばれる櫓台がある。この二の丸から北東へ伸びた尾根、東に一条、北東に二条の堀切がある。また、二の丸のやや北側の東側面に大きな横堀があり、最大の見所である。
二の丸から北へ進むと堀切があり、そこが城門跡。
道はやや細いが本丸近くまで車で行くことができる。本丸近くの路肩に駐車可能。
近くには長尾豊前守の墓がある。