築城年代は定かではないが香川氏によって築かれた。 天霧城主香川信景の弟景全が城主であったという。 天正7年(1579年)天霧城が長宗我部氏の侵攻により開城すると長宗我部氏に降った。
天正13年豊臣秀吉の四国征伐で長宗我部元親が敗れて土佐へ引き上げると、観音寺備前守もまた土佐へ移り幡多郡に所領を賜った。
秀吉の四国統一の後、高丸城には与力の高坂丹波守(上坂丹波守)が一万石で城主となったが、元和の一国一城令によって廃城となったという。
一心寺の南側に「殿町」と呼ばれる地域があり、この辺りに築かれていたという。 一心寺の南に小さな公園があり、そこに「観音寺城」の石碑がある。この公園から南東へ伸びている区画が堀跡とされる区画で、以前は周囲より低い水田であったが、今はほぼ宅地となっている。
一心寺は香川氏の菩提寺で、その山門が高丸城の大手門を移築したものと伝えられている。
大手門(移築 城門)