築城年代は定かではないが豊田種藤によって築かれたと云われる。
種藤は一ノ瀬に居館を構えた豊田氏十二代豊田種長の子で、種長・種本父子のいる一ノ瀬の館からこの向山に分かれて館を構えた。種長の没後は種藤が十三代の家督を継ぎ、それまでの居城である一ノ瀬城とは別に長生寺城を築いて居城としたという。
豊田種藤の庶子の種治は向山館の山の反対側にある御幣司に居館を構えて東殿と呼ばれ、種藤の家督を継いだ十四代種秀は西殿と呼ばれた。伊予の二神島に渡り二神氏を称した種家も庶流である。
豊田氏向山館は山の北麓に築かれていた。東八幡宮から山裾に沿って通る道を北東方向に進んで行った所に案内板が設置されており、この水田の奥に諏訪社の石碑があり、この辺りが居館跡である。
山際に二段ほどの土壇があり、諏訪社の石碑がある。その脇にある池は堀の一部であろうか。殿敷公会堂近くの県道沿いに種藤が建立した菩提寺の知行寺跡がある。
「殿敷」の地名は「豊田殿屋敷」から「殿屋敷」さらに「殿敷」と省略されて付いたものだという。
御幣司の東殿屋敷も探してみたが、こちらは特に案内板もないようで場所もよく分からなかった。