築城年代は定かではない。城主は木屋平氏で平知盛の後裔という。

小屋平氏は阿波守護細川氏に仕え、長宗我部元親の勢力が伸びてくるとこれに従い、中富川の合戦にも従軍している。江戸時代には蜂須賀氏に五十石で取り立てられ松家氏と称した。

森遠城は穴吹川北岸の標高500m付近に築かれており、現在は正八幡神社の境内となっている。

明瞭な遺構は神社の北側にあり土塁の外に二重空堀がある。二重堀は外側の堀がかなり浅くなっているが、西は道路まで延び、東は曲がってやや南へ伸びている。土塁は後世の開口部から北の民家へと道が伸びているが、その西側にも小さな開口部があり、西の土塁がやや内折れしている。

神社境内から西へは緩やかな斜面となり、その先端に井戸が残る。

国道438号線から森遠集落に登る道があり、神社境内まで車で行くことができる。