詳細不明。伯耆山名氏由来の人物の居城といわれ、山名澄之・森下道与などが在城したとも云われるが詳らかではない。

富繁城は富繁集落の西側にある宇田川に沿って北へ伸びた丘陵に築かれている。 現在山上は畑地となっており遺構は明確ではない。

城山への入口に石碑と案内があり、城址には天明3年(1783年)建立の「奉書写寿量品一字一石塔」がある。

県道299号線沿いに富繁集落に入ると「富繁構造改善センター」が県道沿いにある。ここから橋を渡って西側に入っていくと山上に通じる道の入口に石碑がたっている。