築城年代は定かではない。

北朝方の伊達三郎が観応2年(1351年)9月23日に国分寺に布陣した記録が残っている。

その後の動向は定かではないが、戦国時代末期に大坪又四郎が城主であった。

国分寺城はその名の通り但馬国分寺(現在の国分寺も古代の国分寺の領域に残る)の北背後にある標高90m程の小山に築かれている。

南下の先端に水道施設がある広い平地があるが、ここが元々曲輪なのかどうかは不明であるが、この水道施設建設時に焼米が出土したという。

国分寺城は山頂に南北三段の曲輪があり、背後は空堀で北に別郭がある。東の山腹には三条の竪堀があり、北の曲輪の北側は大きな空堀によって遮断している。この堀切は現在は「天平の経」と名付けられた遊歩道になっている。北西尾根にも空堀が設けられ、先の空堀と合流している。

江原駅の北方にある但馬国分寺を目指す。国分寺の東側の車道を奥に上がっていくと売布神社がある。ここから東側の水道施設に上がる道がある。