天正12年(1584年)宇喜多氏が岩屋城を攻撃するための陣城として築かれた。 井ノ奥砦の守将は小瀬修理太夫と伝えられる。
井ノ奥砦は与右衛門の上砦ととちの木砦との間に位置する。 「井ノ奥砦」の看板は与右衛門の上砦のすぐ上にある南北に階段状になった砦の所に掲げてあった。
砦跡と思われる小さな平段が多数点在しているが、ほとんど土塁も付かず、堀切も浅いものがいくつか確認できる程度で、砦群の中では一番見るべき所がないような所である。 「美作国の山城」の図面では土塁囲みの砦群が堀切で区画されながら続いているように描いているのだが、まったくわからなかった。