築城年代は定かではないが永禄年間(1558年〜1570年)頃に粟屋小次郎または父粟屋右衛門大夫によって築かれたと云われる。

永禄4年(1561年)逸見昌経が砕導山城に籠って若狭国守護武田義統に反旗を翻したが、この後、逸見氏に対する備えとして武田氏が粟屋氏に築城を命じたと推測されている。

白石山城は馬居寺(まごじ)にある標高186mの山頂に築かれている。急峻な地形の為か標高より高く見える。

城は南北に伸びた山頂にあり、南北二郭で北が主郭と思われる。 北郭は北に石垣で固められた桝形虎口があり、北尾根に向かって三段程の削平地が連なって一条の堀切が残っている。石垣は北の虎口周辺から東側面、そして南の堀切付近に残っている。北郭は低い土塁と溝によって南北に区画されていたようで、南側の段からは北側の東下にある帯曲輪(犬走り)を通っていたように見える。

南郭と北郭は堀切で区画され、堀切のやや北側に竪堀が一条ある。南郭は西側と南側に土塁が残る。南側の土塁は中央が削れているが虎口なのか単に良く歩かれて削れているのかは定かではない。

城山の東側にある馬居寺を目指す。馬居寺から更に車道は続いており、この林道の終点から北へ尾根伝いに行くと白石山城に達する。白石山城に関する案内板や道標は一切見当たらないが、白石山城の南尾根の直ぐ近くまで伸びている。