Jádro hradu vzniklo pravděpodobně v období kolem roku 1300, stavba se však pod jménem Lapis, tj. Kámen připomíná až roku 1348 a to v pobořeném stavu. Skalnatý hřbet však nabízel dobré podmínky pro obranu a tak byl hrad opraven. Husitské války mu však přinesly opět zkázu. Páni z Pernštejna však Zubštejn obnovili a někteří členové rodu v něm sídlili ještě minimálně v první polovině 16. století.