Legittimo erede al trono di Scozia e Inghilterra, con il nome di Giacomo III, passò tutta la vita in esilio, come il padre spodestato dalla Gloriosa Rivoluzione, che diede il potere a Guglielmo III d'Orange-Nassau. Visse per lo più ad Urbino e Roma.

Quando Giacomo da Roma si recò ad Urbino (1717), qui fece sosta, ospite dei fratelli Albani, nipoti di papa Clemente XI, Annibale, Carlo e Alessandro. Il castello, fatto costruire dagli Orsini alla metà del XIII sec., ebbe diversi proprietari fino agli Albani (1715), e ai Chigi (1825), passando poi alla Santa Sede.