La targa più antica ricorda il primo restauro della rocca nel 1517 ad opera di Anton Francesco Albizzi (Firenze 1486-1537), che era stato nominato governatore di Narni da papa Leone X, un Medici; ma i rapporti di quest'uomo politico con la potente famiglia fiorentina si ruppero irreparabilmente pochi anni dopo, tanto che fu costretto all'esilio dalla sua città e, dopo un ennesimo tentativo armato di rientro, fu sconfitto, catturato dalle truppe di Cosimo I e giustiziato.
La rocca prende nome dal cardinale Gil Alvarez de Albornoz, che ne promosse la costruzione nel 1367.