Monumento ed epigrafi hanno una storia complessa: fra il 1551 e il 1553 papa Giulio III si fece costruire una villa sulla via Flaminia (ancor oggi "Villa Giulia") e sul muro esterno fece aggiungere una fontana, alimentata dall'acquedotto Vergine. Nel 1560 un successore, Pio IV, si fece costruire pure lui una villa, che inglobava nell'edificio la fontana, e la donò al nipote Carlo Borromeo, il quale la trasferì alla sorella Anna quando nel 1577 si sposò con un Fabrizio Colonna; dalla coppia nacque il Filippo Colonna menzionato nell'epigrafe inferiore. Nel 1750 un altro Fabrizio Colonna dedicò una lapide a papa Benedetto XIV per aver fatto restaurare la conduttura dell'Acqua Vergine che alimentava la fontana e la villa, concedendone l'utilizzo.