Terziario francescano, commendatore del Sovrano Militare Ordine di Malta, si dedicò ad opere di carità; il fratello minore Alessandro ebbe con lui un forte rapporto affettivo, tanto da dedicargli la colonna quando Carlo era ancora vivente.

I Torlonia, trasferitisi nel '700 dalla Francia a Roma iniziarono le loro fortune come mercanti di tessuti in piazza di Spagna, poi continuarono come banchieri e infine proprietari fondiari ed immobiliari, incamerando i beni dati a garanzia per prestiti non restituiti. Infine il papa Pio VII nominò il padre di Carlo e Alessandro, Giovanni Torlonia, Princeps Romanus; fu lui ad acquistare dai Colonna la villa, affidandone la trasformazione architettonica a Giuseppe Valadier. Qui poi, durante il Fascismo, stabilì la sua residenza ufficiale Benito Mussolini.