La Compagnia nacque a Prato nel 1588 per iniziativa di 30 uomini che fecero un pellegrinaggio alla S.Casa di Loreto (An) e al ritorno decisero di fondare un oratorio che ospitasse la Compagnia e si dedicasse ad opere di misericordia. Nel 1785 la Compagnia fu soppressa ma venne fatta rinascere nel 1791 con l'approvazione del Granduca Ferdinando III Asburgo-Lorena; i suoi diritti vennero poi ampliati nel 1804 sotto il regno di Toscana di Carlo Ludovico di Borbone, allora appena cinquenne e sotto tutela della madre Maria Luisa di Spagna.