Si tratta di un antico affresco che nel 1371 Jacopo Alberti fece riparare erigendovi attorno una cappellina; si venerava a capo del ponte a Rubaconte, così chiamato da Rubaconte da Mandello che lo aveva fatto costruire nel 1227; la devozione dei fiorentini per questa immagine diede alla struttura il nome dominante,
ponte alle Grazie, e si credette che la protezione della Madonna lo avesse preservato -unico fra tutti gli altri- dalle alluvioni succedutesi nei secoli. Nel 1874 però l'affresco fu trasferito in un oratorio, eretto a questo scopo, perché si dovette allargare la carreggiata per consentire al tram di attraversare qui l'Arno; nel 1944 le truppe tedesche in ritirata minarono il ponte, che fu ricostruito solo nel 1957.