Il palazzo, come recita la scritta sulla fascia divisoria, fu costruito nel 1527, l'anno in cui Roma subì il saccheggio delle truppe imperiali; sorse per volontà di Mario Maffei (Roma 1463-Volterra, Pi 1537), letterato umanista, vescovo di Aquino dal 1516, di Cavaillon (F) dal 1524. È strano che un vescovo faccia riferimento al sacco di Roma, episodio drammatico ed umiliante per l'intera curia cattolica, tanto più che pure alcune sue proprietà romane vennero depredate.
La Toscana occidentale il 14/8/1846 venne colpita da un forte terremoto, che fece danni anche a Volterra. Antonio Lotti, orgoglioso della ricostruzione della casa giunta in sua proprietà, non poteva sapere che il 17/5/1853 un'altra scossa avrebbe provocato nuovi danni.