Fin dal '200 l'edificio contiguo alla chiesa di S.Paolo fu destinato ad ospitare malati bisognosi; leggenda dice che qui si incontrarono S.Francesco e S.Domenico (episodio raffigurato in una lunetta di Andrea della Robbia). Nel XV sec. si fecero opere di ampliamento e ammodernamento per impulso di Benino Benini; l'inizio e la fine dei lavori (1451 e 1495) sono indicati in due mezzi medaglioni alle estremità del loggiato, opere di Andrea della Robbia. Il volto ritratto dovrebbe essere quello del Benini.