Il palazzo, in stile manierista, fu iniziato da Giovanni Palmieri e poi ampliato nel 1577 dal figlio Scipione.
(Testo)
A IOHANNE PALMERIO AMPLISS. EQUITE. ET CLA RISS. IURE CONS.GRAVISS. CIVE INCOHATUM OPUS SCIPIO F. OBSERVANIDISS. LONGE AUXIT FELICISSIMEQ. ABSOLVIT M D LXXVII