Rimane poco dell'antico castello sull'altura che domina il litorale; fu probabilmente costruito dai bizantini (VI sec.) a difesa delle scorrerie saracene; poi vide continue modifiche e rafforzamenti ad opera dei signori che si succedettero nella regione: Arabi, di nuovo Bizantini, Normanni, Imperiali (Federico II), Angioini, Aragonesi, di nuovo Imperiali (Carlo V), Borboni. Il castello è rimasto nello stemma della città con un motto latino che vanta la fedeltà ai re: ma nel lungo avvicendamento di regnanti non si capisce a quali monarchi in particolare sia stata fedele.