Nei pressi di Piazza Sant'Oronzo sorge il Castello voluto dal Re Carlo V nel 1539.

Il progetto dell'edificio venne affidato all'architetto Gian Giacomo dell'Acaya e richiese la demolizione della Cappella di Santa Trinità e del Monastero Celestino di Santa Croce a cui sono stati intitolati due bastioni delle mura che compongono la fortezza. Il castello non ebbe solo funzioni difensive, ma nel XVIII secolo una delle sue sale fu adibita per ospitare spettacoli teatrali. Dopo aver funto da caserma e distretto militare, dal 1870 al 1979, oggi il Castello è proprietà del Comune e sede dell'Assessorato alla Cultura, scenografia perfetta per le varie attività culturali che vengono organizzate. I visitatori resteranno di sicuro affascinati dalle raffinate decorazioni dell'interno: i capitelli e la cornice decorata della gran sala, gli spazi illuminati da imponenti vetrate, i delicati particolari decorativi, il salone al piano superiore con le volte sostenute da possenti colonne di pietra; tutti elementi di notevole rilievo artistico. Una leggenda è legata alla storia del Castello: pare che nel corso del '300 gli Orsini del Balzo tenessero un orso bianco nel fossato che circondava la costruzione. L'animale oltre a rappresentare uno status symbol, riusciva ad intimorire i malintenzionati.