Eretto nella seconda metà del XV secolo da Ferdinando I D'Aragona a difesa del Regno, il Castello di Pizzo, che si erge sulla parte occidentale della cittadina consacrata a S.Giorgio, è costituito da un massiccio corpo quadrangolare con due torrioni cilindrici angolari di cui la torre grande, detta torre maestra, è di origine Argioina (1380 circa).

Il Maniero, dalla parte che si affaccia sul mare, scende perpendicolarmente sulla rupe, dall'altra, una strada ha oggi preso il posto del preesistente fossato che lo circondava e sul quale un ponte lavatoio ed una porta, ne consentivano l'accesso.

Secondo una descrizione cinquecentesca, oltrepassata la porta si giungeva ad un piccolo cortile, alla cui destra, si trovava la zona carceraria costituita da quattro camere ed a sinistra, le casematte con le vettovaglie, Dal cortile, attraverso una scala, si saliva alla parte superiore ove erano dislocate otto stanze. La fortezza era altresì dotata di pianterreni è camminamenti interni che portavano anche fuori città. Essendo stata costruita allo scopo di difendere la costa dai barbareschi, durante l'occupazione Francese, gli fu aggiunta una batteria a mare, a difesa della spiaggia, detta Monacella.

Oltre a pochi elementi decorativi in pietra, le mensole residue nel torrione di nord-ovest e le piccole feritoie delle archibugiere, è presente sulla chiave di volta, che, sormonta il portone d'ingresso, lo stemma marmoreo della casa Infantado ed una lapide dedicata al re Gioacchino Murat alla cui fucilazione deve la fama il Castello e la città di Pizzo.