Il castello è costruito direttamente su un banco roccioso, in molti punti affiorante, ed è universalmente noto per la sua forma ottagonale. Su ognuno degli otto spigoli si innestano otto torri della stessa forma nelle cortine murarie in pietra calcarea locale, segnate da una cornice marcapiano, si aprono otto monòfore nel piano inferiore, sette bifore ed una sola trifora, rivolta verso Andria, in quello superiore.

Il cortile, di forma ottagonale, è caratterizzato, come tutto l'edificio, dal contrasto cromatico derivante dall'utilizzo di breccia corallina, pietra calcarea e marmi; un tempo erano presenti anche antiche sculture, di cui restano solo la lastra raffigurante il Corteo dei cavalieri ed un Frammento di figura antropomorfa.

In corrispondenza del piano superiore si aprono tre porte-finestre, sotto cui sono presenti alcuni elementi aggettanti ed alcuni fori, forse destinati a reggere un ballatoio ligneo utile a rendere indipendenti l'una dall'altra le sale, tutte comunicanti tra loro con un percorso anulare, ad eccezione della prima e dell'ottava, separate da una parete in cui si apre, in alto, un grande oculo, probabilmente utilizzato per comunicare.

Le sedici sale, otto per ciascun piano, hanno forma trapezoidale e sono state coperte con un'ingegnosa soluzione. Lo spazio è ripartito, infatti, in una campata centrale quadrata coperta a crocièra costolonata, ( con semicolonne in brèccia corallina a pianterreno e pilastri trilobati di marmo a quello superiore), mentre i residui spazi triangolari sono coperti da volte a botte ogivali.

Le chiavi di volta delle crociere sono diverse fra loro, decorate da elementi antropomorfi , zoomorfi e fitomorfi.