Il primo si trova esattamente nel centro di Fagnano Olona e viene fatto risalire al decimo - dodicesimo secolo. Abbiamo poche notizie relative alle sue origini, ma pare che esistesse già in epoca romana e nel 1257 divenne proprietà dei Visconti. Nel corso dei secoli subì numerose trasformazioni: l’aggiunta di due torri ad opera di Filippo Maria Visconti, la costruzione di due edifici, la realizzazione di un cortile. Nella seconda metà del ‘500 il castello divenne la seconda casa di Gaspare Visconti, Arcivescovo di Milano. Particolarmente piacevole è il panorama e l’incomparabile vista che offre il castello: sovrastante la pianura di Fagnano si erge un incantevole Monte Rosa.