Appartiene al FAI (Fondo Ambiente Italiano, che ne cura la conservazione e ne gestisce l'attività espositiva).
Villa Panza è compresa nel territorio di Biumo Superiore, località alla periferia Nord di Varese. Sorge su una vasta area verde, dove si trova anche Villa Ponti. 
Il complesso della villa risulta costituito dal corpo principale della villa stessa, dall'ala dei "rustici", dalla "scuderia grande" e dall'ampio parco di 33.000 metri quadrati che circonda le costruzioni. 
Il corpo principale della villa ha pianta a "U", con le due braccia rivolte verso il giardino interno. Vista dall'entrata principale l'ingresso della villa si presenta semplice e spoglio e quasi non si distingue dalle altre costruzioni.

Le origini di Villa Panza risalgono alla fine del '600, quando venne costruito il primo nucleo di edifici. 
Acquistata nel 1735 dal banchiere e marchese Paolo Antonio Menafoglio, l'edificio venne sottoposto a lavori di ampliamento. Nello stesso tempo venne sistemato il parco circostante. 
Nel 1823 la villa venne acquistata dal duca Pompeo Litta Visconti Arese. L'edificio principale venne riadattato, in modo da includere un'ampia sala in stile neoclassico. Vennero modificati i rustici e il parco fu ridisegnato all'inglese.
Nel 1931 la villa fu acquistata dal conte Ernesto Panza di Biumo. Alla morte del conte, il complesso venne ereditato dai 4 figli. A interessarsi ad essa fu soprattutto Giuseppe Panza di Biumo, che negli anni '60 cominciò a riempirla con le opere d'arte contemporanea che acquistava in tutto il mondo. 
Tra i primi anni '60 e la metà degli anni '80 la villa si arricchì di capolavori di grandi autori dell'Informale, dell'Espressionismo astratto, della Pop Art, del Minimalismo e dell'arte concettuale. 
Con il diretto coinvolgimento degli artisti, Panza di Biumo riadattò i rustici e la scuderia grande e vi collocò grandi installazioni e opere ambientali. 

Attorno alla metà degli anni '80, Giuseppe Panza di Biumo cedette una parte della sua collezione a Los Angeles. In particolare, le opere degli anni '50 e '60. 

Parte delle opere minimaliste e concettuali furono cedute qualche anno dopo alla Guggenheim Foundation. 

All'inizio degli anni '90 venne donato al Museo Cantonale di Lugano un gruppo di opere americane degli anni '80.


Per quanto riguarda la villa, con le opere rimanenti e le grandi installazioni, il conte cercò di trovare un accordo con il Comune di Varese e con la Regione Lombardia. Dopo vari tentativi, nel 1996 donò il complesso al FAI, con l'impegno che questi ne facesse un centro per l'arte moderna e contemporanea.