La tradizione vuole che l'eremo sia stato fondato da Alberto Besozzi, un ricco mercante locale che, scampato ad un nubifragio durante la traversata del lago, decise di ritirarsi su quel tratto di costa e condurvi vita da eremita. Lì il Beato Alberto fece edificare una cappella dedicata a Santa Caterina d'Egitto, attualmente visibile sul fondo della chiesa.
La cappella, che risale al XII sec., fu presto affiancata da altre due chiese, quella di San Nicola e Santa Maria Nova, la cui esistenza è certa a partire dal XIV sec. Dopo un primo periodo storico, durante il quale vi soggiornarono i Domenicani, dal 1314 al 1645 guidarono l'eremo i frati del convento milanese di Sant'Ambrogio ad Nemus, sostituiti poi dai carmelitani fino al 1770.
Da sottolineare è il miracolo di inizio settecento, quando cinque enormi massi "ballerini" precipitarono sulla chiesa, ma restarono impigliati nella volta di una cappella, senza causare gravi danni, rimanendo sospesi per quasi due secoli, fino al 1910.
Questi sassi "traballanti" sembrano dare il nome all'eremo che, per esteso, è Santa Caterina del Sasso Ballaro, anche se è più probabile che l'etimologia del nome sia legata al vicino centro abitato di Ballarate.
Dal 1970 l'eremo è proprietà della Provincia di Varese. Dal 1986 al 1996 è stato retto da una comunità domenicana, oggi invece è passato agli oblati benedettini.