Il complesso non fu mai abbattuto, anzi fu usato dai goti, dai bizantini e dai longobardi che a quell'epoca avevano occupato tutta la Lombardia. In seguito venne abbandonato e abitato da alcune monache benedettine che lo arricchirono con la costruzione della chiesa e del monastero nell'XI secolo. Così la torre, che fino ad ora aveva assunto utilizzo esclusivamente difensivo, venne rivalorizzata dalle monache benedettine che ne affrescarono le pareti con immagini religiose.
Del primo piano è purtroppo ormai quasi tutto andato perduto, è rimasta un'iscrizione con un'alfa e un'omega e il volto di una monaca con accanto il lembo di un vestito molto ricercato che doveva appartenere ad una superiora. Accanto alla rappresentazione vi è un'ulteriore scritta: "Casta Aliberga", tipico nome longobardo accanto alla parola "casta", cioè pura.
Questo piano non reca ormai null'altro, anche se un tempo le immagini ricoprivano tutte le pareti, perchè nel 1482 le monache dovettero abbandonare il sito a causa dei troppi pericoli a cui erano soggette, dopotutto erano sole e isolate, e le preghiere non sempre riuscivano a difenderle dai malintenzionati che popolavano il circondario. Così il complesso venne abitato dai contadini che adibirono questa stanza a cucina, distruggendo le splendide immagini sulle pareti.

Per fortuna il secondo piano non ebbe lo stesso destino, oggi si è in gran parte conservato e costituisce la parte più bella del monastero. In questo luogo le monache si raccoglievano per pregare. Nella parete est abbiamo un Cristo benedicente accanto a S.Giovanni. A sud sono rimasti solo dei calzari, probabilmente appartenuti a dei martiri, ipotesi attribuita loro dalla tipologia.
Nella parete ovest abbiamo l'affresco più bello, significativo e misterioso, un gruppo di otto monache in processione con sopra le loro teste otto sante, che si è sempre pensato fossero le protettrici delle stesse monache, oppure che fossero direttamente le stesse monache riportate nella visione celeste. Come al solito il numero otto emerge non a caso in un luogo religioso e di alto valore simbolico. 

C'è però un particolare che balza immediatamente all'occhio e cioè che tre di loro sono senza volto. Sono state fatte diverse supposizioni a riguardo, tra le quali, la più plausibile è stata quella in cui si ritiene che la scomparsa sia dovuta alla forte umidità del luogo che ha contribuito alla perdita dei linealmenti, dato che venivano realizzati successivamente con colore sul colore del volto e quindi con una presa debole. Cosa strana resta comunque il fatto che gli altri volti non sono scomparsi totalmente come questi, in questo caso infatti, essi sono di un ovale perfetto, privo di qualsiasi traccia come se nulla vi fosse stato disegnato sopra, come se effettivamente fossero sempre state senza viso. 

Esiste una leggenda legata a questa stranezza. Pare che mentre veniva realizzato l'affresco, tre monache si allontanarono dal monastero per fatti ignoti, lasciando così incompleti i ritratti, nell'attesa di essere completati con l'eventuale arrivo di nuove monache, cosa però che mai accadde, perchè per l'appunto il luogo fu abbandonato. Le tre monache "senza identità" morirono nel corso degli anni e dato che non era stato completato l'affresco con le loro corrispettive immagini, si dice che i loro spiriti stiano ancora oggi vagando per i campi di Torba nel tentativo di rientrare nel dipinto. Il giorno in cui ci riusciranno, avranno un'identità e potranno finalmente accedere al Paradiso. Quando ciò accadrà... noi lo sapremo perchè lo vedremo con i nostri occhi!

Nell'ultima parete a Nord abbiamo ciò che resta dell'immagine di una bestia che si è supposto fosse uno degli evangelisti.