Titans (2025): una memoria che impara al momento del test

Provate a dare a un modello linguistico un documento da due milioni di parole e a chiedergli un dettaglio sepolto a metà. Un transformer classico ha un problema strutturale: tutto ciò che esce dalla sua finestra di attenzione, semplicemente, non esiste più. Può guardare con precisione chirurgica ogni token dentro la finestra, ma il costo di quello sguardo cresce con il quadrato della lunghezza, e così la finestra ha un tetto. Le reti ricorrenti hanno il problema opposto: comprimono tutto il passato in uno stato di dimensione fissa, economico da mantenere ma inevitabilmente sfocato. Titans, pubblicato da un gruppo di Google Research tra fine 2024 e inizio 2025, propone una terza strada che suona quasi contraddittoria: una memoria che continua a imparare mentre il modello legge, anche in fase di inferenza.

Il dilemma: attenzione contro ricorrenza

Per capire la proposta conviene mettere in fila i due estremi. L’attenzione dei transformer è memoria a breve termine ad alta fedeltà: ogni token della finestra può «guardare» ogni altro token, con dipendenze dirette e precise. Il difetto è il costo quadratico, che limita la finestra a una lunghezza fissa. La ricorrenza — le architetture lineari moderne che hanno riportato in auge le RNN — è l’opposto: comprime la storia in uno stato compatto, con costo che cresce in modo lineare, ma paga in fedeltà, perché in uno stato di taglia fissa non ci sta tutto.

L’analogia è quella tra la scrivania e l’archivio. Sulla scrivania (l’attenzione) tenete pochi fogli, ma li vedete tutti nitidamente e potete confrontarli a colpo d’occhio. L’archivio (lo stato ricorrente) contiene molto di più, ma per starci ogni pratica va riassunta, e nel riassunto qualcosa si perde. Nessuno dei due, da solo, è una buona memoria per un testo lunghissimo.

L’idea: imparare a memorizzare al test time

Il cuore di Titans è un modulo di memoria a lungo termine che non è una tabella né uno stato passivo, ma una piccola rete neurale a sé. La mossa insolita è questa: i pesi di quella rete continuano ad aggiornarsi durante l’inferenza, man mano che nuovi token arrivano. Nel gergo si dice che il modello «impara al test time»: non si limita a usare ciò che ha appreso in addestramento, ma modifica una parte di sé mentre legge il documento specifico che ha davanti.

La differenza con tutto ciò che viene prima è netta. Nei modelli abituali i pesi si congelano quando finisce l’addestramento; da lì in poi il modello è una funzione fissa. Qui, invece, un pezzo del modello resta plastico anche mentre risponde. È la differenza tra ripassare gli appunti prima dell’esame e prendere appunti nuovi durante la lettura: la memoria di Titans scrive mentre legge, non solo prima.

Mentre la sequenza scorre, l’attenzione tiene a fuoco la finestra recente (memoria a breve termine). In parallelo, ogni token produce un segnale di «sorpresa» — il gradiente della rete rispetto all’input — che aggiorna i pesi di una piccola rete-memoria. Momentum e weight decay regolano quanto la sorpresa passata pesa e quanto in fretta si dimentica. Il contesto lontano, uscito dalla finestra, sopravvive dentro quei pesi.

Sorpresa, momentum, oblio

Come fa questa memoria a decidere cosa scrivere? Il criterio scelto dagli autori è elegante e curiosamente umano: la sorpresa. Un evento che viola le aspettative è più memorabile di uno prevedibile. Nel modello la sorpresa è misurata in modo preciso — è la grandezza del gradiente della rete-memoria rispetto all’input — cioè quanto quel token «spinge» per modificare i pesi. Più il dato è inatteso, più forte è l’aggiornamento: la memoria si concentra su ciò che non riusciva a prevedere.

A questo si aggiungono due regolatori. Il momentum fa sì che conti non solo la sorpresa dell’istante, ma anche quella accumulata di recente: un passaggio sorprendente lascia una scia, non un lampo isolato. Il weight decay è il meccanismo di oblio: senza qualcosa che alleggerisca, una memoria a capacità finita si satura e diventa inutile. Facendo decadere gradualmente i pesi, il modello lascia andare l’informazione poco rilevante e libera spazio per la nuova. È il modo in cui teniamo a mente il colpo di scena di un libro e dimentichiamo la maggior parte delle frasi di raccordo.

La memoria di Titans non registra tutto: registra ciò che la sorprende, tiene conto di quanto la sorpresa persiste e lascia sbiadire il resto. È una scelta editoriale, non un archivio.

Tre modi di innestarla, e cosa mostrano i test

La memoria, da sola, non basta: va inserita in un’architettura. Gli autori propongono tre varianti, siglate con acronimi che descrivono il ruolo del modulo. Memory as Context (MAC) usa l’uscita della memoria come contesto aggiuntivo per l’attenzione, un po’ come un assistente che vi passa il dossier giusto prima di ragionare. Memory as Gate (MAG) combina memoria e attenzione attraverso un meccanismo di gating, con i due canali che lavorano in parallelo. Memory as Layer (MAL) impila la memoria come uno strato dell’architettura. Nei loro esperimenti MAC e MAG risultano le più efficaci, con MAC in particolare forte sui compiti a contesto molto lungo.

Sul piano dei risultati, il paper riporta che i Titans superano i transformer e le più recenti architetture ricorrenti lineari su una gamma insolitamente varia di compiti: modellazione del linguaggio, ragionamento di senso comune, genomica, serie temporali. Il dato più citato riguarda il contesto: la memoria neurale permette di scalare oltre i due milioni di token mantenendo un’accuratezza migliore dei modelli di confronto nei test «ago nel pagliaio», quelli in cui bisogna ritrovare un’informazione precisa sepolta in un testo enorme. Un punto pratico non secondario: nonostante l’aggiornamento al test time, l’addestramento della memoria resta parallelizzabile, e quindi efficiente.

Perché vi riguarda

Conviene tenere i piedi per terra. Titans è un lavoro di ricerca, e come tutte le architetture nuove va validato da riproduzioni indipendenti prima di poterlo considerare acquisito; imparare al test time, inoltre, sposta parte del costo di calcolo dall’addestramento all’inferenza, e non è gratis. Ma l’idea di fondo è di quelle che spostano il perimetro del pensabile.

La linea che separa «addestramento» e «inferenza» è stata per anni un confine netto: prima si impara, poi si usa ciò che si è imparato, senza più cambiare. Titans la rende porosa. Se un modello può aggiornare una parte di sé mentre legge il vostro documento, la distinzione tra un sistema fisso e un sistema che si adatta al contesto specifico si assottiglia. Per chi costruisce applicazioni su testi lunghi — archivi legali, cartelle cliniche, interi codebase — è esattamente la capacità che oggi manca: non una finestra più grande da riempire e svuotare, ma qualcosa che assomiglia a una memoria che resta.

Il paper originale

Questo articolo è una rilettura divulgativa di Titans: Learning to Memorize at Test Time, di Ali Behrouz, Peilin Zhong e Vahab Mirrokni (Google Research), pubblicato su arXiv tra dicembre 2024 e gennaio 2025. Il testo completo, con le tre varianti architetturali e i risultati sui vari benchmark, è disponibile su arXiv:2501.00663.