SEAL: i modelli linguistici che si riscrivono i propri dati di addestramento

Chi ha preparato un esame universitario conosce la differenza tra due studenti. Il primo rilegge le slide del professore parola per parola, sperando che a furia di passarci sopra gli occhi qualcosa resti. Il secondo chiude le slide e riscrive tutto a modo suo: sintetizza, fa esempi, trasforma una definizione in tre domande, disegna uno schema. Il secondo, quasi sempre, ricorda di più. Non perché sia più intelligente, ma perché rielaborare un contenuto — riformularlo nella forma che al proprio cervello riesce più comoda — è di per sé un atto di apprendimento. È un’osservazione tanto banale quanto solida sul modo in cui gli esseri umani imparano.

I modelli linguistici, curiosamente, fanno il contrario. Quando devono assorbire un’informazione nuova, la ingoiano «così com’è»: o la infilano nel contesto della conversazione — dove sparisce appena la finestra scorre — oppure ci fanno sopra un po’ di addestramento supplementare sul testo grezzo. Nessuno chiede al modello di prendere appunti. È da qui che parte Self-Adapting Language Models, un lavoro di sei ricercatori del MIT (Adam Zweiger, Jyothish Pari, Han Guo, Ekin Akyürek, Yoon Kim, Pulkit Agrawal) uscito su arXiv nel giugno 2025. La domanda che si pongono è insolitamente diretta: e se lasciassimo che sia il modello stesso a scriversi i propri appunti — cioè i propri dati di addestramento — prima di studiarli?

Il problema: modelli potenti ma immobili

Un modello linguistico moderno è enorme e capace, ma dopo il pre-addestramento è sostanzialmente congelato. Non possiede un meccanismo per aggiornare i propri pesi in risposta a un compito nuovo, a una conoscenza nuova o a qualche esempio appena visto. Le due scorciatoie che usiamo oggi hanno entrambe un limite. L’apprendimento in contesto (mettere l’informazione nel prompt) è volatile e non lascia traccia permanente. Il fine-tuning diretto sul testo grezzo lascia una traccia, ma quel testo raramente è nella forma — o nella quantità — ottimale per essere assimilato. Come le slide del professore: contengono tutto, ma non nel modo in cui a te serve.

La proposta degli autori si chiama SEAL e consiste nel dotare il modello della capacità di generare da sé i propri dati di fine-tuning e le proprie istruzioni di aggiornamento. A questa generazione danno il nome di self-edit: un testo prodotto dal modello che ristruttura l’informazione ricevuta, e che può anche specificare gli iperparametri dell’ottimizzazione o quali strumenti di aumento dati usare. Il self-edit diventa poi il materiale su cui il modello si allena davvero, con un aggiornamento supervisionato dei pesi $\theta’ \leftarrow \mathrm{SFT}(\theta, SE)$. A differenza dei metodi precedenti, che si appoggiano a moduli di adattamento separati o a reti ausiliarie, qui è la stessa capacità generativa del modello a governare il proprio adattamento.

Due anelli: uno che studia, uno che impara a studiare

Il meccanismo si legge meglio come due cicli annidati. L’anello interno è lo studente che riscrive gli appunti e li studia: il modello, ricevuto un contesto nuovo, produce un self-edit e ci fa sopra un breve fine-tuning, ottenendo pesi aggiornati. Per tenerlo leggero — gli aggiornamenti sono tanti e piccoli — usano LoRA, adattatori a basso rango che modificano solo una frazione dei parametri.

Ma quale forma di appunti funziona meglio? Qui entra l’anello esterno, ed è la parte interessante. Il modello non sa a priori se conviene condensare, elencare implicazioni o riscrivere in domande e risposte. Allora lo si addestra per tentativi, con l’apprendimento per rinforzo: genera diversi self-edit, ciascuno viene applicato e il modello aggiornato viene messo alla prova sul compito; il punteggio ottenuto diventa la ricompensa. L’obiettivo che si minimizza è

$$\mathcal{L}_{\mathrm{RL}}(\theta_t) := -\,\mathbb{E}_{(C,\tau)\sim D}\;\mathbb{E}_{SE\sim \mathrm{LM}_{\theta_t}(\cdot\,\mid\, C)}\big[\,r(SE,\tau,\theta_t)\,\big],$$

dove $C$ è il contesto (il passaggio da imparare, o gli esempi del compito) e $\tau$ è la verifica su cui si misura l’adattamento. La ricompensa è volutamente spartana, binaria:

$$r(SE,\tau,\theta_t)=\begin{cases}1 & \text{se allenarsi su } SE \text{ migliora il modello sul compito}\\[2pt] 0 & \text{altrimenti.}\end{cases}$$

Detto in modo umano: lo studente scrive cinque versioni degli appunti, si interroga, e tiene solo quelle che gli hanno fatto alzare il voto. Un dettaglio di onestà tecnica che vale la pena riportare: gli autori hanno provato gli algoritmi di rinforzo oggi di moda — PPO e GRPO — ma l’addestramento risultava instabile. Hanno ripiegato su ReSTEM, un metodo più semplice che equivale a «campiona molte risposte, tieni le buone, riallena su quelle» (rejection sampling seguito da fine-tuning). Non elegantissimo, ma stabile.

Nell’anello interno il modello riscrive il contenuto in un self-edit e si allena su di esso; nell’anello esterno il rinforzo tiene solo gli appunti che hanno alzato il punteggio, e insegna al modello a produrne di simili.

I risultati, senza arrotondamenti

Gli autori mettono alla prova SEAL su due compiti diversi. Il primo è l’incorporazione di conoscenza: far entrare nei pesi del modello i fatti contenuti in un passaggio, usando SQuAD in una variante dove al momento della domanda il testo non è più disponibile. Il self-edit, qui, è una lista di «implicazioni» del passaggio, ottenuta chiedendo al modello di elencare le conseguenze del contenuto; il fine-tuning avviene su quelle. Il modello base è Qwen2.5-7B.

Su un singolo passaggio, allenarsi sul testo grezzo non serve quasi a nulla: si passa dal 32,7% di accuratezza del modello congelato al 33,5%. Allenarsi invece sulle implicazioni generate dal modello stesso porta al 39,7%; e dopo due giri di addestramento per rinforzo, SEAL arriva al 47,0%. Il confronto che gli autori sottolineano è con i dati sintetici prodotti da GPT-4.1, un modello molto più grande: quelli fermano l’accuratezza al 46,3%. Onestà vuole che si dica che il vantaggio su GPT-4.1 è sottile — 47,0 contro 46,3 — mentre il salto vero è quello rispetto al testo grezzo. Nella variante di pre-addestramento continuato su 200 passaggi, valutata sull’unione di 974 domande, il margine si allarga: SEAL 43,8% contro il 39,4% dei dati di GPT-4.1.

Il secondo compito è l’apprendimento da pochi esempi su un sottoinsieme del benchmark ARC, dove il modello (qui il piccolo Llama-3.2-1B-Instruct) deve indovinare la regola di una trasformazione visiva da una manciata di dimostrazioni. Il self-edit, in questo caso, non è testo ma una configurazione: quali aumenti di dati applicare (rotazioni, riflessioni, ridimensionamenti) e con quali iperparametri di ottimizzazione. Il salto è netto. L’apprendimento in contesto puro risolve lo 0% dei casi; usare self-edit senza il rinforzo preliminare arriva al 20%; SEAL tocca il 72,5%. Resta però sotto il tetto del 100% ottenuto con la configurazione ottimale costruita a mano dagli autori del metodo originale — segno che c’è ancora margine. E va detto: quel sottoinsieme ARC è piccolo e selezionato apposta (11 compiti di addestramento e 8 di valutazione, scelti perché risolvibili), non l’intero benchmark.

Quello che ancora non funziona

Il paper è insolitamente esplicito sui propri limiti, ed è la parte da leggere con più attenzione. Il primo è l’oblio catastrofico: quando si applicano self-edit in sequenza, uno dopo l’altro, imparare cose nuove degrada ciò che il modello sapeva prima. Le prestazioni sui compiti precedenti calano man mano che gli aggiornamenti si accumulano. Il sistema regge diversi giri senza collassare del tutto, ma non c’è ancora un meccanismo per proteggere la memoria vecchia — esattamente il nodo che qualsiasi ambizione di apprendimento continuo deve sciogliere.

Il secondo è il costo. La ricompensa non si ottiene con una semplice occhiata: per sapere se un self-edit è buono bisogna davvero fare il fine-tuning del modello e poi valutarlo. Ogni singola valutazione richiede tra i 30 e i 45 secondi, un’enormità rispetto ai cicli di rinforzo basati su preferenze umane o su una verifica automatica della risposta. Il terzo limite è più sottile: oggi SEAL assume che ogni contesto arrivi accompagnato da una prova su cui misurarsi (le domande sul passaggio, l’esempio da indovinare). Questo accoppiamento rende calcolabile la ricompensa, ma impedisce di applicare il metodo a testi non etichettati — cioè alla stragrande maggioranza dei documenti reali. Gli autori ipotizzano una via d’uscita: far generare al modello anche le proprie domande di verifica. Non l’hanno ancora realizzata.

Perché ci riguarda

C’è una ragione di fondo per cui un lavoro così — piccoli modelli, dataset ridotti, prototipo dichiarato — merita attenzione. Gli autori la legano a una previsione citata nel paper: entro il 2028, secondo le stime di Villalobos e colleghi, i modelli di frontiera avranno consumato tutto il testo pubblico prodotto dagli esseri umani. È il cosiddetto «muro dei dati». Quando il carburante grezzo finisce, la crescita non può che spostarsi sulla capacità di un modello di ricavare da poco materiale un segnale di addestramento ricco. Uno studente che, davanti a due pagine, sa scriversi da solo venti pagine di appunti utili.

Vale la pena non farsi trascinare dall’immagine, suggestiva, del modello che «impara da solo». SEAL non è un sistema che si migliora nel vuoto: impara a sfruttare meglio dati esterni che gli vengono comunque forniti, e lo fa a un costo computazionale che oggi non è sostenibile su scala industriale. Ma il piccolo spostamento concettuale è reale e resta anche dopo aver tolto l’enfasi: fin qui il testo di addestramento era qualcosa che al modello veniva dato: qui, in parte, diventa qualcosa che il modello si dà. È una differenza di ruolo, non ancora di potenza. Se reggerà alla prova della scala è, onestamente, tutto da vedere.

Il paper

Adam Zweiger, Jyothish Pari, Han Guo, Ekin Akyürek, Yoon Kim, Pulkit Agrawal, Self-Adapting Language Models, MIT, 2025. Disponibile su arXiv: arxiv.org/abs/2506.10943. Codice e materiali: jyopari.github.io/posts/seal.