Immaginate di sedervi a un gioco da tavolo senza che nessuno vi passi il regolamento. Avete una plancia, qualche pedina e una lucina che diventa verde quando vincete. Potete imparare in due modi. Il primo: spostate pezzi quasi a caso, partita dopo partita, finché per fortuna la lucina si accende, e a quel punto provate a ricordarvi cosa avevate fatto. Il secondo: dopo ogni sconfitta vi fermate un istante e vi dite ad alta voce «quella casella è un muro, la cassa scivola solo se la spingo da dietro, in quel buco non ci devo finire», e usate quell’appunto nella mano successiva. Il secondo giocatore impara molto più in fretta. Un paper uscito a febbraio 2026 — Experiential Reinforcement Learning, firmato da ricercatori della University of Southern California, di Microsoft e della University of Pennsylvania — sostiene che oggi addestriamo gli agenti linguistici come il primo giocatore, e propone di farli comportare come il secondo.
Cosa impariamo a sostituire
Lo standard attuale per far migliorare un modello linguistico che agisce in un ambiente si chiama reinforcement learning con ricompense verificabili, in sigla RLVR. Il modello produce un’intera sequenza di azioni, l’ambiente gli restituisce alla fine un numero — la ricompensa — e quel numero viene usato per aggiornare la politica, cioè il comportamento del modello. Funziona, ma ha un difetto che il paper mette bene a fuoco: la ricompensa è spesso sparsa e ritardata. In molti compiti arriva un solo segnale, alla fine, e vale uno se hai vinto e zero altrimenti.
Con un feedback così povero, il modello deve dedurre da solo e in modo implicito come tradurre un fallimento in un cambiamento di comportamento. È un’inferenza difficile e instabile: quale delle venti mosse ha rovinato la partita? Nei compiti a più passi, dove un piccolo errore iniziale si amplifica lungo tutta la traiettoria, questa assegnazione del merito diventa quasi impossibile. Il risultato, scrivono gli autori, è un’esplorazione fatta di continui avanti-e-indietro senza correzioni durature: il modello riprova, dimentica, riprova.
Gli esseri umani, nota il paper, affrontano lo stesso problema in un altro modo. Lo studioso dell’apprendimento David Kolb lo aveva descritto come un ciclo: si fa un’esperienza, ci si riflette, si forma un modello mentale rivisto, lo si mette alla prova nel tentativo seguente. La riflessione è lo snodo che trasforma il feedback grezzo in una correzione utilizzabile. I modelli linguistici sanno già riflettere — lo fanno quando «ragionano ad alta voce» — ma l’addestramento con RL butta via quella capacità e riduce tutto a un segnale scalare da ottimizzare.
Il meccanismo: due tentativi e una riflessione in mezzo
L’idea di Experiential Reinforcement Learning (ERL) è infilare dentro il ciclo di RL un anello di esperienza, riflessione, consolidamento. Preso un compito, il modello non viene premiato o punito subito. Fa un primo tentativo, riceve il feedback dell’ambiente, e — se il primo tentativo è andato male rispetto a una soglia — genera una riflessione scritta su cosa non ha funzionato e come rimediare. Quella riflessione guida un secondo tentativo, ed è il secondo tentativo, quando riesce, a essere rinforzato e assorbito nella politica di base.
In termini un po’ più precisi: dato il compito $x$, il modello $\pi_\theta$ produce una prima risposta $y^{(1)}$ e ne raccoglie feedback e ricompensa. Se serve, campiona una riflessione condizionata su tutto quello che ha visto,
$$\Delta \sim \pi_\theta(\cdot \mid x,\ y^{(1)},\ f^{(1)},\ r^{(1)},\ m)$$
dove $m$ è una memoria tra episodi: un taccuino che conserva le riflessioni che in passato hanno funzionato, così che le correzioni efficaci possano essere riusate invece di essere riscoperte ogni volta. Guidato da $\Delta$, il modello produce il secondo tentativo $y^{(2)}$ e ne misura il nuovo esito. Se il secondo tentativo supera la soglia, la riflessione viene salvata in memoria — $m \leftarrow \Delta$ quando $r^{(2)} > \tau$ — e la riflessione stessa riceve come ricompensa quella del secondo tentativo, in modo da premiare le riflessioni che portano davvero a miglioramenti.
Il primo tentativo incontra il feedback dell’ambiente; la riflessione (in terracotta) traduce quel feedback in una correzione che guida il secondo tentativo. Le correzioni che funzionano finiscono in una memoria condivisa e vengono interiorizzate nella politica base, così da non aver più bisogno della riflessione al momento dell’uso.
Il trucco che rende tutto usabile: interiorizzare
C’è un problema pratico. La riflessione e il feedback dell’ambiente sono disponibili durante l’addestramento, ma non quando il modello viene messo davvero al lavoro, dove deve rispondere in un colpo solo. Se la bravura del modello dipendesse dal fermarsi ogni volta a scrivere una riflessione, avremmo spostato il costo, non risolto il problema. Qui entra il passo di interiorizzazione: una distillazione selettiva in cui il modello viene addestrato a imitare solo i secondi tentativi riusciti, ma togliendo dall’input la riflessione. Formalmente,
$$\mathcal{L}_{\text{distill}}(\theta) = -\,\mathbb{E}\big[\,\mathbb{I}(r^{(2)} > 0)\,\log \pi_\theta(y^{(2)} \mid x)\,\big]$$
dove $\mathbb{I}$ è la funzione indicatrice, che vale uno solo quando il secondo tentativo ha avuto una ricompensa positiva. In parole: il modello impara a produrre direttamente da $x$ la risposta buona che prima gli riusciva solo dopo aver riflettuto. La lezione appresa a fatica durante l’addestramento resta impressa nella politica, e al momento dell’uso non c’è alcun costo aggiuntivo di inferenza. È questo, più della riflessione in sé, il contributo che rende la proposta interessante per chi deve mandare in produzione un agente.
I numeri, senza abbellirli
Gli autori mettono ERL contro RLVR su tre compiti: due ambienti di controllo a ricompensa sparsa — FrozenLake e Sokoban, il gioco delle casse da spingere — e un compito di ragionamento con uso di strumenti, HotpotQA, in cui il modello deve fare ricerche a più passi prima di rispondere. Punto importante per l’onestà del confronto: in FrozenLake e Sokoban non vengono fornite le regole del gioco. Il modello deve inferire la dinamica dell’ambiente solo interagendo, esattamente come il giocatore senza regolamento dell’analogia iniziale. I modelli addestrati sono due, di taglia diversa: Qwen3-4B-Instruct e Olmo-3-7B-Instruct, con GRPO come ottimizzatore in tutti i casi. Per non barare sul calcolo, ERL riceve la metà dei rollout per tentativo, così che il costo per compito resti pari a quello di RLVR.
Il guadagno più vistoso è su Sokoban con Qwen: la frazione di partite risolte passa da 0,06 a 0,87, cioè dal 6% all’87%. È da qui che nasce il «+81%» citato nell’abstract, che conviene leggere per quello che è — una differenza di 81 punti di ricompensa su una scala da zero a uno, non un miglioramento relativo. Su FrozenLake il salto più netto è con Olmo, da 0,39 a 0,66 (+27 punti). Su HotpotQA i guadagni sono reali ma modesti: da 0,45 a 0,56 con Qwen, da 0,47 a 0,50 con Olmo. ERL vince in tutte e sei le combinazioni provate, ma il paper spiega anche perché HotpotQA rende meno: lì il feedback è già più fitto e c’è meno dinamica nascosta da indovinare, quindi RLVR riceve gradienti abbastanza informativi e il margine per la riflessione strutturata si assottiglia. Il vantaggio maggiore, insomma, arriva dove il compito richiede di ragionare su regole ignote e orizzonti lunghi.
Un’altra misura interessante è la velocità: a parità di ore di calcolo, ERL raggiunge prima ricompense alte. E guardando dentro l’episodio, le traiettorie dopo la riflessione battono sistematicamente quelle prima della riflessione, segno che la correzione non è cosmetica ma produce mosse migliori già nello stesso tentativo.
Dove il metodo scricchiola
Il paper non nasconde i limiti, e uno emerge dalla sua stessa ablation. Rimuovere la riflessione strutturata fa crollare le prestazioni più che rimuovere la memoria: la riflessione è il pezzo che conta di più. Ma su Sokoban con Olmo, il modello più debole nel riflettere, la versione senza memoria fa leggermente meglio di quella completa (0,24 contro 0,20). La spiegazione degli autori è netta e istruttiva: quando la capacità di auto-riflessione del modello è limitata, o l’ambiente è complesso e rumoroso, la memoria rischia di propagare riflessioni sbagliate imboccate all’inizio, e recuperare diventa più difficile. In quei casi dimenticare è meglio che ricordare male.
Restano poi i limiti di portata da tenere presenti leggendo una preprint: due soli modelli, entrambi piccoli (4 e 7 miliardi di parametri), tre compiti, nessun test su scale più grandi o su domini aperti. Il metodo aggiunge inoltre complessità all’addestramento — due tentativi, una riflessione, una memoria, una fase di distillazione off-policy che va stabilizzata — e non è l’unico a muoversi in questa direzione: lavori concorrenti citati nel paper distillano allo stesso modo una politica «insegnante» condizionata dal feedback dentro una politica «studente».
Perché vale la pena guardarci
Al di là dei numeri, ERL è un tassello di un discorso più ampio: l’idea, sostenuta fra gli altri da David Silver e Richard Sutton nel loro saggio sull'»era dell’esperienza», che il prossimo salto dell’AI non verrà da altro testo umano da imitare, ma da agenti che generano dati interagendo col mondo. Se è così, serve un modo per trasformare i fallimenti — che sono la maggior parte dell’esperienza — in segnale utile, invece di aspettare i rari successi. Rendere la riflessione un ingrediente esplicito dell’addestramento, e non un accessorio da usare al volo in fase di risposta, è un modo concreto di provarci. La proposta è ancora piccola e va confermata su scale serie. Ma la direzione è chiara, e ha il pregio di somigliare a come impariamo noi: non ripetendo l’errore più in fretta, ma fermandoci a capirlo.
Il paper
Taiwei Shi, Sihao Chen, Bowen Jiang, Linxin Song, Longqi Yang, Jieyu Zhao, Experiential Reinforcement Learning, preprint, febbraio 2026 (University of Southern California, Microsoft, University of Pennsylvania). Disponibile su arXiv: arxiv.org/abs/2602.13949.
I commenti sono riservati agli iscritti.
Accedi per commentare