Immaginate due apprendisti in cucina. Il primo ha letto ogni libro di ricette mai stampato: conosce a memoria le proporzioni, i tempi, i nomi francesi dei tagli. Il secondo cucina, ogni giorno, e ogni giorno assaggia. Sente quando il fondo è bruciato un secondo prima di quanto direbbe il manuale, corregge il sale perché quella sera l’acqua era diversa, scopre per caso che due sapori che nessun libro accosta insieme funzionano. Per un po’ il primo apprendista è più bravo: sa già cose che il secondo dovrà imparare a fatica. Ma arriva un punto in cui il lettore si ferma, perché ha esaurito i libri, mentre chi assaggia continua a migliorare, e a un certo momento comincia a cucinare piatti che in nessun ricettario erano scritti.
Questa, ridotta all’osso, è la tesi di Welcome to the Era of Experience, un saggio breve di David Silver e Richard S. Sutton. Non è un paper con esperimenti e tabelle: è un manifesto, la bozza di un capitolo destinato al libro Designing an Intelligence di MIT Press. Ma il peso di chi lo firma lo rende difficile da ignorare. Silver è stato la mente dietro AlphaGo e AlphaZero, i programmi che hanno battuto i campioni umani di Go e scacchi imparando quasi da soli. Sutton, con Andrew Barto, ha scritto il manuale che ha definito l’apprendimento per rinforzo — è la referenza numero 37 di questo stesso saggio — e per quel lavoro i due hanno ricevuto il premio Turing. Quando persone così scrivono che il campo sta prendendo la strada sbagliata, vale la pena leggere con attenzione.
Due ere, e un tetto in mezzo
Il saggio divide la storia recente dell’AI in fasi. Quella attuale la chiamano era dei dati umani: i modelli linguistici hanno raggiunto una generalità impressionante addestrandosi su enormi quantità di testo prodotto dagli esseri umani, e poi rifinendosi su esempi e preferenze di esperti. Un solo modello scrive poesie, risolve problemi di fisica, riassume documenti legali. È il paradigma che regge ChatGPT, Claude, Gemini.
La tesi di Silver e Sutton è che questo approccio, da solo, abbia un tetto strutturale. Imitare gli umani basta a riprodurre capacità umane a un buon livello, ma «non ha raggiunto, e probabilmente non può raggiungere» un’intelligenza sovrumana nei domini che contano davvero — matematica, programmazione, scienza. Il motivo è duplice. Primo, i dati stanno finendo: le fonti di alta qualità, quelle che possono ancora migliorare un modello già forte, sono state quasi tutte consumate, e il ritmo di progresso guidato dal solo apprendimento supervisionato «sta rallentando in modo dimostrabile». Secondo, e più profondo: le intuizioni davvero nuove — un teorema mai dimostrato, una tecnologia che non esiste ancora — per definizione non stanno nei dati umani. Non puoi imparare da un testo ciò che nessun testo contiene.
La proposta è che a raccogliere il testimone sia una nuova era dell’esperienza: agenti che imparano soprattutto dai dati che generano loro stessi, interagendo con l’ambiente. È una fonte di dati che, a differenza di un corpus statico, «continua a migliorare man mano che l’agente diventa più forte». L’apprendista che assaggia non esaurisce mai il libro, perché il libro se lo scrive da sé, un piatto alla volta.
Le quattro rotture
Per capire cosa cambierebbe concretamente, gli autori indicano quattro dimensioni lungo cui gli agenti dell’era dell’esperienza si allontanerebbero dai modelli di oggi.
Flussi, non frammenti. Oggi un modello linguistico vive in episodi brevissimi: gli fai una domanda, magari ragiona qualche passo o usa uno strumento, poi risponde, e quasi nulla di quella interazione sopravvive alla successiva. Manca la memoria che permette di adattarsi nel tempo. Un animale, invece, esiste in un flusso ininterrotto di azioni e osservazioni che dura anni, e i suoi obiettivi possono spingersi lontano nel futuro: imparare una lingua, migliorare la propria salute. Il saggio immagina un agente per il benessere collegato ai sensori indossabili di una persona, che ne osserva sonno, attività e alimentazione per mesi, e regola i consigli sulle tendenze di lungo periodo. Un singolo passo può non dare alcun beneficio immediato, o persino essere svantaggioso sul momento, e nondimeno contribuire al risultato lontano — l’esatto contrario del modello che risponde bene alla domanda di adesso senza curarsi del dopo.
Azioni radicate nel mondo, non solo dialogo. I modelli attuali agiscono quasi solo scrivendo testo a un utente e leggendo il testo dell’utente. Un animale, nota il saggio, interagisce con l’ambiente attraverso il controllo motorio e i sensi; il linguaggio, per lui, non è un canale privilegiato ma uno dei tanti. Gli agenti stanno cominciando a muoversi in questa direzione: prima con le API, poi con il feedback di esecuzione (scrivono codice e osservano cosa succede quando gira), e infine con i prototipi che usano un computer attraverso la stessa interfaccia di una persona — il saggio cita esplicitamente computer use di Anthropic, Project Mariner di Google DeepMind e Operator di OpenAI. Un agente scientifico, in questa visione, potrebbe leggere sensori ambientali, comandare a distanza un telescopio o muovere un braccio robotico per condurre esperimenti da sé.
Ricompense radicate, non giudizi umani. È il punto più delicato, e lo affronto a parte. Ragionamento non umano, non copia del pensiero umano. È il quarto, e vale lo stesso.
Il tetto è fatto di giudizi umani
Il cuore polemico del saggio riguarda le ricompense — il segnale che dice all’agente se ha fatto bene o male. I modelli di oggi si ottimizzano su ricompense basate sul giudizio umano: è il meccanismo dell’RLHF, l’apprendimento per rinforzo da feedback umano. Un valutatore osserva l’azione dell’agente e decide se è buona, oppure sceglie la migliore fra più alternative. Il problema, argomentano Silver e Sutton, è che questi giudizi vengono espressi «in assenza delle loro conseguenze»: l’esperto giudica la ricetta senza aver assaggiato la torta. E questo, scrivono, «di solito porta a un tetto invalicabile sulle prestazioni dell’agente: l’agente non può scoprire strategie migliori che il valutatore umano non sa apprezzare».
È una frase che merita di essere presa sul serio, perché è il rovescio esatto della promessa dell’allineamento tramite feedback umano. Se il tuo unico metro è quanto un umano approva, non potrai mai fare meglio di quell’umano — al massimo lo eguagli. AlphaZero, ricordano gli autori altrove nel testo, scoprì strategie nuove di zecca per gli scacchi e per il Go, che poi cambiarono il modo in cui gli umani giocano. Nessun valutatore umano le avrebbe premiate.
L’alternativa proposta sono le ricompense radicate (grounded rewards): segnali che arrivano dall’ambiente stesso, non da un giudice. La torta è buona? Chiedilo a chi la mangia. Un assistente per la salute può ancorare l’obiettivo a battito a riposo, ore di sonno, livelli di attività. Un tutor di lingue può usare i risultati degli esami. Un agente contro il riscaldamento globale può guardare le misure empiriche di anidride carbonica; uno che cerca un materiale più resistente, la resistenza a trazione o il modulo di Young letti da un simulatore. Il mondo, osserva il saggio con un elenco quasi vertiginoso, «abbonda» di quantità del genere: costi, tassi di errore, produttività, profitti, vendite, voti d’esame, metriche climatiche, consumo energetico. Segnali, non opinioni.
Un promemoria di matematica che il saggio non scrive
Va detto con onestà: questo è un manifesto, non contiene una sola formula. Ma nomina per nome la macchineria classica dell’apprendimento per rinforzo — funzioni valore, differenze temporali, massimizzazione della ricompensa — e richiamarla aiuta a vedere cosa gli autori vogliono rimettere al centro. L’idea di base è che un agente non insegue la ricompensa immediata, ma il suo accumulo lungo il flusso, scontato nel tempo:
$$G_t = \sum_{k=0}^{\infty} \gamma^k \, R_{t+k+1}, \qquad \gamma \in [0,1)$$
dove $R$ è la ricompensa a ogni passo e $\gamma$ dice quanto pesa il futuro rispetto al presente. È la traduzione matematica esatta di quella frase del saggio: un passo può non «dare beneficio immediato» eppure contribuire al totale. Per agire bene, l’agente stima quanto una certa situazione promette a lungo termine — la funzione valore:
$$V^\pi(s) = \mathbb{E}_\pi\!\left[\, G_t \mid S_t = s \,\right]$$
ovvero il ritorno atteso partendo dallo stato $s$ e seguendo la strategia $\pi$. Non a caso il saggio scrive, tra le righe programmatiche, che la nuova era dovrà «rivisitare le funzioni valore e i metodi per stimarle da flussi lunghi». E il modo storico per stimarle, l’apprendimento per differenze temporali che Sutton stesso introdusse nel 1988, aggiorna la stima confrontandola con quella del passo dopo:
$$V(S_t) \leftarrow V(S_t) + \alpha \left[\, R_{t+1} + \gamma\, V(S_{t+1}) – V(S_t) \,\right]$$
Il punto del saggio non è la formula in sé, ma quali di questi ingranaggi l’era dei dati umani abbia messo da parte. L’RLHF, sostengono, «ha scavalcato la necessità di funzioni valore» sostituendole con il giudizio degli esperti; i forti pregiudizi appresi dai dati umani hanno ridotto il bisogno di esplorare; ragionare in termini umani ha reso quasi superflui i modelli del mondo. Hanno «buttato via il bambino con l’acqua sporca», scrivono. L’era dell’esperienza vorrebbe recuperare quel bambino.
Resta la domanda ovvia: un agente che ottimizza un segnale non umano non è per definizione impossibile da governare? La risposta del saggio è un’ottimizzazione a due livelli. Una rete neurale definisce la ricompensa combinando i segnali dell’ambiente; all’esterno, il feedback dell’utente («sono soddisfatto?») ne corregge nel tempo la forma. Dici all’agente «migliora la mia forma fisica» e lui traduce l’obiettivo in una funzione di battito, sonno e passi, aggiustandola se ti lamenti. «Una piccola quantità di dati umani», riassumono gli autori, «può abilitare una grande quantità di apprendimento autonomo».
Il pensiero non deve restare umano
La quarta rottura è la più speculativa. I modelli che «ragionano» oggi lo fanno imitando il pensiero umano: catene di ragionamento in linguaggio naturale, tracce che assomigliano a come pensiamo noi. Il saggio concede che un modello linguistico sia, in linea di principio, un computer universale — può scriversi passo dopo passo il proprio ragionamento nel contesto. Ma «è altamente improbabile che il linguaggio umano sia l’istanza ottimale di un computer universale». Esisteranno modi di pensare più efficienti, magari simbolici o continui, che un sistema può scoprire da sé.
C’è un rischio, se il pensiero resta ancorato ai dati umani: ereditarne gli errori. Il saggio propone un esperimento mentale efficace. Un agente addestrato sul pensiero umano di 5.000 anni fa avrebbe spiegato la fisica con l’animismo; di 1.000 anni fa, in termini religiosi; di 300 anni fa, con la meccanica di Newton; di 50 anni fa, con la meccanica quantistica. Ogni salto oltre un modo di pensare ha richiesto di interrogare il mondo — fare ipotesi, esperimenti, osservare e correggere. Senza questo radicamento, avvertono, un agente per quanto sofisticato «diventerà una camera dell’eco della conoscenza umana esistente». La via d’uscita è costruire un modello del mondo che preveda le conseguenze delle proprie azioni, e pianificare su quello — non su ciò che un umano avrebbe detto.
Perché proprio adesso
Se l’idea è vecchia — imparare dall’esperienza è il fondamento stesso dell’apprendimento per rinforzo — perché il saggio parla di era che arriva? La risposta sta in un grafico che gli autori chiamano, con understatement, «cronologia abbozzata».
La ricostruzione della Figura 1 del saggio. L’asse verticale suggerisce quanta parte dell’attenzione e del calcolo del campo sia rivolta all’apprendimento dall’esperienza: alta quando l’AI dominava i giochi in simulatore, in calo con l’ascesa dei modelli linguistici, di nuovo in salita — nella previsione degli autori — man mano che gli agenti tornano a interagire col mondo reale.
Nell’era della simulazione, l’apprendimento per rinforzo aveva già eguagliato o superato gli umani in una lista lunga: backgammon, Go, scacchi, poker, Stratego; e poi Atari, StarCraft II, Dota 2, Gran Turismo; fino al cubo di Rubik risolto da una mano robotica e al raffreddamento dei data center. AlphaZero mostrava una scalabilità «impressionante e potenzialmente illimitata». Ma quei sistemi, ammette il saggio, «non hanno colmato il salto dalla simulazione — problemi chiusi, con una ricompensa singola e ben definita — alla realtà», fatta di problemi aperti e di ricompense molteplici e mal definite. L’era dei dati umani offrì una scorciatoia: i corpus di testo davano ampiezza dove la simulazione dava solo profondità in nicchie strette. E così la metodologia dell’esperienza fu «in gran parte abbandonata».
Cosa è cambiato per rendere la transizione, come scrivono, «imminente»? Due cose che ora coesistono: agenti capaci di agire in spazi d’azione reali e complessi (i computer-use di cui sopra) e metodi di rinforzo potenti che risolvono problemi aperti in spazi di ragionamento ricchi. Le prove che portano sono due, ed è importante pesarle. AlphaProof è diventato il primo programma a conquistare una medaglia — d’argento — alle Olimpiadi Internazionali della Matematica: partito da circa centomila dimostrazioni formali scritte da matematici umani in molti anni, il suo algoritmo di rinforzo ne ha generate «un centinaio di milioni» in più interagendo con un sistema di dimostrazione. E DeepSeek-R1, citano, «sottolinea la potenza e la bellezza dell’apprendimento per rinforzo: invece di insegnare esplicitamente al modello come risolvere un problema, gli forniamo semplicemente gli incentivi giusti, e lui sviluppa autonomamente strategie avanzate». Due esempi reali, non promesse — ma entrambi in domini con un segnale di verità netto (una dimostrazione o è corretta o non lo è). Che la stessa ricetta funzioni per obiettivi «mal definiti» resta, per ammissione implicita del saggio, la scommessa da vincere.
Ciò che il saggio ammette
La parte più credibile di Welcome to the Era of Experience è che non nasconde i suoi rischi, e non li liquida. Automatizzare capacità umane fa crescere la produttività, ma «può anche portare a perdita di posti di lavoro». Un agente che agisce autonomamente per lunghi periodi «offre, per impostazione predefinita, meno occasioni agli umani di intervenire e mediare» le sue azioni: richiede una soglia altissima di fiducia. E allontanandosi dai dati e dai modi di pensare umani, questi sistemi potrebbero diventare «più difficili da interpretare». È il paradosso che il saggio stesso pone: la stessa proprietà che permetterebbe di superare il tetto — pensare in modo non umano — è quella che ci renderebbe più difficile capire cosa stanno facendo.
Gli autori bilanciano con alcuni argomenti di sicurezza, presentati onestamente come argomenti e non garanzie. Un agente che vive nel proprio ambiente può accorgersi quando il suo comportamento «suscita preoccupazione, insoddisfazione o disagio» negli umani, e correggersi. La sua funzione di ricompensa, essendo adattabile, permette di raddrizzare in corso d’opera obiettivi mal posti: al posto del celebre incubo dell’agente che massimizza la produzione di graffette fino a consumare la Terra, una ricompensa modificabile «sulla base di segnali di preoccupazione umana» potrebbe essere corretta prima del disastro. Ma il saggio aggiunge subito la clausola che lo salva dall’ingenuità: come quando gli umani si fissano obiettivi a vicenda, «non c’è garanzia di allineamento perfetto». E c’è un freno fisico, quasi rassicurante nella sua concretezza: l’esperienza reale costa tempo. Un nuovo farmaco, anche progettato dall’AI, richiede sperimentazioni che non si comprimono in una notte. La lentezza del mondo è un limite alla velocità con cui un agente può auto-migliorarsi.
La posta in gioco
Conviene ricordare cosa è e cosa non è questo testo. Non è un risultato: è la tesi programmatica di due persone che hanno le credenziali per sostenerla e l’interesse a vederla realizzata. La sua affermazione più forte — che l’imitazione dei dati umani abbia un tetto invalicabile — è plausibile ma non dimostrata, e c’è una scuola di pensiero opposta che scommette sul contrario: che continuare a scalare i modelli sui dati umani, magari con dati sintetici e nuovi trucchi, basti ancora per molto. Silver e Sutton non provano che abbiano torto; propongono una direzione diversa e spiegano perché la ritengono più promettente.
Ma la direzione ha una sua coerenza difficile da liquidare, e viene da chi ha già visto una volta questa storia. AlphaGo imparò dai maestri; AlphaZero buttò via i maestri e, giocando solo contro sé stesso, li superò. Il saggio chiede se non sia arrivato il momento di fare con l’intelligenza generale ciò che è stato fatto con il Go: smettere di trattare la conoscenza umana come il traguardo e ricominciare a trattarla come il punto di partenza. Se hanno ragione, i modelli con cui parliamo oggi non sono la fine di una traiettoria ma un ponte — il modo in cui abbiamo dato agli agenti un linguaggio e un mondo con cui iniziare a fare esperienza. Se hanno torto, resta comunque il valore di un manifesto che dice a voce alta quale limite andrebbe superato, e a quale prezzo. In entrambi i casi, l’apprendista che assaggia merita di essere tenuto d’occhio.
Il paper
David Silver, Richard S. Sutton, Welcome to the Era of Experience, 2025. Preprint di un capitolo del libro Designing an Intelligence (MIT Press). Il testo circola online in versione aperta.
I commenti sono riservati agli iscritti.
Accedi per commentare