Immaginate un cuoco che conosce cento ricette. Lo mettete a lavorare in un locale affollato, dove ogni sera i clienti votano i piatti: cinque riscuotono applausi, gli altri passano inosservati. Nel giro di qualche mese il cuoco è diventato più veloce e più affidabile su quei cinque piatti — escono perfetti quasi ogni volta. Ma ha smesso di provare gli altri novantacinque. Se una sera arriva un cliente che vuole proprio uno dei piatti dimenticati, il locale ora fa peggio di quando il cuoco era acerbo ma curioso. È diventato più bravo e, allo stesso tempo, il suo repertorio effettivo si è ristretto.
È esattamente questo, sostiene un gruppo della Tsinghua University, ciò che succede quando si allena un modello linguistico con la tecnica oggi più celebrata per farlo «ragionare». Il paper si intitola, senza giri di parole, Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? — e la risposta, misurata con cura, è meno entusiasmante di quanto il settore vorrebbe.
Cosa mette in discussione
La tecnica sotto esame si chiama RLVR, Reinforcement Learning with Verifiable Rewards. È l’ingrediente dietro modelli come DeepSeek-R1 e OpenAI-o1. L’idea è elegante: invece di far giudicare le risposte a valutatori umani, si usa una ricompensa che una macchina può calcolare da sola. In matematica, la risposta finale coincide con quella corretta? In programmazione, il codice passa i test? Se sì, premio; se no, niente. Nessuna etichetta umana, quindi si scala facilmente.
Formalmente, un verificatore deterministico restituisce una ricompensa binaria $r = \mathcal{V}(x, y) \in \{0, 1\}$, che vale 1 solo se la risposta finale del modello è esattamente corretta. L’addestramento cerca la politica che massimizza la ricompensa attesa:
$$J(\theta) = \mathbb{E}_{x \sim D}\, \mathbb{E}_{y \sim \pi_\theta(\cdot \mid x)}\big[\, r \,\big]$$
La convinzione diffusa — che il paper cita come motivazione da smontare — è che questo processo funzioni come il reinforcement learning che ha reso celebre AlphaGo: un’esplorazione che scopre strategie nuove, mosse che nessuno aveva insegnato, capacità che superano il punto di partenza. Se così fosse, un modello addestrato con RLVR dovrebbe saper risolvere problemi che il suo modello base, quello grezzo pre-addestramento, non sa affrontare in alcun modo. Gli autori si chiedono se sia davvero così, o se l’RL non stia solo riorganizzando ciò che il modello base già conteneva.
Il trucco è nel misurino
Tutto ruota attorno a come si misura la bravura di un modello. Il metodo abituale guarda la risposta media: un tentativo per problema, e si conta quante volte azzecca. Ma questo dice quanto il modello è affidabile, non quanto è capace. Uno studente può conoscere la soluzione di un problema difficile e sbagliarla per distrazione al primo colpo, azzeccandola al terzo.
Per questo gli autori adottano la metrica pass@k, presa dal mondo della generazione di codice. Si campionano k risposte allo stesso problema; il problema conta come risolto se anche solo una delle k è corretta. La media su tutti i problemi misura quanti il modello riesce potenzialmente a risolvere avendo k tentativi a disposizione. Con k = 1 si torna alla vecchia accuratezza media; ma facendo crescere k fino a centinaia o migliaia di tentativi si scopre il vero confine del ragionamento, l’insieme di tutti i problemi che il modello è in grado di risolvere almeno una volta.
Questa distinzione è l’intera posta in gioco. Se l’RL insegnasse a ragionare davvero, allargherebbe quel confine. Se si limitasse a rendere il modello più preciso su ciò che già sa, il confine resterebbe lì dov’era — o addirittura si stringerebbe.
Le due curve che si incrociano
Il risultato centrale, ripetuto su famiglie di modelli diverse (Qwen2.5 nelle versioni 7B, 14B e 32B, e LLaMA-3.1-8B), su matematica, codice e ragionamento visivo, è un incrocio che si ripresenta ostinatamente uguale. A k piccolo il modello addestrato con RLVR vince: è più affidabile, azzecca più spesso al primo colpo. Ma man mano che k cresce, la curva del modello base risale più ripida, raggiunge quella dell’RL e la supera. Su tutti i benchmark, su tutte le famiglie testate.
La firma del paper. A pochi tentativi l’RL è avanti; con tanti tentativi il modello base copre più problemi. Le due curve si incrociano, e da lì in poi è il modello grezzo — non quello «allenato a ragionare» — ad avere il confine più ampio.
Qualche numero concreto, tutti dal paper. Sul benchmark Minerva con un modello da 32 miliardi di parametri, a k = 128 il modello base risolve circa il 9% di problemi in più della sua versione addestrata con RL. Su modelli allenati con metodi aggressivi come Oat-Zero e DAPO, l’RL parte con un vantaggio anche di quasi 30 punti — salvo poi farsi raggiungere e superare. E all’aumentare dei passi di addestramento la forbice si allarga nella direzione sbagliata: sul set di training, la pass@1 sale da 26,1 a 42,5, mentre la pass@256 scende. Il modello diventa più preciso e, contemporaneamente, meno vasto.
I sentieri erano già lì
Restava un’obiezione: forse, con centinaia di tentativi, il modello base azzecca per fortuna, generando un ragionamento sbagliato che per caso arriva alla risposta giusta. Gli autori hanno controllato a mano. Tra i problemi più ostici di GSM8K risolti solo raramente, il modello base ne ha risolti 25, di cui 24 con almeno una catena di ragionamento genuinamente corretta; l’RL ne ha risolti 25, con 23 catene valide. Numeri quasi identici. Il base non «indovina»: ragiona.
La prova più netta viene dalla perplexity, la misura di quanto un modello si aspetterebbe una certa sequenza di parole. Le risposte prodotte dal modello RL, date in pasto al modello base, risultano tra quelle che il base stesso avrebbe generato volentieri: cadono nella parte «a bassa perplexity» della sua distribuzione. Detto senza formule: i ragionamenti dell’RL erano già dentro il repertorio del modello base. L’RL non ne ha creati di nuovi, ha solo alzato la probabilità di pescare quelli buoni. Una tabella lo mostra impietosamente su AIME24: i casi in cui l’RL risolve un problema che il base non tocca sono lo 0,0%; quelli in cui è il base a risolvere e l’RL a fallire sono il 13,3%.
L’RL non ha insegnato al modello sentieri nuovi. Ha reso più battuti quelli che il modello base già conosceva — e ha lasciato che gli altri si chiudessero.
Un metro per tutti gli algoritmi
Per confrontare i metodi di addestramento gli autori definiscono il divario di efficienza di campionamento, $\Delta_{\mathrm{SE}}$: la distanza tra la pass@1 del modello RL e la pass@k del modello base (con k = 256 come stima del limite superiore). Più è piccolo, più l’algoritmo si avvicina a sfruttare tutto il potenziale del base. Riaddestrando da zero sei algoritmi popolari — PPO, GRPO, Reinforce++, RLOO, ReMax, DAPO — il verdetto è che si somigliano tutti: $\Delta_{\mathrm{SE}}$ oscilla appena (dal 43,9 di GRPO al 42,6 di RLOO) e resta sempre sopra i 40 punti. Nessuno di loro, insomma, è vicino a spremere il modello base fino in fondo. Le differenze tra metodi, su cui si spende tanta discussione, sono rumore rispetto a questo limite comune.
Dove il confine si allarga davvero
Il paper non è un requiem per l’idea di migliorare i modelli dopo il pre-addestramento. La sua parte più utile è il controesempio. Gli autori confrontano l’RL con la distillazione, cioè l’addestrare un modello piccolo sulle lunghe catene di ragionamento prodotte da un modello insegnante più forte. Qui la curva pass@k del modello distillato (DeepSeek-R1-Distill-Qwen-7B) sta stabilmente e nettamente sopra quella del base, a ogni valore di k. La distillazione, a differenza dell’RL, introduce schemi di ragionamento che il base non aveva: allarga il confine per davvero. La morale non è «il post-training non funziona», ma «questo specifico RL non fa la cosa che gli attribuiamo».
Cosa il paper non pretende di aver dimostrato
Gli autori sono onesti sui limiti del proprio verdetto, e vale la pena riportarli. Il confronto riguarda l’RLVR attuale, con i budget di calcolo di oggi: aumentare i tentativi durante l’addestramento da 8 a 32 aiuta un pochino, ma il base continua a vincere, e la domanda se scalare l’RL a livelli molto più alti possa un giorno superare il modello base resta esplicitamente aperta. C’è poi il caso limite teorico — con un k astronomicamente grande, persino il caso puro finirebbe per azzeccare la risposta — che gli autori disinnescano notando che il base risolve già a valori realistici (128 o 1024 tentativi). Hanno anche testato un modello quasi di frontiera, Magistral-Medium: stesso schema, l’RL guadagna circa 7-8 problemi su AIME a k = 1, ma il vantaggio evapora al crescere di k. Se questa tendenza reggerà quando all’RL verranno dedicate risorse di calcolo paragonabili a quelle del pre-addestramento, ammettono, è la vera domanda aperta.
Perché conta
La posta in gioco è la parola «ragionamento» che oggi accompagna ogni annuncio di un nuovo modello. Questo lavoro non dice che i modelli ragionanti siano un’illusione: dice che l’RL con ricompense verificabili, così come lo pratichiamo adesso, è più un affilatoio che un maestro. Rende il modello bravo a tirare fuori al primo colpo le soluzioni che già covava, il che ha un valore pratico enorme — ma non gli insegna a pensare cose che non sapeva pensare. Se l’obiettivo dichiarato è arrivare a modelli che si auto-migliorano scoprendo strategie inedite, la strada non è più della stessa medicina. Gli autori indicano dove guardare: esplorazione migliore, addestramento continuato su scale molto maggiori, interazione multi-turno tra agente e ambiente. È una differenza che riguarda tutti, perché separa il progresso reale dalla sua narrazione: rendere un modello più affidabile e renderlo più intelligente non sono la stessa cosa, e conviene avere un misurino — pass@k — che sappia distinguerle.
Il paper
Yang Yue, Zhiqi Chen, Rui Lu, Andrew Zhao, Zhaokai Wang, Yang Yue, Shiji Song, Gao Huang, Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?, LeapLab, Tsinghua University e Shanghai Jiao Tong University, 2025. Disponibile su arXiv: arxiv.org/abs/2504.13837. Pagina del progetto: limit-of-RLVR.github.io.
I commenti sono riservati agli iscritti.
Accedi per commentare