Nei libri di esercizi svolti c’è quasi tutto il ragionamento che serve, e non c’è scritto quasi niente di quel ragionamento. La pagina mostra il testo del problema, poi una sequenza di passaggi, poi il risultato in fondo. Quello che manca è la voce che spiega perché a quel punto si è moltiplicato invece di dividere: chi ha scritto il libro l’aveva in testa e l’ha data per scontata, come si fa sempre quando si è competenti. Uno studente bravo la ricostruisce da sé. Uno meno bravo copia i passaggi e non impara niente.
I modelli linguistici hanno lo stesso problema con una parte enorme di ciò che l’umanità ha scritto: soluzioni svolte, derivazioni da manuale, esercizi con il procedimento accanto. In gergo si chiamano dati senza catena di pensiero — no-CoT data — e sono materiale ricco di ragionamento che il ragionamento però non lo esplicita. Un rapporto uscito il 24 agosto 2026, firmato da undici autori tra cui Yinhao Tang, Wenwei Zhang e Kai Chen, prende il metodo che era stato proposto per sfruttarli e gli fa la domanda che nel titolo è già mezza risposta: Is Next-Chunk Reasoning RL Really Better than SFT?
Il metodo elegante
La proposta che il paper mette alla prova si chiama next-chunk reasoning RL, e ha il fascino delle idee che si spiegano in una frase. Si addestra il modello a produrre una traccia di ragionamento implicita — quella voce che nel libro non c’era — e la si premia in base a quanto quella traccia aiuti a predire il pezzo di testo successivo. Il premio, in altre parole, non lo dà nessun essere umano e nessun verificatore esterno: lo dà la pagina dopo. Se la ricostruzione del ragionamento è buona, ciò che viene dopo diventa più prevedibile; se è fantasiosa, no.
È un’idea attraente perché risolve, almeno in apparenza, il problema più caro dell’addestramento moderno: da dove viene il segnale. Le catene di pensiero scritte per esteso costano — vanno prodotte, controllate, pagate. Un premio che si legge da solo nel testo esistente è gratis, e i testi esistenti sono tanti.
Che cosa succede a un modello dopo il pre-addestramento — istruzioni, preferenze, rinforzo, e perché la fase supervisionata e quella per rinforzo fanno lavori diversi — è raccontato per intero nel libro.
Il sospetto: contro chi era stato misurato
Qui il paper infila il dito nella piega giusta, e la piega non riguarda il metodo ma il modo in cui è stato valutato. Le valutazioni esistenti, notano gli autori, confrontavano il next-chunk reasoning RL con i normali baseline di fine-tuning supervisionato. Il che lascia aperta una domanda che cambia tutto: il guadagno viene dalla formulazione a rinforzo, o semplicemente dal fatto che quel procedimento espone il modello ai dati senza catena di pensiero più efficacemente di quanto facesse il confronto?
Detta con l’analogia dello studente: si erano messi a confronto uno studente che sui libri di esercizi svolti ci lavora con un metodo sofisticato e uno studente che quei libri non li apre quasi. Vince il primo, ovviamente. Ma non si sa se ha vinto il metodo o l’aver aperto i libri.
Il controllo che mancava
Lo studio controllato che gli autori conducono mette accanto al metodo una alternativa che definiscono «semplice ma finora trascurata»: il Mixed SFT. Una sola fase di fine-tuning supervisionato, addestrata congiuntamente sui dati senza catena di pensiero e su quelli con la catena di pensiero lunga. Nessun ciclo a rinforzo, nessuna generazione di tentativi da valutare, nessuna funzione di premio da progettare. I due tipi di materiale sulla stessa scrivania, nello stesso studio.
Il risultato è quello che il titolo del paper lasciava presagire. Il Mixed SFT raggiunge «un tetto di prestazione post-RLVR chiaramente più alto» del next-chunk reasoning RL, e lo fa richiedendo oltre sessanta volte meno calcolo di addestramento. Il vantaggio, aggiungono, è coerente sia sul ragionamento matematico nel dominio di addestramento sia su compiti di ragionamento fuori dominio.
Lo stesso materiale, due modi di darlo in pasto al modello. Sopra, un ciclo a rinforzo che ricostruisce il ragionamento mancante e si fa premiare dalla pagina successiva. Sotto, una sola passata supervisionata su esercizi svolti e ragionamenti espliciti insieme. Entrambe le strade finiscono nella stessa fase di RLVR: la seconda arriva più in alto, con oltre sessanta volte meno calcolo.
La scoperta scomoda, che non è il sessanta per uno
Il rapporto di calcolo è il numero che si ricorda, ma non è la parte che dovrebbe cambiare il modo di lavorare. Quella è un’altra, ed è messa alla fine dell’abstract come se fosse una postilla: un’accuratezza più alta prima dell’RLVR non si traduce necessariamente in un’accuratezza più alta dopo.
Vale la pena capire perché è un guaio. Il post-addestramento di un modello ragionante è una catena di fasi: si parte da un modello pre-addestrato, lo si rifinisce, e poi lo si sottopone a rinforzo con ricompense verificabili — l’RLVR, dove il premio arriva da un controllo automatico che sa dire se la risposta è giusta. Chi lavora a una di queste fasi ha bisogno di un modo per sapere se sta migliorando, e il modo naturale è misurare il modello alla fine della propria fase. Questo paper dice che quella misura, per questa famiglia di scelte, non ordina i risultati finali. Il checkpoint intermedio più bravo può diventare il modello finale peggiore.
È la differenza fra una batteria di qualificazione e una finale: si può vincere la prima e arrivare quarti nella seconda, e se si selezionano gli atleti sulla qualificazione si porta in finale la squadra sbagliata. La conseguenza pratica che gli autori chiedono è severa e costosa: le strategie di addestramento sui dati senza catena di pensiero vanno valutate nel contesto dell’intera pipeline di post-addestramento, cioè facendo girare fino in fondo anche le varianti che a metà strada sembravano perdenti.
Il checkpoint intermedio più bravo può diventare il modello finale peggiore. Chi seleziona a metà strada, seleziona male.
I limiti, e cosa l’abstract non dice
Il rapporto è un preprint del 24 agosto 2026, depositato in cs.AI, e non è passato da revisione paritaria. L’abstract dichiara i rapporti — «oltre sessanta volte meno calcolo», «un tetto chiaramente più alto» — e non i valori assoluti: non ci sono, lì, la dimensione dei modelli, i benchmark uno per uno, le tabelle. Chi vuole quei numeri deve leggere il paper, e questo riassunto si ferma dove si ferma l’abstract.
C’è poi una cautela strutturale, che vale per tutti i lavori di questa forma. Un paper che dimostra come un metodo semplice batta uno complesso vive o muore su quanto bene sia stato messo a punto il metodo complesso. Se il next-chunk reasoning RL fosse stato calibrato con la stessa cura che si dedica al proprio contributo, il divario potrebbe assottigliarsi. È l’obiezione speculare a quella che il paper solleva — e sollevarla contro chi l’ha sollevata per primo è l’unico modo onesto di leggerlo.
Infine: dire che il Mixed SFT è meglio non è dire che il rinforzo non serve. La fase di RLVR resta in coda a entrambe le strade, e il confronto riguarda soltanto come sfruttare un certo tipo di materiale prima di arrivarci.
Perché conta
Il capitolo del libro sul post-addestramento racconta una sequenza ormai consolidata — rifinitura supervisionata, preferenze, rinforzo — e la racconta come una progressione di raffinatezza crescente. Questo paper non la smentisce, ma le aggiunge una regola di condotta che dalla teoria non discende: prima di dichiarare superiore una formulazione a rinforzo, bisogna aver provato il gesto stupido, cioè mettere tutto il materiale disponibile nella stessa fase supervisionata e vedere che succede. Non perché la semplicità sia una virtù in sé, ma perché altrimenti non si sa che cosa si è misurato.
Sessanta volte meno calcolo, per chi in Italia lavora con budget GPU veri e non con cluster da laboratorio di frontiera, non è una curiosità metodologica. È la differenza fra un esperimento che si può fare e uno che si può solo leggere.
Il paper
Yinhao Tang, Youqing Fang, Yanan Sun, Jiangning Liu, Ziyi Wang, Xun Zhao, Weiming Zhang, Bin Liu, Kuikun Liu, Wenwei Zhang, Kai Chen, Is Next-Chunk Reasoning RL Really Better than SFT? Revisiting Training Strategies under no-CoT Data, 24 agosto 2026. Disponibile su arXiv: arxiv.org/abs/2608.23256.
I commenti sono riservati agli iscritti.
Accedi per commentare