Scaling test-time compute (2024): più inferenza, meno addestramento

Immaginate due studenti che affrontano lo stesso esame di matematica. Il primo ha studiato per mesi, ha una preparazione enorme, ma alla prova risponde di getto e consegna. Il secondo sa meno, però su ogni problema si prende tempo: abbozza una soluzione, la rilegge, la corregge, ne prova un’altra, sceglie la migliore. Chi prende il voto più alto? Per anni la ricerca sui modelli linguistici ha scommesso quasi tutto sul primo studente: più dati, più parametri, più mesi di addestramento. Un paper di Google DeepMind del 2024 — Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters, di Charlie Snell, Jaehoon Lee, Kelvin Xu e Aviral Kumar — prova a misurare quanto conta, invece, il secondo. Cioè quanto rende il calcolo speso non durante l’addestramento, ma nel momento in cui il modello risponde.

Due modi di spendere lo stesso budget

Ogni modello linguistico ha due fasi nettamente separate. Nell’addestramento assorbe i suoi parametri una volta per tutte: è il periodo di studio, costosissimo, che avviene prima e produce dei pesi congelati. Nell’inferenza quei pesi restano fissi e il modello si limita a rispondere alle domande, una dopo l’altra. Storicamente il calcolo a inferenza è stato considerato una spesa da minimizzare: generare la risposta e basta. La domanda del paper ribalta questa gerarchia. Dato un budget di calcolo — misurato in FLOPs, le operazioni aritmetiche elementari — conviene sempre bruciarlo per addestrare un modello più grande? O una parte rende di più se la spendiamo lasciando che un modello più piccolo lavori di più su ciascuna domanda?

La distinzione è concreta perché i due tipi di spesa hanno tempi e destinatari diversi. Il calcolo in addestramento si paga una volta e vale per tutte le domande future, comprese quelle facili che non ne avrebbero bisogno. Il calcolo a inferenza si paga per ogni singola domanda, e si può dosare: tanto sulle domande difficili, poco su quelle banali. È una spesa mirata contro una spesa forfettaria.

I due modi di pensare più a lungo

Cosa vuol dire, in pratica, «far lavorare di più» un modello a inferenza? Il paper studia due meccanismi. Il primo è la ricerca guidata da un verificatore. Si genera più di una risposta e si sceglie la migliore, ma il modo in cui si sceglie fa la differenza. La versione ingenua è il best-of-N: produci N risposte complete e ne tieni una in base a un giudizio finale. La versione più raffinata usa un verificatore addestrato a valutare la correttezza di ogni singolo passaggio del ragionamento — un process reward model — un po’ come un professore che non guarda solo il risultato in fondo al foglio, ma corregge riga per riga e ti dice dove hai sbagliato. Con quel giudizio passo-passo si può guidare la ricerca verso i percorsi più promettenti invece di generare risposte alla cieca.

Il secondo meccanismo sono le revisioni sequenziali. Qui il modello non parte da zero N volte: parte dalla propria risposta e la riscrive, correggendola, in una catena di bozze successive. È la differenza tra buttare giù dieci temi indipendenti e sperare che uno sia buono, oppure scrivere un tema solo e limarlo in dieci passaggi. Gli esperimenti usano PaLM 2-S*, un modello di taglia contenuta messo a punto sia per verificare i passaggi sia per revisionare, valutato sul benchmark MATH di problemi matematici.

Il calcolo disponibile può essere investito prima — addestrando un modello più grande, un costo pagato una volta per tutte le domande — oppure dopo, lasciando che un modello più piccolo cerchi e revisioni la risposta domanda per domanda. Il paper misura quando la seconda strada rende di più.

La difficoltà della domanda decide la strategia

Il risultato più utile del paper non è che una strategia vince sempre, ma che nessuna lo fa. Ricerca con verificatore e revisioni non sono intercambiabili: la loro convenienza dipende da quanto è difficile la domanda per quel modello. Sulle domande più facili, dove il modello è già quasi nel giusto, conviene la revisione sequenziale: correggere una bozza già decente è più economico che rigenerarne dieci da capo. Sulle domande più difficili conviene invece esplorare in parallelo più tentativi indipendenti, perché la prima intuizione è probabilmente sbagliata e insistere a correggerla porta fuori strada.

Da qui l’idea centrale, che gli autori chiamano compute-optimal: invece di applicare la stessa ricetta a ogni domanda, stimare la difficoltà del problema e allocare di conseguenza il tipo e la quantità di calcolo a inferenza. Con questa allocazione adattiva, secondo il paper, si ottiene lo stesso risultato del best-of-N usando oltre quattro volte meno calcolo. Non è una nuova architettura: è imparare a non sprecare inferenza dove non serve e a concentrarla dove serve.

Il calcolo speso davanti a una domanda difficile può valere più del calcolo speso, mesi prima, per rendere il modello più grande in generale.

Il modello piccolo che batte quello 14 volte più grande

La domanda di partenza — meglio inferenza o parametri? — riceve una risposta condizionata, ed è l’onestà del paper a renderla interessante. Confrontando a parità di FLOPs totali, un modello piccolo che spende calcolo a inferenza in modo compute-optimal può superare un modello circa quattordici volte più grande. Ma solo a una condizione: che il problema non sia troppo difficile per il modello piccolo, cioè che questo raggiunga già da solo un tasso di successo non trascurabile. In quel regime, dare al modello più tempo per pensare è la spesa migliore.

Sulle domande più dure la conclusione si rovescia. Se il modello piccolo non ha proprio le basi per affrontare il problema, nessuna quantità di ricerca o revisione lo salva: lì il calcolo aggiuntivo a inferenza rende poco, e restano decisivi i parametri accumulati in addestramento. In altre parole, l’inferenza estesa non è un sostituto universale della scala: è una leva che funziona in una fascia precisa di difficoltà, e va oltre la quale bisogna comunque tornare a costruire modelli più capaci.

Perché ti riguarda

Questo lavoro è del 2024, e a rileggerlo oggi si capisce che descriveva in anticipo una svolta diventata poi visibile a tutti: i modelli che «ragionano», che spendono deliberatamente più tempo prima di rispondere, appartengono esattamente a questa famiglia di idee. Per chi costruisce prodotti con gli LLM la lezione è pratica e riguarda i costi. Non serve sempre il modello più grande e più caro: su molti compiti conviene un modello più piccolo a cui si concede più calcolo a inferenza, dosato in base alla difficoltà. È un budget da progettare, non una costante da subire. E la parte più istruttiva è il limite dichiarato: sapere che l’inferenza estesa smette di rendere sulle domande davvero fuori portata evita di spendere calcolo dove non produrrà mai una risposta giusta — una disciplina, più che una scorciatoia.

Il paper

Charlie Snell, Jaehoon Lee, Kelvin Xu, Aviral Kumar, Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters, 2024 (poi presentato a ICLR 2025). Disponibile su arXiv: arxiv.org/abs/2408.03314.