OpenAI o1 (2024): pensare più a lungo per rispondere meglio

Date a un modello linguistico un problema difficile di matematica e osservate cosa succede. Un modello classico, tipo GPT-4o, produce la risposta quasi subito: legge la domanda, e nello stesso gesto in cui la finisce di leggere comincia a scrivere la soluzione. Non c’è un momento in cui si ferma a pensare, perché non esiste un «pensare» separato dal «dire»: la risposta esce con la stessa velocità con cui uscirebbe una battuta di conversazione. Il 12 settembre 2024 OpenAI presenta una famiglia di modelli — o1-preview e o1-mini — costruiti attorno all’idea opposta. Prima di rispondere, il modello scrive per sé una lunga sequenza di ragionamento: prova strade, si corregge, scarta vicoli ciechi. Solo alla fine parla. E più a lungo gli si concede di ragionare, più le risposte migliorano.

Due leve, non una

Per anni il modo di rendere più capace un modello linguistico è stato uno solo: aumentare il calcolo speso in addestramento. Più parametri, più dati, più GPU-ore prima del rilascio. Una volta finito l’addestramento, il modello era congelato: rispondere a una domanda o a un milione costava, per domanda, sempre lo stesso, poco. o1 aggiunge una seconda leva, indipendente dalla prima: il calcolo speso in inferenza, cioè al momento della singola risposta. Il report di OpenAI mostra due curve parallele. La prima: più calcolo in addestramento con apprendimento per rinforzo, più il modello diventa bravo. La seconda, e qui sta la novità: a modello fermo, più tempo gli si concede di ragionare su un problema, più la risposta è accurata.

Un’analogia. Uno studente preparato che risponde d’istinto a un quiz prende un certo voto; lo stesso studente, con un’ora in più per rileggere, verificare i conti, ripensare le ipotesi, prende un voto migliore. La preparazione (l’addestramento) fissa il tetto; il tempo concesso all’esame (l’inferenza) decide quanto di quel tetto viene raggiunto. o1 è il primo modello di OpenAI in cui questa seconda leva è progettata, misurata e resa vendibile.

Lo schema del report: a modello congelato, concedere più calcolo al singolo problema (asse orizzontale, in scala logaritmica) alza l’accuratezza (asse verticale) in modo quasi rettilineo. La linea tratteggiata è il modello che risponde d’istinto: senza tempo per ragionare, resta fermo al suo livello di partenza.

Cosa vuol dire «pensare» per un modello

Il ragionamento di o1 non è magia architetturale: è testo. Il modello è addestrato, con apprendimento per rinforzo su larga scala, a produrre una catena di pensiero — una lunga sequenza di passaggi intermedi — prima di formulare la risposta finale. Non è la prima volta che si chiede a un modello di «ragionare passo per passo»: la tecnica del chain-of-thought nel prompt esisteva già. La differenza è che qui la capacità non è suggerita dall’esterno con un’istruzione, ma appresa e interiorizzata durante l’addestramento. Il rinforzo premia le catene che portano a soluzioni corrette e penalizza quelle che sbagliano; col tempo il modello impara a riconoscere i propri errori, a tentare approcci diversi, a scomporre un problema ostico in pezzi trattabili. Non gli è stato insegnato quale ragionamento fare, ma a ragionare in modo che porti al risultato.

La preparazione fissa il tetto; il tempo concesso all’esame decide quanto di quel tetto viene raggiunto.

I numeri, e cosa significano

OpenAI misura o1 su prove dove la scorciatoia intuitiva non basta. Alla AIME 2024, la selezione statunitense per le olimpiadi di matematica, GPT-4o risolveva in media circa il 12% dei problemi. o1 arriva al 74% con un singolo tentativo per problema, all’83% scegliendo la risposta più frequente su 64 tentativi, e al 93% ordinando 1000 tentativi con una funzione di punteggio appresa. Quel 93% collocherebbe il modello tra i primi 500 studenti a livello nazionale, sopra la soglia di qualificazione per la USA Mathematical Olympiad. Sulle prove di programmazione competitiva di Codeforces o1 si piazza nell’89° percentile. Su GPQA Diamond, un test di domande di fisica, biologia e chimica di livello dottorato, raggiunge il 78,0% ed è il primo modello a superare l’accuratezza degli esperti umani con dottorato, fermi al 69,7%.

Vale la pena leggere questi numeri con misura. «Superare gli esperti» su un benchmark chiuso non vuol dire sostituirli nel lavoro reale, dove il problema non arriva già impacchettato in un test a risposta verificabile. E il salto dal 74% al 93% sulla AIME non nasce da un modello più intelligente, ma dallo stesso modello a cui si concede molto più calcolo — 1000 tentativi invece di uno. Il guadagno si compra, letteralmente, in secondi di GPU. Che è precisamente la tesi del report: l’accuratezza è diventata un parametro che si può regolare spendendo di più al momento della domanda.

La catena nascosta

C’è una scelta di o1 che dice molto sul momento in cui esce. La catena di pensiero — il ragionamento grezzo che il modello scrive per sé — non viene mostrata all’utente. OpenAI ne espone solo un riassunto. La motivazione dichiarata è duplice: da un lato la libertà di lasciare che il modello «pensi» senza vincoli di allineamento sul testo intermedio è utile per monitorarne il ragionamento; dall’altro c’è un evidente interesse competitivo a non regalare quelle tracce. Per chi costruisce sistemi è una limitazione concreta: paghi dei token che non vedi (il ragionamento nascosto è conteggiato e fatturato) e non puoi ispezionare come il modello è arrivato alla conclusione. La trasparenza del «ragionamento a voce alta» è reale verso l’interno di OpenAI, opaca verso l’esterno.

Il report è anche onesto su un altro punto: più tempo di ragionamento non serve sempre. Su compiti semplici — riscrivere una frase, rispondere a una domanda fattuale — la catena lunga è puro spreco: costa di più e non migliora nulla, a volte peggiora. o1 conviene dove il problema ha una struttura da srotolare: matematica, dimostrazioni, codice, pianificazione. Sul resto, un modello classico più rapido resta la scelta ragionevole.

Perché ti riguarda

Se lavori con gli LLM, o1 sposta una domanda di progetto. Fino a ieri la qualità di una risposta era una proprietà fissa del modello scelto: prendevi il migliore che il budget consentiva e finiva lì. Ora esiste una manopola in più. Puoi decidere, richiesta per richiesta, quanto calcolo spendere: risposta veloce ed economica per l’ottanta per cento dei casi, ragionamento lungo e costoso per il venti per cento che lo merita davvero. È una scelta di ingegneria e di costi, non solo di modello. E apre la strada a tutto un filone — i «reasoning model» che nel 2025 diventano un genere a sé — in cui la partita non si gioca più solo su quanto è grande il modello, ma su quanto bene sa spendere il tempo che gli concedi. La lezione di fondo di o1 è quasi banale a dirsi e difficile da realizzare: a volte la risposta migliore non arriva da un cervello più grande, ma dal permesso di fermarsi a pensare.

La fonte originale

OpenAI, Learning to Reason with LLMs e OpenAI o1 System Card, 12 settembre 2024 — annuncio e report ufficiali (non arXiv): openai.com/index/learning-to-reason-with-llms e o1 System Card (PDF).