Il 20 gennaio 2025 un laboratorio cinese fino ad allora noto quasi solo agli addetti ai lavori pubblica un paper, rilascia i pesi di un modello con licenza MIT e nel giro di una settimana Wall Street brucia centinaia di miliardi di capitalizzazione nel settore dei semiconduttori. Il modello si chiama DeepSeek-R1, il paper si intitola Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, ed è diventato uno dei lavori più citati del biennio. Non per il clamore di borsa: per un’idea sorprendentemente semplice che dentro c’è scritta.
Cosa sono i modelli di ragionamento
Un modello linguistico classico risponde «di getto»: legge la domanda e produce la risposta token dopo token, senza fermarsi a pensare. I reasoning model — la famiglia inaugurata da OpenAI o1 nel settembre 2024 — fanno una cosa diversa: prima di rispondere generano una lunga catena di pensiero, in cui provano strade, si accorgono degli errori, tornano indietro. Come uno studente che riempie il foglio di brutta prima di scrivere la soluzione in bella.
Il problema è: come si insegna a un modello a fare la brutta copia? La via ovvia è mostrargli migliaia di esempi di ragionamenti scritti da esseri umani (il classico supervised fine-tuning, SFT). Ma è costoso, lento, e il modello impara al massimo a imitare i ragionamenti che ha visto. DeepSeek si è chiesta: e se non gli mostrassimo proprio niente?
R1-Zero: solo bastone e carota
L’esperimento più radicale del paper si chiama DeepSeek-R1-Zero. La ricetta: si prende il modello base (DeepSeek-V3), gli si danno problemi di matematica e di programmazione, e lo si addestra con puro reinforcement learning. Il segnale di ricompensa è brutalmente semplice e verificabile a macchina: la risposta finale è giusta o sbagliata? Il codice passa i test o no? Nessun esempio di ragionamento umano, nessun giudice neurale che valuta lo stile: solo il risultato.
È come allenare qualcuno agli scacchi senza mai fargli vedere partite commentate: gli si dice solo, alla fine di ogni partita, se ha vinto o perso, e lo si lascia scoprire da solo come si gioca. Per rendere l’addestramento sostenibile, il team usa GRPO (Group Relative Policy Optimization): invece di mantenere un secondo modello che stima quanto è buona ogni mossa — il «critico» del RL classico, costoso quanto il modello stesso — si generano più risposte per lo stesso problema e ci si confronta con la media del gruppo. Chi fa meglio dei fratelli viene rinforzato.
L'»aha moment»
Qui succede la cosa interessante. Con il passare dell’addestramento, il modello — di sua iniziativa, perché lo aiuta a vincere — comincia a generare catene di pensiero sempre più lunghe. Impara a rileggersi, a verificare i passaggi, a esplorare strade alternative. A un certo punto, raccontano gli autori, compare nei log un passaggio in cui il modello si interrompe a metà soluzione e riparte da capo segnalando di aver capito qualcosa: il team lo battezza aha moment.
La riflessione, il ripensamento, l’autocorrezione: nessuno li ha programmati. Sono emersi perché, dato abbastanza tempo di calcolo, ripensarci conviene.
R1-Zero però ha i difetti di un autodidatta puro: i suoi ragionamenti funzionano ma sono spesso illeggibili, mescolano lingue diverse a metà frase, ignorano ogni galateo. Ottimo motore, pessima carrozzeria.
La ricetta completa di R1
Per il modello di punta il team costruisce una pipeline in quattro tappe, che è la vera eredità pratica del paper:
- Cold start: un piccolo set di catene di pensiero lunghe e ben scritte, per dare al modello base una partenza leggibile;
- RL orientato al ragionamento: la stessa ricetta di R1-Zero, con in più una ricompensa per la coerenza linguistica;
- Rejection sampling: si usa il modello ottenuto per generare centinaia di migliaia di soluzioni, si tengono solo quelle corrette e si riparte da un fine-tuning su questo materiale, allargato anche a scrittura e domande generali;
- RL finale: un ultimo giro per allineare il tutto a utilità e innocuità.
Il risultato dichiarato: prestazioni paragonabili a OpenAI o1 sui benchmark di matematica e programmazione (sull’AIME 2024 R1 raggiunge il 79,8% di pass@1; il solo RL di R1-Zero aveva già portato il punteggio dal 15,6% al 71,0%). E c’è un ultimo colpo: distillando i ragionamenti di R1 in modelli aperti molto più piccoli, dai 1,5 ai 70 miliardi di parametri, anche questi imparano a ragionare sorprendentemente bene — meglio che applicando il RL direttamente su di loro.
Le due strade del paper: R1-Zero dimostra che il ragionamento emerge dal solo reinforcement learning; R1 aggiunge dati curati e rifiniture per renderlo leggibile e utilizzabile.
Perché ha scosso il settore
Il terremoto di gennaio non è stato solo tecnico. DeepSeek è una società nata da un fondo quantitativo cinese, High-Flyer, che addestra i suoi modelli su GPU soggette a restrizioni all’export e dichiara budget di addestramento di un ordine di grandezza inferiori a quelli stimati per i laboratori americani. R1 arriva con pesi aperti, licenza MIT che consente uso commerciale e distillazione, e prezzi API molto più bassi di quelli di o1. Il messaggio implicito — la capacità di ragionamento non è un fossato tecnologico difendibile, e non richiede necessariamente capitali sterminati — è quello che ha fatto tremare i listini, con Nvidia a guidare uno dei peggiori ribassi di sempre per una singola seduta.
Va detto con onestà: i costi dichiarati riguardano la singola tornata di addestramento, non la ricerca che c’è dietro, e il confronto con i laboratori chiusi resta in parte opaco. Ma la sostanza tecnica è stata replicata e verificata più volte dalla comunità nei mesi successivi.
Cosa resta, un anno dopo
Per chi lavora con questi strumenti la lezione è duplice. Primo: quando la correttezza di un compito è verificabile automaticamente — matematica, codice, logica — il reinforcement learning puro è una via percorribile ed economica per far emergere capacità che prima si credevano da imitare a caro prezzo. Secondo: la distillazione funziona, e mette ragionamento decente dentro modelli che girano su hardware modesto. Se nel 2026 usate un modello open source che «pensa» prima di rispondere, con ogni probabilità nella sua genealogia c’è questo paper.
Per approfondire
Il paper: DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, gennaio 2025 — arxiv.org/abs/2501.12948. I pesi di R1 e dei modelli distillati sono su Hugging Face con licenza MIT.
I commenti sono riservati agli iscritti.
Accedi per commentare