Distillare non vuol dire più rimpicciolire: la parola dietro il caso Kimi K3

Chi ha visto fare la grappa sa che cosa entra nell’alambicco e che cosa ne esce. Entrano le vinacce, quintali di bucce e vinaccioli che il loro vino lo hanno già dato; esce, goccia a goccia, un liquido che sta in poche bottiglie. Distillare vuol dire concentrare: meno volume, solo la parte che conta. È questa l’immagine che Geoffrey Hinton, Oriol Vinyals e Jeff Dean avevano in mente nel 2015 quando intitolarono un lavoro Distilling the Knowledge in a Neural Network: da un insieme di modelli grandi e costosi da far girare, un modello solo, più piccolo, che ne conserva quasi tutta la bravura.

Il 22 luglio 2026 Michael Kratsios, che dirige l’ufficio per la politica scientifica e tecnologica della Casa Bianca, ha scritto su X che il governo statunitense ha «informazioni» secondo cui Moonshot AI, la società cinese dei modelli Kimi, «ha distillato Fable di Anthropic per lo sviluppo del suo modello K3». Kimi K3 era uscito la settimana prima, e Moonshot lo presenta come il primo modello aperto ad arrivare a 2.800 miliardi di parametri. Se la parola è quella giusta, da quell’alambicco sarebbe uscito, a detta di chi l’ha fatto, il più grande modello aperto del mondo: non proprio una bottiglia.

Chi lavora con i modelli ha sentito la stessa parola tornare per tutto l’anno. A febbraio Anthropic ha denunciato «attacchi di distillazione» da parte di DeepSeek, Moonshot e MiniMax; ad aprile la Casa Bianca ha dedicato un memorandum alla distillazione avversaria; in mezzo, più di un modello cinese competitivo è stato accolto con la stessa frase: l’hanno distillato da Claude, o da GPT. Viene il sospetto che la parola si sia gonfiata. L’operazione descritta, in fondo, è sempre quella: interrogare il modello di un altro, raccoglierne le risposte, addestrare il proprio a riprodurle. Non è semplicemente un fine-tuning su dati sintetici? E distillare non voleva dire far imparare un modello piccolo da uno grande?

Il sospetto ha ragione, ma sul punto sbagliato. Addestrare un modello sul testo prodotto da un altro è distillazione, in un senso preciso che ha dieci anni e una formula. Quello che la parola ha perso per strada è altro: la taglia, la prova, e la differenza fra una tecnica e un’accusa.

Che cosa passava dal maestro allo studente

L’idea non nasce con Hinton. Nel 2006 Cristian Buciluă, Rich Caruana e Alexandru Niculescu-Mizil, in un lavoro intitolato Model Compression, avevano sostituito insiemi di centinaia o migliaia di classificatori con una sola rete neurale addestrata a imitarne le risposte. Quando mancavano esempi da far commentare all’insieme, ne generavano di sintetici, li facevano etichettare all’insieme e su quelli addestravano la rete, che usciva fino a mille volte più piccola e più veloce. La prima distillazione, insomma, era già un addestramento su dati sintetici etichettati dal maestro.

Il contributo del 2015 è stato capire che cosa conveniva far imitare. Non la risposta finale del maestro, «è un’automobile», ma l’intera distribuzione di probabilità da cui la risposta esce. L’esempio è nel lavoro stesso: una BMW ha una probabilità minuscola di essere scambiata per un camion della spazzatura, ma è comunque molte volte più probabile che scambiarla per una carota. Quei rapporti fra risposte scartate dicono come il maestro vede il mondo, e Hinton, nelle sue lezioni, li chiamava dark knowledge. Per renderli leggibili si alza una temperatura che ammorbidisce la distribuzione prima di passarla allo studente.

Per questo articolo ne basta una conseguenza. Nella forma del 2015 lo studente ha bisogno dei logit del maestro, i punteggi grezzi da cui esce la distribuzione, per ogni esempio. I pesi del maestro non servono, contrariamente a quanto si legge spesso: il maestro può restare una scatola chiusa, purché dica quanto è sicuro di ogni risposta possibile. Ed è proprio quello che le API dei modelli chiusi non dicono. Restituiscono testo, al massimo con le probabilità di una manciata di parole candidate; la distribuzione intera, mai. (Se vi serve un ripasso più disteso del meccanismo, c’è anche il nostro articolo sulla distillazione classica.)

Il testo generato è distillazione, e lo è dal 2016

Un anno dopo Hinton, Yoon Kim e Alexander Rush si posero il problema per la traduzione automatica, dove un modello non sceglie una classe ma scrive una frase intera, parola dopo parola. Nel lavoro Sequence-Level Knowledge Distillation, presentato a EMNLP 2016, misero a confronto la ricetta di Hinton applicata a ogni parola, in cui a ogni posizione lo studente imita la distribuzione del maestro su tutto il vocabolario, con due varianti che guardano alla frase intera. La più semplice è anche la più spiccia. Il maestro traduce le frasi di addestramento, scegliendo con una ricerca a fascio la traduzione che giudica migliore, e lo studente si addestra sulle traduzioni del maestro come se fossero quelle giuste: nel lessico di oggi, un fine-tuning su dati sintetici. Le varianti sulla sequenza miglioravano i risultati di quella parola per parola, e il loro studente migliore andava dieci volte più veloce del maestro perdendo poco in qualità.

Che le due strade siano la stessa cosa vista a due risoluzioni diverse lo dice una riga di calcolo. Chiamiamo $p_T(y \mid x)$ la probabilità che il maestro dia la risposta $y$ alla domanda $x$, e $p_S(y \mid x)$ quella dello studente. Distillare, nel senso di Hinton portato alle sequenze, vuol dire rendere piccola la divergenza di Kullback-Leibler fra le due:

$$\mathrm{KL}\big(p_T \,\|\, p_S\big) = \underbrace{\mathbb{E}_{y \sim p_T}\big[\log p_T(y \mid x)\big]}_{\text{non dipende dallo studente}} \;-\; \mathbb{E}_{y \sim p_T}\big[\log p_S(y \mid x)\big].$$

Il primo termine è fisso, lo decide il maestro. Resta da rendere grande il secondo, cioè la probabilità che lo studente assegna alle risposte del maestro. E un valore atteso si stima con dei campioni: si fanno generare al maestro $N$ risposte $y^{(1)}, \dots, y^{(N)}$ e si calcola

$$\frac{1}{N} \sum_{i=1}^{N} \log p_S\big(y^{(i)} \mid x\big),$$

che, cambiata di segno, è la funzione di perdita di un fine-tuning supervisionato su quelle risposte. Addestrare un modello sul testo generato da un altro è la stima a campioni della stessa divergenza che la distillazione classica calcola per intero. Non è una metafora presa in prestito: è lo stesso bersaglio, mirato con uno strumento meno preciso. Con una sola avvertenza, che conta: l’uguaglianza vale se le risposte sono estratte dal maestro così come vengono. Kim e Rush, per esempio, prendevano la traduzione più probabile e non un campione; e in pratica le risposte si filtrano (si tengono, per esempio, solo le soluzioni corrette), e il bersaglio diventa il maestro nelle sue giornate migliori.

Meno preciso di quanto, si può dire a grandi linee. Nella distillazione parola per parola, a ogni posizione il maestro consegna una distribuzione su un vocabolario che nei modelli recenti supera le centomila voci. Nel testo generato ne consegna una sola, estratta da quella distribuzione. Le sfumature non spariscono, ma per ricostruirle bisogna vedere moltissime risposte a domande dello stesso tipo. È uno dei motivi per cui una distillazione fatta attraverso un’API si conta in milioni di scambi, e non in migliaia.

Non è un uso inventato dal marketing. Quando DeepSeek, nel gennaio 2025, ha pubblicato R1, ha pubblicato insieme sei modelli più piccoli, da 1,5 a 70 miliardi di parametri, ottenuti addestrando modelli Qwen e Llama su 800 mila esempi preparati con R1 (circa 600 mila ragionamenti generati da R1, il resto di altro tipo). Nel paper l’operazione si chiama semplicemente distillazione (nella prima versione, «un metodo di distillazione diretto»), e gli autori precisano di aver usato soltanto il fine-tuning supervisionato, senza apprendimento per rinforzo. Con quei dati il modello da 7 miliardi arrivava al 55,5% sui problemi dell’AIME 2024. Nessuno parlò di abuso del termine: il maestro era più grande, era loro, e gli studenti erano pubblici.

La distillazione sui logit, quella del 2015, intanto non è sparita, ma la fa chi il maestro lo possiede. Google ha addestrato i modelli da 2 e 9 miliardi di Gemma 2 con la distillazione al posto della normale previsione della parola successiva; Meta ha usato i logit di Llama 3.1 8B e 70B come bersagli, parola per parola, per preaddestrare i Llama 3.2 da 1 e 3 miliardi. E c’è una terza variante, detta on-policy, in cui è lo studente a scrivere e il maestro a dire quanto avrebbe scommesso su ciascuna delle sue parole (Rishabh Agarwal e colleghi l’hanno formalizzata a ICLR 2024): di nuovo, servono le probabilità del maestro, e un’API che restituisce solo testo non le dà.

«Più piccolo» non è mai stato nella definizione

Resta la seconda metà della domanda: distillare non voleva dire far nascere un modello piccolo da uno grande? È l’uso più comune, ed è quello per cui la tecnica è nata. Ma non è mai stato una condizione. Nel 2018 Tommaso Furlanello e colleghi hanno distillato reti in studenti identici ai maestri, stessa architettura e stesso numero di parametri, e hanno trovato che gli studenti battevano i maestri, sulle immagini come sul linguaggio. Li hanno chiamati Born-Again Networks, reti nate due volte, e nessuno ha sostenuto che quella non fosse distillazione.

Quello che resta costante, in tutte le versioni, è un’altra cosa. Distillare vuol dire scegliere come bersaglio dell’addestramento il comportamento di un modello, invece dei dati del mondo. Le etichette scritte da persone, il testo del web, le soluzioni verificate di un problema di matematica sono dati del mondo; le risposte di un altro modello no. Chi riceve il segnale può essere più piccolo, uguale o più grande: la parola dice da dove viene il segnale, non quanto pesa chi lo riceve.

Le descrizioni ufficiali di quest’anno, a guardarle da vicino, non sono d’accordo fra loro proprio sulla taglia. Anthropic, a febbraio, scrive che distillare vuol dire «addestrare un modello meno capace sulle risposte di uno più forte»: meno capace, non più piccolo. Il memorandum della Casa Bianca del 23 aprile, firmato dallo stesso Kratsios, riconosce che la distillazione è «una parte vitale» dell’ecosistema quando è usata in modo legittimo «per produrre modelli più piccoli e leggeri a partire da sistemi più avanzati». Il memorandum non fa della taglia il confine fra lecito e illecito: lo mette nell’intenzione di «minare sistematicamente» la ricerca americana e nell’accesso non autorizzato. Ma è istruttivo che, dovendo descrivere la distillazione buona, abbia scelto l’immagine dei manuali, quella col modello piccolo, e che l’accusa di luglio, firmata dalla stessa persona, riguardi un modello che va nel verso opposto.

Dove la parola si allarga troppo

Fin qui il gergo ha ragione. Comincia ad avere torto quando «distillare» passa a coprire qualunque uso del modello di un altro. Nel post di febbraio, tra le cose che Anthropic attribuisce a DeepSeek, c’è l’uso di Claude per assegnare voti secondo una griglia, da usare come ricompensa nell’apprendimento per rinforzo. Qui lo studente non impara a rispondere come Claude: impara a rispondere in modo che Claude approvi. Può essere un uso del servizio vietato quanto l’altro, ma tecnicamente è un’altra cosa, con un nome suo: RLAIF, apprendimento per rinforzo da feedback di un’intelligenza artificiale, che Anthropic stessa ha contribuito a diffondere nel 2022 con il lavoro sulla Constitutional AI. La differenza conta: chi imita eredita le risposte del maestro, errori compresi; chi viene premiato da un giudice ne eredita i gusti, che è un’altra cosa.

Si allarga troppo anche quando diventa una diagnosi fatta a occhio. La prova che circola di più è il modello che dice di essere un altro: a luglio sono girate schermate e prove ripetute di K3 che si presentava come Claude, e nel dicembre 2024 DeepSeek V3 diceva spesso di essere ChatGPT. È un indizio debole e ambiguo, perché ha anche spiegazioni innocue. Il web su cui si preaddestrano tutti contiene ormai una quantità crescente di testo scritto da modelli, e un modello può impararvi che cosa dice di sé «un assistente AI»: chi raccoglie il web dopo il 2023 può assorbire le risposte di un altro senza averle mai cercate. Lo stesso vale per le somiglianze di stile, i giri di frase ricorrenti, la formattazione.

E infine la parola si allarga quando smette di descrivere una tecnica e comincia a descrivere un torto. Anthropic lo scrive con chiarezza nello stesso post: la distillazione è un metodo «diffuso e legittimo», e i laboratori di frontiera distillano regolarmente i propri modelli per offrire ai clienti versioni più piccole ed economiche. Il problema che denuncia non è l’alambicco, sono gli account falsi, le reti di rivenditori che aggirano il blocco della Cina, la violazione dei termini di servizio, e il rischio che un modello costruito così perda per strada le protezioni dell’originale. Sono accuse serie. Ma sono accuse di accesso abusivo, e chiamarle distillazione mette sotto processo una tecnica che usano tutti.

Che cosa si può dimostrare

Sul caso K3, ad oggi, ci sono dichiarazioni di parte e nessuna prova che altri possano rifare. Anthropic ne ha fatte due. A febbraio ha attribuito a Moonshot oltre 3,4 milioni di scambi con Claude, passati per centinaia di account falsi e mirati al ragionamento degli agenti, all’uso di strumenti, alla programmazione e alla visione. Il 10 settembre, nel suo rapporto periodico sugli abusi, ha alzato il conto: oltre 23 milioni di scambi fra maggio e luglio 2026, attraverso una rete di 5.380 account falsi. Il rapporto descrive una procedura per estrarre le catene di ragionamento di Claude e usarle per addestrare i modelli di Moonshot, e un episodio di natura diversa: in dieci giorni quasi 300 mila richieste di clienti di Kimi sarebbero state girate di nascosto a Claude, quasi tutte a Opus, e le risposte mostrate come se fossero di Kimi. Quel gesto, preso da solo, non è distillazione ma rivendita; lo sarebbe se quegli scambi finissero nei dati di addestramento, e per questo episodio il rapporto non lo afferma. Nella parte su Moonshot il rapporto non nomina né Fable né K3.

L’accusa specifica, Fable dentro K3, è quella di Kratsios, che non ha detto da dove venga l’informazione. L’ambasciata cinese a Washington l’ha definita «del tutto infondata». E Moonshot, il 27 luglio, ha pubblicato insieme ai pesi un rapporto tecnico di 47 pagine che dichiara una provenienza diversa: le traiettorie per il fine-tuning supervisionato sono state sintetizzate, scrive, «con modelli specializzati delle serie Kimi precedenti», poi verificate in più passaggi e annotate da persone. Nessun modello esterno è nominato. Telemetria contro dichiarazione: due fonti, ciascuna verificabile solo da chi l’ha prodotta.

Lo stesso rapporto riserva una sorpresa lessicale. La parola «distillazione» c’è, ed è Moonshot a usarla per sé. L’ultima fase dell’addestramento di K3 parte da nove esperti, ottenuti con l’apprendimento per rinforzo su tre domini (compiti generali, agenti, programmazione) e tre livelli di sforzo di ragionamento, e li fonde in un modello solo con quella che il rapporto chiama Multi-Teacher On-Policy Distillation. Lo studente scrive, e per ogni parola riceve come ricompensa quanto il maestro di turno l’avrebbe trovata più, o meno, probabile di lui:

$$r_t = \mathrm{clip}\!\left(\log \frac{\pi_{\text{maestro}}(y_t \mid x, y_{\lt t})}{\pi_{\theta}(y_t \mid x, y_{\lt t})},\; -R_{\max},\; R_{\max}\right).$$

Chi ha seguito il calcolo di prima riconosce la forma. In media sulle frasi scritte dallo studente, a parte il taglio agli estremi, quella ricompensa è la divergenza di Kullback-Leibler presa nell’altro verso, dallo studente al maestro, cambiata di segno. È la distillazione on-policy di cui sopra, che ha bisogno delle probabilità del maestro su ogni parola e quindi si fa solo con un maestro che si possiede. E i maestri, qui, sono versioni specializzate dello stesso modello, non modelli più grandi: non rientrerebbe nemmeno nell’uso legittimo che il memorandum descrive, quello che produce modelli «più piccoli e leggeri».

C’è poi un dato che viene dalla ricerca e aiuta a leggere tutta la vicenda. Nel 2023 Arnav Gudibande e colleghi, a Berkeley, hanno addestrato modelli aperti a imitare ChatGPT e li hanno misurati due volte: con valutatori umani e con test automatici mirati. I primi giudicavano le imitazioni quasi alla pari; i secondi mostravano che il divario di capacità si chiudeva poco o niente. La loro sintesi: i modelli imitatori copiano lo stile, non la correttezza. Il memorandum della Casa Bianca dice la stessa cosa con altre parole: i modelli nati da queste campagne «non replicano le prestazioni complete dell’originale», ma sembrano competitivi su alcuni benchmark scelti.

Se è così, la domanda «K3 è distillato da Fable?» è mal posta. Un modello da 2.800 miliardi di parametri non nasce dalle risposte di un altro: nasce da un preaddestramento su una quantità enorme di testo. Facciamo un conto largo. Anche a diecimila token per scambio, che per conversazioni con ragionamenti lunghi non è molto, 23 milioni di scambi fanno circa 230 miliardi di token: intorno all’1,5% dei 15.500 miliardi su cui era stato preaddestrato Kimi K2, il predecessore (il rapporto di K3 non dà il suo totale). Per il preaddestramento è poco. Per la fase successiva, quella che insegna al modello a ragionare per passi, a usare strumenti, a scrivere codice nel modo che piace agli utenti, è moltissimo: nell’ordine di trenta volte gli 800 mila esempi con cui DeepSeek aveva distillato R1 (scambi ed esempi non sono la stessa unità, ma l’ordine di grandezza regge). È lì che un maestro conta, ed è lì che una campagna di quelle dimensioni lascerebbe il segno, se i dati fossero davvero finiti in K3. Rispondere sì o no alla domanda così com’è posta vuol dire scegliere fra «K3 è una copia» e «K3 non deve niente a nessuno», e nessuna delle due frasi è sostenuta da quello che si sa.

Tre domande per ogni «l’ha distillato»

La prossima volta che leggete che un modello «ha distillato» un altro, conviene smontare la frase in tre domande, perché la parola da sola ne nasconde tre.

Con che cosa? Logit o testo. Se il maestro è un modello chiuso, quasi certamente testo: risposte raccolte e usate per un fine-tuning supervisionato, che è distillazione di sequenza nel senso di Kim e Rush. Chi dice «è solo fine-tuning su dati sintetici» descrive bene il meccanismo; chi dice «distillazione» descrive bene il bersaglio. Hanno ragione tutti e due, e la seconda parola è più informativa, perché dice da dove vengono i dati.

Con il permesso di chi? Qui sta l’accusa, ed è una questione di contratti e di accesso, non di matematica. La stessa operazione, fatta da DeepSeek sulle risposte del proprio R1, è un paragrafo di un paper; fatta sulle risposte di Claude attraverso decine di migliaia di account falsi, secondo Anthropic, è una violazione. La parola è identica, ed è per questo che da sola non accusa nessuno.

Come lo sai? La telemetria del fornitore, che solo il fornitore vede; la dichiarazione del laboratorio accusato, che solo il laboratorio può confermare; le somiglianze di stile, che sono indizi deboli; il modello che dice di essere un altro, che è un indizio ambiguo. Una prova vera sarebbe un’analisi indipendente, su dati che altri possano rifare. Per K3, ad oggi, non c’è.

Le parole tecniche che entrano nel lessico politico fanno di solito lo stesso percorso: perdono le condizioni e tengono la connotazione. «Distillare» ha perso «più piccolo» e ha guadagnato «rubare», e la seconda acquisizione è quella che fa più danni, perché trasforma un’ipotesi in un verdetto. In Italia, del resto, molte distillerie la grappa la fanno con le vinacce delle cantine vicine, e nessuno lo chiama furto: le vinacce si comprano. Quando c’è un torto, non sta mai nell’alambicco. Sta in come ci si è procurati quello che ci si è messo dentro.