Distillazione: insegnante grande, allievo piccolo

Avete un modello che risponde bene, ma è troppo grande: costa a ogni chiamata, risponde lento, non entra sul server che avreste a disposizione. Vi serve un modello più piccolo che sia bravo quasi uguale. La strada ovvia — addestrarne uno piccolo da zero sugli stessi dati — quasi mai arriva alla stessa qualità: un modello compatto, lasciato solo davanti ai dati grezzi, impara meno di uno grande.

La distillazione propone un’altra strada, descritta nel 2015 in un lavoro firmato tra gli altri da Geoffrey Hinton: invece di far imparare il modello piccolo dai dati, lo si fa imparare dal modello grande. Il grande diventa un maestro, il piccolo il suo studente. E il punto interessante è cosa, esattamente, il maestro trasmette.

Bravo ma ingombrante

Il problema è concreto e ricorrente. I modelli migliori tendono a essere grandi, e la grandezza si paga due volte: in fase di servizio (memoria, energia, latenza) e in fase di scala (moltiplicate quei costi per ogni utente). Per molti compiti non serve un modello enciclopedico: serve uno che faccia bene quel compito, in fretta e a poco.

Ma comprimere non è banale. Un modello piccolo ha meno capacità di rappresentare regolarità complesse. Dategli le stesse etichette secche del maestro — «questa immagine è un cane», punto — e imparerà, ma senza la ricchezza che serve per generalizzare bene. La domanda è: il maestro sa qualcosa che, nelle etichette, non c’è?

La conoscenza nascosta nelle risposte sbagliate

Sì, e sta in un posto controintuitivo: nelle risposte che il maestro considera sbagliate. Quando un modello classifica un’immagine, non produce un verdetto secco ma una distribuzione: cane 90%, gatto 7%, volpe 2,5%, aeroplano 0,001%. L’etichetta ufficiale dice solo «cane». Ma quel 7% a «gatto» e quel 2,5% a «volpe» raccontano qualcosa che l’etichetta tace: che quel cane, in quella foto, somiglia un po’ a un gatto e a una volpe, e per niente a un aeroplano.

Hinton la chiamò dark knowledge, conoscenza oscura: l’informazione contenuta nelle proporzioni relative tra le risposte non scelte. Un’analogia. Un insegnante severo corregge un compito mettendo solo «giusto» o «sbagliato». Un buon insegnante scrive a margine: «qui eri vicino», «questo errore è comprensibile, quest’altro no». Il secondo trasmette molto di più, perché comunica la struttura del problema, non solo la soluzione. Le probabilità del maestro sono quelle annotazioni a margine.

Un’etichetta dice qual è la risposta giusta. La distribuzione del maestro dice anche quanto sono sbagliate quelle sbagliate — ed è quella gerarchia di errori a insegnare.

La temperatura: alzare il volume delle sfumature

C’è un ostacolo pratico. Un maestro competente è anche molto sicuro di sé: assegna 99,9% alla risposta giusta e briciole a tutto il resto. Quelle briciole sono proprio la conoscenza che vogliamo trasferire, ma sono così piccole da sparire. Serve un modo per amplificarle.

Lo strumento si chiama temperatura. È un parametro che si applica al momento di trasformare i punteggi grezzi del modello — i logits — in probabilità. Una temperatura alta «ammorbidisce» la distribuzione: schiaccia il picco della risposta dominante e fa risalire le probabilità piccole, rendendole visibili. È come abbassare il contrasto di una foto per far emergere i dettagli nelle zone troppo scure. Lo studente viene addestrato a riprodurre questa distribuzione ammorbidita, dove la gerarchia delle somiglianze è finalmente leggibile.

Il maestro non passa allo studente la sola risposta giusta («cane»), ma l’intera distribuzione: quel poco di «gatto» e «volpe» dice che gli oggetti si somigliano, quello zero all'»aereo» che non c’entrano nulla. Lo studente si allena a riprodurre questa forma, non solo il picco.

Come si addestra lo studente

In pratica lo studente impara da due segnali sommati. Il primo è la distillation loss: la distanza tra la sua distribuzione ammorbidita e quella del maestro — quanto bene lo studente imita le sfumature. Il secondo, spesso mantenuto in parallelo, è la classica corrispondenza con l’etichetta vera, che tiene lo studente ancorato al risultato corretto e non solo alle opinioni del maestro, che pure sbaglia.

Il maestro va calcolato solo una volta per ogni esempio, e le sue distribuzioni si possono conservare; l’addestramento vero e proprio riguarda il solo studente, che è piccolo. Il costo dominante resta quello di allenare un modello compatto — molto inferiore a quello di crescerne uno grande.

Cosa funziona davvero

L’esempio più noto nel mondo del linguaggio è DistilBERT, del 2019: uno studente distillato dal modello BERT che risulta circa il 40% più piccolo e sensibilmente più veloce, conservando la gran parte delle capacità dell’originale su molti compiti. È il tipo di compromesso — un po’ di qualità in cambio di molta efficienza — che rende un modello utilizzabile dove prima non lo era.

La stessa logica oggi si applica ai modelli generativi, con una variante pratica: invece di confrontare distribuzioni token per token, spesso si fa produrre al maestro molte risposte complete e si addestra lo studente a imitarle. Molti dei modelli piccoli e agili che girano su singole GPU, o perfino sui dispositivi, nascono così: da un maestro più capace che ne ha guidato l’addestramento. È bene essere onesti sui limiti: lo studente eredita anche gli errori e i pregiudizi del maestro, e non lo supera quasi mai. La distillazione trasferisce competenza, non la crea dal nulla.

Perché vi riguarda

La distillazione è una delle ragioni per cui l’AI capace non resta confinata ai modelli enormi. Permette di prendere la competenza di un sistema grande e di impacchettarla in uno abbastanza leggero da servire a costo sostenibile, con latenza bassa, magari in locale. Per chi costruisce prodotti, è la leva che rende economicamente praticabile ciò che, con il solo modello grande, sarebbe troppo caro.

C’è però una lezione più generale, che vale ben oltre l’ingegneria. La distillazione ci ricorda che l’informazione utile non sta solo nelle risposte giuste, ma nel modo in cui un sistema esperto sbaglia — in cosa considera vicino, plausibile, fuori discussione. Vale per i modelli e vale, se ci pensate, per chi insegna: la parte preziosa non è la soluzione, è il ragionamento intorno all’errore.