Nel 2024 la corsa dei modelli linguistici sembrava avere una sola direzione: più grande. Più parametri, più dati grezzi raschiati dal web, più GPU. Il Phi-3 Technical Report, firmato da Marah Abdin e da un centinaio abbondante di autori Microsoft e pubblicato su arXiv il 22 aprile 2024, prende quella direzione e prova a invertirla su un punto preciso. Il modello di punta, phi-3-mini, ha 3,8 miliardi di parametri: piccolo, per gli standard del momento. Eppure gli autori riportano prestazioni vicine a quelle di Mixtral 8x7B e GPT-3.5. E, cosa che ha catturato l’attenzione, gira dentro un telefono, senza rete, senza cloud.
La scommessa: dati «da manuale», non più parametri
La tesi centrale del paper è che la qualità dei dati di addestramento conti più della loro quantità e più della dimensione del modello. È la continuazione di una linea di ricerca che Microsoft aveva già battezzato con lo slogan «textbook quality data», dati di qualità da libro di testo. L’idea: se addestri un modello su testo scelto con cura, ben scritto, ricco di ragionamento esplicito, il modello impara di più per ogni parametro che ha.
L’analogia è quella di due studenti con lo stesso tempo a disposizione. Uno legge tutto quello che gli capita: forum, pubblicità, ripetizioni, spazzatura mescolata a cose buone. L’altro studia una biblioteca ridotta ma selezionata: manuali chiari, esempi spiegati passo passo, testi che ragionano ad alta voce. A parità di ore, il secondo capisce di più. Phi-3 è la scommessa che questo valga anche per una rete neurale: meno rumore in ingresso, più competenza in uscita, a parità di «cervello».
Filtrare il web, poi fabbricare i dati che mancano
Concretamente il dataset di Phi-3 è, per stessa ammissione degli autori, una versione ampliata di quello usato per il modello precedente phi-2, composta da due ingredienti. Il primo è dato pubblico del web pesantemente filtrato: non tutto il web, ma la frazione con più valore didattico, selezionata per privilegiare testi che insegnano a ragionare più che a memorizzare nozioni. Il secondo è dato sintetico, cioè testo generato da altri modelli per coprire i buchi: esempi costruiti apposta per insegnare competenze specifiche.
Gli autori descrivono questo come un cambio di regime. Non stanno cercando il punto ottimale tra calcolo e dimensione del modello, il criterio che aveva guidato l’industria, ma un regime «data optimal»: dato un budget e una dimensione piccola, quali dati massimizzano la competenza. La leva su cui agiscono non è il numero di parametri, è la composizione della dieta.
La domanda non è più soltanto «quanto grande è il modello», ma «cosa gli abbiamo dato da leggere». È una leva editoriale, non solo ingegneristica.
A sinistra: un grande corpus di web grezzo viene ristretto da un imbuto di filtraggio e integrato con dati sintetici, producendo un piccolo insieme curato che addestra un modello compatto. A destra: sullo stesso banco di prova phi-3-mini raggiunge un punteggio vicino a quello di modelli molto più grandi, e, quantizzato a 4 bit (circa 1,8 GB), gira offline su un telefono.
I numeri, e come leggerli
Le cifre riportate nel report sono concrete. Phi-3-mini, addestrato su 3,3 trilioni di token, ottiene il 69% su MMLU (un test a scelta multipla che copre 57 materie) e 8,38 su MT-bench, una misura di qualità conversazionale. I fratelli maggiori, addestrati su 4,8 trilioni di token, salgono di conseguenza: phi-3-small, con 7 miliardi di parametri, arriva al 75% su MMLU; phi-3-medium, con 14 miliardi, al 78%. Come termine di paragone, la tesi del paper è che il mini regga il confronto con Mixtral 8x7B e GPT-3.5, sistemi con un ordine di grandezza in più di parametri.
Qui serve l’onestà d’obbligo con i benchmark. Sono numeri prodotti da chi ha costruito il modello, su test noti; e proprio la strategia di Phi-3 (dati sintetici selezionati per insegnare le competenze che i benchmark misurano) ha sollevato il sospetto, discusso apertamente dalla comunità, che parte del vantaggio venisse da una vicinanza eccessiva tra dati di addestramento e domande dei test. Il paper non chiude del tutto la questione. Il risultato solido resta comunque notevole: un modello da telefono che gioca nella fascia di sistemi molto più costosi.
Un modello in tasca
La dimostrazione più tangibile è nel sottotitolo del paper, A Highly Capable Language Model Locally on Your Phone, e non è retorica. Gli autori riportano di aver quantizzato phi-3-mini a 4 bit, riducendone l’ingombro in memoria a circa 1,8 GB, e di averlo fatto girare nativamente su un iPhone con chip A16, del tutto offline, generando più di 12 token al secondo. È lenta rispetto a un data center, ma è un modello capace che funziona senza connessione, senza mandare una sola parola a un server esterno.
Le implicazioni sono più di privacy che di velocità. Un modello che vive sul dispositivo non spedisce i tuoi dati altrove, funziona in aereo e in galleria, e non costa nulla al token perché non c’è un fornitore che fattura. È la stessa differenza tra consultare un consulente a distanza e avere un manuale competente sul comodino: meno potente, ma tuo, e sempre disponibile.
L’onestà sui limiti
Il report è insolitamente esplicito sui difetti, e vale la pena riportarli. Un modello da 3,8 miliardi di parametri ha una capacità limitata di immagazzinare fatti: su compiti che richiedono di ricordare molte nozioni specifiche (nomi, date, cifre) resta indietro rispetto ai modelli grandi, semplicemente perché non ha spazio dove tenerle tutte. Gli autori suggeriscono di compensare abbinandolo a un motore di ricerca, cioè con architetture che recuperano l’informazione al momento invece di pretendere che il modello la ricordi. Inoltre il modello è prevalentemente inglese: le altre lingue sono coperte molto meno. Sono limiti strutturali della scelta «piccolo», non bug: comprimere un mondo in 3,8 miliardi di parametri costringe a rinunciare a qualcosa, e Phi-3 rinuncia alla memoria enciclopedica per tenere la capacità di ragionamento.
Perché riguarda anche te
Phi-3 sposta una domanda pratica. Quando valuti un modello, la dimensione non è più l’unica cosa da guardare: un modello piccolo addestrato bene può bastare per il tuo compito, girare sul tuo hardware, costare quasi niente. La regola operativa che ne esce è utile: prima di raggiungere il modello più grande e più caro, chiediti se il tuo problema richiede davvero enciclopedia o piuttosto ragionamento su testo che gli fornisci tu. Nel primo caso serve stazza o un motore di ricerca accanto; nel secondo, un modello come Phi-3 può fare il lavoro in locale. È la stessa scelta tra assumere l’esperto che sa tutto e attrezzare bene una persona sveglia con i documenti giusti. E sempre più spesso la seconda opzione basta.
Il paper
Marah Abdin et al. (Microsoft), Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone, arXiv, aprile 2024. Disponibile su arXiv: arxiv.org/abs/2404.14219. Il report descrive la famiglia phi-3 (mini 3,8 mld, small 7 mld, medium 14 mld) e, nelle revisioni successive, le varianti phi-3.5. I pesi di phi-3-mini sono stati rilasciati pubblicamente da Microsoft con licenza MIT.
I commenti sono riservati agli iscritti.
Accedi per commentare