Nel 2024 la corsa dei modelli linguistici sembrava avere una sola direzione: più grande. Più parametri, più dati grezzi raschiati dal web, più GPU. Il Phi-3 Technical Report, firmato da Marah Abdin e da un centinaio abbondante di autori Microsoft e pubblicato su arXiv il 22 aprile 2024, prende quella direzione e prova a invertirla su un punto preciso. Il modello di punta, phi-3-mini, ha 3,8 miliardi di parametri — piccolo, per gli standard del momento — eppure gli autori riportano prestazioni vicine a quelle di Mixtral 8x7B e GPT-3.5. E, cosa che ha catturato l’attenzione, gira dentro un telefono, senza rete, senza cloud.
La scommessa: dati «da manuale», non più parametri
La tesi centrale del paper è che la qualità dei dati di addestramento conti più della loro quantità e più della dimensione del modello. È la continuazione di una linea di ricerca che Microsoft aveva già battezzato con lo slogan «textbook quality data», dati di qualità da libro di testo. L’idea: se addestri un modello su testo scelto con cura, ben scritto, ricco di ragionamento esplicito, il modello impara di più per ogni parametro che ha.
L’analogia è quella di due studenti con lo stesso tempo a disposizione. Uno legge tutto quello che gli capita — forum, pubblicità, ripetizioni, spazzatura mescolata a cose buone. L’altro studia una biblioteca ridotta ma selezionata: manuali chiari, esempi spiegati passo passo, testi che ragionano ad alta voce. A parità di ore, il secondo capisce di più. Phi-3 è la scommessa che questo valga anche per una rete neurale: meno rumore in ingresso, più competenza in uscita, a parità di «cervello».
Filtrare il web, poi fabbricare i dati che mancano
Concretamente il dataset di Phi-3 è, per stessa ammissione degli autori, una versione ampliata di quello usato per il modello precedente phi-2, composta da due ingredienti. Il primo è dato pubblico del web pesantemente filtrato: non tutto il web, ma la frazione con più valore didattico, selezionata per privilegiare testi che insegnano a ragionare più che a memorizzare nozioni. Il secondo è dato sintetico, cioè testo generato da altri modelli per coprire i buchi — esempi costruiti apposta per insegnare competenze specifiche.
Gli autori descrivono questo come un cambio di regime. Non stanno cercando il punto ottimale tra calcolo e dimensione del modello — il criterio che aveva guidato l’industria — ma un regime «data optimal»: dato un budget e una dimensione piccola, quali dati massimizzano la competenza. La leva su cui agiscono non è il numero di parametri, è la composizione della dieta.
La domanda non è più soltanto «quanto grande è il modello», ma «cosa gli abbiamo dato da leggere». È una leva editoriale, non solo ingegneristica.
A sinistra: un grande corpus di web grezzo viene ristretto da un imbuto di filtraggio e integrato con dati sintetici, producendo un piccolo insieme curato che addestra un modello compatto. A destra: sullo stesso banco di prova phi-3-mini raggiunge un punteggio vicino a quello di modelli molto più grandi, e — quantizzato a 4 bit, circa 1,8 GB — gira offline su un telefono.
I numeri, e come leggerli
Le cifre riportate nel report sono concrete. Phi-3-mini, addestrato su 3,3 trilioni di token, ottiene il 69% su MMLU — un test a scelta multipla che copre 57 materie — e 8,38 su MT-bench, una misura di qualità conversazionale. I fratelli maggiori salgono di conseguenza: phi-3-small (7 miliardi di parametri) e phi-3-medium (14 miliardi), addestrati su 4,8 trilioni di token, raggiungono rispettivamente il 75% e il 78% su MMLU. Come termine di paragone, la tesi del paper è che il mini regga il confronto con Mixtral 8x7B e GPT-3.5, sistemi con un ordine di grandezza in più di parametri.
Qui serve l’onestà d’obbligo con i benchmark. Sono numeri prodotti da chi ha costruito il modello, su test noti; e proprio la strategia di Phi-3 — dati sintetici selezionati per insegnare le competenze che i benchmark misurano — ha sollevato il sospetto, discusso apertamente dalla comunità, che parte del vantaggio venisse da una vicinanza eccessiva tra dati di addestramento e domande dei test. Il paper non chiude del tutto la questione. Il risultato solido resta comunque notevole: un modello da telefono che gioca nella fascia di sistemi molto più costosi.
Un modello in tasca
La dimostrazione più tangibile è nel sottotitolo del paper — A Highly Capable Language Model Locally on Your Phone — e non è retorica. Gli autori riportano di aver quantizzato phi-3-mini a 4 bit, riducendone l’ingombro in memoria a circa 1,8 GB, e di averlo fatto girare nativamente su un iPhone con chip A16, del tutto offline, generando più di 12 token al secondo. È lenta rispetto a un data center, ma è un modello capace che funziona senza connessione, senza mandare una sola parola a un server esterno.
Le implicazioni sono più di privacy che di velocità. Un modello che vive sul dispositivo non spedisce i tuoi dati altrove, funziona in aereo e in galleria, e non costa nulla al token perché non c’è un fornitore che fattura. È la stessa differenza tra consultare un consulente a distanza e avere un manuale competente sul comodino: meno potente, ma tuo, e sempre disponibile.
L’onestà sui limiti
Il report è insolitamente esplicito sui difetti, e vale la pena riportarli. Un modello da 3,8 miliardi di parametri ha una capacità limitata di immagazzinare fatti: su compiti che richiedono di ricordare molte nozioni specifiche — nomi, date, cifre — resta indietro rispetto ai modelli grandi, semplicemente perché non ha spazio dove tenerle tutte. Gli autori suggeriscono di compensare abbinandolo a un motore di ricerca, cioè con architetture che recuperano l’informazione al momento invece di pretendere che il modello la ricordi. Inoltre il modello è prevalentemente inglese: le altre lingue sono coperte molto meno. Sono limiti strutturali della scelta «piccolo», non bug: comprimere un mondo in 3,8 miliardi di parametri costringe a rinunciare a qualcosa, e Phi-3 rinuncia alla memoria enciclopedica per tenere la capacità di ragionamento.
Perché riguarda anche te
Phi-3 sposta una domanda pratica. Quando valuti un modello, la dimensione non è più l’unica cosa da guardare: un modello piccolo addestrato bene può bastare per il tuo compito, girare sul tuo hardware, costare quasi niente. La regola operativa che ne esce è utile: prima di raggiungere il modello più grande e più caro, chiediti se il tuo problema richiede davvero enciclopedia o piuttosto ragionamento su testo che gli fornisci tu. Nel primo caso serve stazza o un motore di ricerca accanto; nel secondo, un modello come Phi-3 può fare il lavoro in locale. È la stessa scelta tra assumere l’esperto che sa tutto e attrezzare bene una persona sveglia con i documenti giusti — e sempre più spesso la seconda opzione basta.
Il paper
Marah Abdin et al. (Microsoft), Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone, arXiv, aprile 2024. Disponibile su arXiv: arxiv.org/abs/2404.14219. Il report descrive la famiglia phi-3 (mini 3,8 mld, small 7 mld, medium 14 mld) e, nelle revisioni successive, le varianti phi-3.5. I pesi di phi-3-mini sono stati rilasciati pubblicamente da Microsoft con licenza MIT.
I commenti sono riservati agli iscritti.
Accedi per commentare