A fine febbraio 2023 un gruppo di ricercatori di Meta pubblica un articolo con una tabella scomoda. Nella tabella c’è un modello linguistico da 13 miliardi di parametri che, sulla maggior parte dei test, batte GPT-3, il modello da 175 miliardi che due anni prima aveva convinto mezzo mondo che l’intelligenza artificiale sapesse scrivere. Tredici contro centosettantacinque: un fattore tredici in meno di parametri, e il piccolo vince lo stesso. Il modello si chiama LLaMA, e il paper si intitola, senza giri di parole, LLaMA: Open and Efficient Foundation Language Models.
Le due parole del titolo — aperto ed efficiente — riassumono bene perché quel lavoro conta ancora oggi. Non introduce un’architettura nuova né un trucco di addestramento mai visto. Prende idee già note e le mette insieme con una disciplina che, all’epoca, era rara: usa solo dati che chiunque può scaricare, spende il budget di calcolo dove rende di più, e alla fine consegna i pesi alla comunità di ricerca. Da lì è nato buona parte dell’ecosistema dei modelli locali che usiamo adesso.
Un modello piccolo che ne batte uno tredici volte più grande
Il numero di parametri di un modello è quanto spesso lo si sente citare come misura della sua potenza. È una misura ingannevole, e LLaMA lo mostra in modo netto. La famiglia va da 7 a 65 miliardi di parametri — quattro taglie — e le due affermazioni centrali del paper sono precise. La prima: LLaMA-13B supera GPT-3 (175 miliardi) sulla maggior parte dei benchmark. La seconda: LLaMA-65B regge il confronto con i migliori modelli chiusi dell’epoca, Chinchilla-70B e PaLM-540B, quest’ultimo più di otto volte più grande.
Pensatelo come due valigie. Una è enorme ma riempita a metà; l’altra è di taglia media ma stipata con metodo fino all’ultimo angolo. All’aeroporto, quella che pesa di più non è necessariamente quella che porta più roba utile. I modelli di frontiera di quegli anni erano valigie giganti mezze vuote: tanta capacità, troppo poco addestramento per riempirla.
Da dove viene l’efficienza
La lezione che LLaMA porta a compimento è quella di Chinchilla, il lavoro di DeepMind dell’anno prima: a parità di calcolo, conviene un modello più piccolo nutrito con molti più dati. LLaMA la spinge oltre in una direzione precisa. La regola di Chinchilla dice qual è l’allocazione ottimale per il costo di addestramento; ma un modello lo si addestra una volta e poi lo si fa girare per sempre. Se punti a farlo usare da tanti, conviene allenarlo ben oltre l’ottimo teorico, così ogni risposta poi costa meno.
È esattamente ciò che fa LLaMA. I modelli più piccoli leggono circa un trilione di token durante l’addestramento; i più grandi arrivano intorno a 1,4 trilioni. Sono quantità enormi per l’epoca, molto oltre quanto una lettura ingenua delle leggi di scala avrebbe suggerito per quelle taglie. Il risultato è un modello che a parità di prestazioni è più piccolo, e quindi più economico e veloce da eseguire.
Sul piano architetturale non c’è nessuna invenzione, solo scelte ben ponderate importate da lavori precedenti: normalizzazione applicata all’ingresso di ogni strato invece che all’uscita (per un addestramento più stabile), la funzione di attivazione SwiGLU al posto della ReLU, e le posizioni codificate per rotazione (RoPE) invece che con vettori appresi. Dettagli tecnici, ma la loro somma è un modello che si addestra bene e si comporta bene. Per dare un’idea concreta dell’efficienza: la versione da 65 miliardi è stata addestrata su 2048 acceleratori A100 in circa 21 giorni.
La lunghezza di ogni barra è proporzionale ai miliardi di parametri. LLaMA-13B raggiunge o supera GPT-3 con un tredicesimo dei parametri; LLaMA-65B regge il confronto con Chinchilla-70B e con PaLM-540B, otto volte più grande. Meno capacità grezza, molto più addestramento.
Solo dati che chiunque può scaricare
C’è un secondo motivo per cui il paper è stato importante, ed è nascosto in una frase apparentemente tecnica: LLaMA è addestrato esclusivamente su dataset pubblicamente disponibili. Niente corpora proprietari, niente dati acquistati sotto licenza, niente materiale a cui solo una grande azienda ha accesso. La miscela è fatta di pagine web filtrate, il codice di GitHub, Wikipedia, libri di pubblico dominio, articoli scientifici di arXiv, discussioni di Stack Exchange.
Sembra un dettaglio, ma cambia le regole del gioco. Fino a quel momento, la tentazione di spiegare i risultati dei modelli chiusi con «chissà che dati segreti avranno usato» era sempre lì. LLaMA toglie quella scusa: dimostra che con ingredienti a disposizione di tutti si arriva alla frontiera. È la differenza tra un piatto d’autore la cui ricetta resta chiusa in cassaforte e uno la cui lista della spesa è pubblica: il secondo, chiunque può provare a rifarlo.
La lezione di LLaMA non è «abbiamo un modello migliore», ma «non serve nulla di segreto per costruirne uno alla frontiera».
«Open» tra virgolette
Qui va fatta una precisazione, perché l’onestà lo impone. La parola «Open» nel titolo non significa che LLaMA fosse software libero. I pesi del modello furono rilasciati alla sola comunità di ricerca, su richiesta e sotto una licenza non commerciale che ne vietava l’uso nei prodotti. Nel giro di pochi giorni, però, i file finirono in circolazione fuori dal canale ufficiale e da lì si diffusero ovunque. Quella fuoriuscita non voluta, più che il rilascio controllato, è ciò che accese davvero l’ecosistema.
La distinzione tra «pesi disponibili» e «veramente aperto» è rimasta un tema di discussione da allora, e vale la pena tenerla a mente ogni volta che un modello viene presentato come «open». Aperto rispetto a cosa? I pesi sono scaricabili, ma i dati di addestramento sono riproducibili? La licenza permette l’uso commerciale? Sono domande diverse, e «open» da solo non risponde a nessuna. Le versioni successive della famiglia — Llama 2 e Llama 3 — hanno poi adottato licenze che permettono l’uso commerciale, ma con condizioni proprie, non una licenza open source classica.
Perché riguarda voi
Anche senza addestrare mai un modello, LLaMA vi tocca da vicino per una ragione pratica: è il motivo per cui oggi potete far girare un assistente linguistico capace sul vostro portatile, senza inviare nulla a un server remoto. Nelle settimane dopo la fuoriuscita dei pesi nacquero i progetti che comprimevano il modello fino a farlo stare nella memoria di un computer normale e le prime tecniche per rifinirlo a basso costo su un singolo acceleratore. Un intero filone di modelli locali — con la privacy che ne consegue, dato che i dati non escono dalla vostra macchina — discende da lì.
C’è anche una lezione più generale, buona da tenere per quando leggete le notizie sull’AI. Il numero di parametri, da solo, dice poco. Un modello da tot miliardi non è «migliore» di uno da meno miliardi solo perché il numero è più grande: contano quanto e quali dati ha letto, com’è addestrato, per cosa lo userete. La prossima volta che un annuncio insiste sulla dimensione come fosse la sola cosa che conta, ricordatevi della valigia mezza vuota.
Il paper
Hugo Touvron, Thibaut Lavril, Gautier Izacard e altri (14 autori, Meta AI), LLaMA: Open and Efficient Foundation Language Models, 2023. Disponibile su arXiv: arxiv.org/abs/2302.13971.
I commenti sono riservati agli iscritti.
Accedi per commentare