Llama 3, la ricetta scritta per intero

Il 23 luglio 2024 Meta rilascia Llama 3.1 405B: un modello linguistico da 405 miliardi di parametri, con i pesi scaricabili da chiunque, prestazioni dichiarate alla pari dei migliori sistemi chiusi del momento. Ma la parte che gli addetti ai lavori hanno letto e riletto non sono i pesi. È il rapporto tecnico che li accompagna: quasi cento pagine in cui il team descrive, passaggio dopo passaggio, come si addestra un modello di quella taglia. In un settore che negli ultimi anni ha smesso di raccontare come lavora, un documento così dettagliato è di per sé una notizia.

Perché un rapporto tecnico fa notizia

Fino a pochi anni fa un modello di frontiera arrivava con un articolo che ne spiegava l’architettura. Poi il vento è cambiato: i laboratori più grandi hanno cominciato a pubblicare schede di poche pagine, molte prestazioni e pochissimi dettagli su dati e addestramento. La motivazione dichiarata è la sicurezza; quella implicita, la concorrenza. In questo clima, The Llama 3 Herd of Models fa il contrario. Racconta le scelte di architettura, la composizione dei dati, l’infrastruttura, le procedure di allineamento — con il livello di dettaglio di chi si aspetta che altri proveranno a replicarlo.

La differenza pratica è enorme. Un ricercatore universitario, o un’azienda che non ha i mezzi per addestrare un modello da zero, da un documento così impara scelte che altrimenti costerebbero mesi di tentativi: quali dati funzionano, dove l’addestramento tende a rompersi, quali scorciatoie non pagano. È il motivo per cui, nei mesi successivi, buona parte della ricerca aperta ha usato questo rapporto come manuale di riferimento più che come annuncio di prodotto.

Il paper apre con una tesi netta: nello sviluppo di un modello di base contano tre leve — i dati, la scala e la gestione della complessità. Le prime due sono note. La terza è la parte interessante, ed è il filo che tiene insieme tutte le scelte del lavoro.

La scelta di restare semplici

Nel 2024 la moda tecnica è il mixture of experts: modelli enormi divisi in tanti «esperti», di cui a ogni token se ne attiva solo una frazione, così da avere molti parametri senza pagarli tutti a ogni passaggio. Meta va nella direzione opposta e sceglie un transformer denso, cioè un’architettura classica in cui tutti i parametri lavorano sempre. Non perché sia più efficiente, ma perché è più prevedibile: meno parti mobili, meno modi in cui un addestramento da milioni di ore-GPU può deragliare.

È la differenza tra un motore a iniezione elettronica pieno di sensori e un diesel di vecchia scuola. Il primo, sulla carta, rende di più; il secondo lo puoi far girare per un mese senza fermarti, ed è quello che conta quando l’officina è grande come un data center. La stessa logica guida il resto: attenzione a gruppi di query per risparmiare memoria, una finestra di contesto portata a 128 mila token, e per l’allineamento nessun barocchismo.

Dati e scala: il conto vero

Il modello di punta è pre-addestrato su circa 15,6 mila miliardi di token, un corpus multilingue filtrato con cura maniacale: gran parte del lavoro, ammette il team, è stato ripulire e bilanciare i dati, non progettare l’architettura. Per decidere quanto grande farlo e su quanti dati addestrarlo, Meta costruisce delle leggi di scala che provano a prevedere non solo la loss, ma direttamente il punteggio sui benchmark finali.

Sul fronte infrastrutturale i numeri danno la misura dell’impresa: l’addestramento del 405B gira fino a 16.384 GPU H100 in parallelo. A quella scala i guasti hardware non sono un rischio, sono la normalità quotidiana, e buona parte dell’ingegneria serve a far ripartire l’addestramento senza perdere giorni di calcolo a ogni scheda che muore.

La ricetta del paper: dallo stesso corpus e dallo stesso pre-training denso escono tre taglie di modello, tutte rifinite con lo stesso post-training a più tornate.

L’allineamento, senza fronzoli

Dopo il pre-training viene la fase che trasforma un modello «grezzo» in un assistente: il post-training. Qui molti laboratori usano il reinforcement learning con un modello di ricompensa addestrato ad hoc — potente ma capriccioso. Meta sceglie una via più sobria e ripetibile, applicata per più tornate: fine-tuning supervisionato su risposte curate, rejection sampling (il modello genera molte risposte, se ne tengono solo le migliori e ci si riaddestra sopra) e infine DPO, un metodo che allinea il modello alle preferenze umane senza dover addestrare e domare un secondo modello.

Non la tecnica più elegante sulla lavagna, ma quella che sopravvive a un’officina che gira ventiquattr’ore su ventiquattro. La semplicità, qui, è una scelta d’ingegneria, non una rinuncia.

Il rapporto descrive anche esperimenti per aggiungere vista e voce al modello con adattatori separati, agganciati al transformer testuale invece di riprogettarlo da capo. È come montare una fotocamera e un microfono su un cervello già formato, anziché ricrescerne uno nuovo con gli occhi: più economico, più veloce da iterare. È il pezzo più preliminare del lavoro, raccontato nel dettaglio ma non rilasciato con gli stessi pesi del modello testuale, e serve soprattutto a segnalare la direzione in cui la famiglia si sarebbe mossa.

Aperto, con un asterisco

Vale la pena essere precisi su una parola abusata. Llama 3 ha i pesi scaricabili e una licenza permissiva che consente l’uso commerciale, ma con condizioni — per esempio soglie sul numero di utenti oltre le quali serve un accordo con Meta. Non è quindi «open source» nel senso stretto della definizione OSI, che richiede libertà senza restrizioni d’uso. È più corretto chiamarlo open weights: i pesi sono lì, la ricetta è pubblica, ma il proprietario resta uno solo.

Perché ti riguarda

Se costruisci qualcosa con l’AI, il valore di questo paper non è il modello da 405 miliardi — troppo grande per la maggior parte delle tasche. È la conferma che una ricetta «noiosa» e ben documentata batte l’architettura più furba mal gestita, e che le versioni piccole della famiglia, la 8B e la 70B, sono nate dallo stesso processo e girano su hardware alla portata di un’azienda normale. Per chi legge dall’Italia c’è un dettaglio in più: l’italiano è tra le lingue ufficialmente supportate dai modelli istruiti. Ogni volta che nel 2026 usi un assistente aperto che parla la tua lingua, è probabile che dietro ci sia, per intero, questa ricetta.

Per approfondire

Il paper: Llama Team, Meta AI, The Llama 3 Herd of Models, luglio 2024 — arxiv.org/abs/2407.21783. I pesi delle tre taglie (8B, 70B, 405B) sono distribuiti da Meta con la Llama 3.1 Community License, scaricabili anche da Hugging Face.