A fine dicembre 2024, mentre gran parte del settore era in pausa per le feste, DeepSeek rilascia i pesi di un modello linguistico enorme e un rapporto tecnico che contiene una cifra destinata a circolare per mesi: l’addestramento è costato circa 2,79 milioni di ore di GPU, che agli autori si traducono in poco meno di sei milioni di dollari. Per un modello ai vertici delle classifiche, una frazione di quanto si presumeva servisse. Il modello si chiama DeepSeek-V3, ed è la base su cui pochi mesi dopo nascerà DeepSeek-R1, quello che avrebbe fatto tremare i listini di borsa. Ma la storia interessante è come si arriva a quel numero: non con una scorciatoia, con una catena di scelte.
Grande, ma sparso
Il primo dato è il più contro-intuitivo. DeepSeek-V3 ha 671 miliardi di parametri, ma per elaborare ogni singolo token ne usa solo 37 miliardi. Il resto resta spento. È un’architettura Mixture-of-Experts (MoE): invece di un unico blocco monolitico che si accende tutto per ogni parola, il modello è composto da centinaia di piccoli «esperti» specializzati, e un componente chiamato router decide, token per token, a quali pochi passare la palla.
L’analogia è un grande ospedale universitario. Ci lavorano centinaia di specialisti, ma un singolo paziente non li vede tutti: viene indirizzato ai due o tre pertinenti al suo caso. Il costo di ogni visita dipende da chi la fa, non da quanti medici esistono nell’edificio. Allo stesso modo, la spesa di calcolo di DeepSeek-V3 per token dipende dai 37 miliardi di parametri attivi, non dai 671 totali. In concreto, per ogni token il router seleziona 8 esperti su 256 disponibili, più un esperto «condiviso» che resta sempre acceso — il medico generico presente a ogni visita, che gestisce ciò che è comune a tutti i casi.
Il vantaggio non si esaurisce nell’addestramento. La stessa sparsità rende più economico anche l’uso quotidiano del modello: quando risponde a una domanda, mette al lavoro solo la frazione di parametri che serve, non l’intera macchina. È la differenza tra pagare lo stipendio dell’ospedale intero per ogni paziente e pagare soltanto gli specialisti effettivamente coinvolti. Per chi deve servire milioni di richieste, questo si traduce in un costo per risposta molto più basso di quanto suggerirebbe la stazza complessiva del modello.
I trucchi che fanno la differenza
La MoE da sola non basta a spiegare il conto. Il rapporto tecnico è soprattutto un catalogo di ottimizzazioni, e vale la pena tradurne le principali.
- Attenzione a memoria compressa (MLA): durante la generazione, un modello deve conservare in memoria un riassunto di tutto ciò che ha già letto (la KV cache). DeepSeek la comprime in una forma latente più piccola, come prendere appunti in stenografia invece di trascrivere parola per parola: meno memoria occupata, più contesto gestibile.
- Bilanciamento senza penalità: in una MoE il rischio è che il router mandi sempre il lavoro agli stessi esperti, lasciandone altri inutilizzati. La soluzione classica aggiunge una penalità che però danneggia la qualità. DeepSeek introduce invece una piccola spinta regolabile — un bias — che indirizza il traffico verso gli esperti più scarichi, come un supermercato che invita gentilmente i clienti alle casse vuote senza rallentare la spesa di nessuno.
- Predizione di più token (MTP): durante l’addestramento il modello non impara solo a indovinare la parola successiva, ma anche quella dopo. È come un dattilografo esperto che legge un po’ più avanti nel testo: un segnale di apprendimento più ricco a parità di dati.
- Precisione a 8 bit (FP8): la maggior parte dei calcoli di addestramento viene fatta con numeri a bassa precisione, tenendo la precisione piena solo dove serve. È misurare con un righello a tacche più larghe dove l’approssimazione non fa danni, riservando lo strumento fine ai punti critici. Addestrare un modello di questa scala in FP8 è una delle scelte più ambiziose del lavoro.
Il cuore dell’architettura: il router accende solo una manciata di esperti per ogni token, più uno condiviso sempre presente. È così che un modello da 671 miliardi di parametri ne fa lavorare soltanto 37 alla volta.
Il conto, raccontato con onestà
Messe insieme, queste scelte spiegano la cifra. Meno parametri attivi per token abbassa il costo di ogni passo di calcolo; l’attenzione compressa riduce la memoria; FP8 dimezza il peso dei numeri; e un’ingegneria di sistema accurata — inclusa una tecnica, chiamata DualPipe, per far sì che le GPU calcolino mentre si scambiano dati anziché aspettarsi a vicenda — tiene le schede occupate quasi sempre. Il tutto su hardware H800, la versione depotenziata delle GPU di fascia alta destinata al mercato cinese per via delle restrizioni all’export. Il modello viene addestrato su circa 14,8 trilioni di token.
Va detto con la stessa chiarezza con cui lo dicono, in parte, gli autori: quei sei milioni di dollari sono il costo della singola tornata di addestramento finale. Non includono la ricerca precedente, i tentativi falliti, la costruzione dei dati, gli esperimenti su scala ridotta. È un numero vero ma parziale, e chi lo cita come «il costo del modello» tout court sta semplificando. Resta comunque un risultato notevole: dimostra che l’efficienza, e non solo la potenza di fuoco, è una leva concreta.
Perché conta per chi legge
Per chi usa o sceglie questi strumenti, DeepSeek-V3 ha spostato due convinzioni. La prima: che stare al livello dei migliori modelli chiusi — sui benchmark, il rapporto lo colloca in competizione con i sistemi di punta del momento — richieda necessariamente budget da centinaia di milioni. La seconda: che i pesi aperti siano condannati a inseguire. Un modello scaricabile, ispezionabile e ottimizzabile da chiunque, arrivato in cima alle classifiche, cambia il calcolo di chi valuta se costruire su un fornitore chiuso o su un modello che può tenere in casa. E poiché V3 è la fondazione su cui è cresciuto R1, capire questo rapporto tecnico è capire da dove viene una delle famiglie di modelli più discusse degli ultimi due anni.
Per approfondire
Il rapporto tecnico: DeepSeek-AI, DeepSeek-V3 Technical Report, dicembre 2024 — arxiv.org/abs/2412.19437. I pesi del modello sono disponibili su Hugging Face con licenza aperta. Le tecniche dell’attenzione compressa (MLA) e degli esperti fini erano già state introdotte nel rapporto precedente, DeepSeek-V2 (2024).
I commenti sono riservati agli iscritti.
Accedi per commentare