Gemini 1.5 (2024): milioni di token di contesto

Immaginate di poter consegnare a un assistente, in una volta sola, l’intero codice sorgente di un progetto, le tremila pagine di documentazione che lo accompagnano e la registrazione di un’ora di riunione in cui il team ne discute — e poi chiedergli: «in quale file abbiamo deciso di gestire i fusi orari, e perché?». Perché la domanda abbia senso, l’assistente deve aver letto tutto insieme, tenendolo presente contemporaneamente. Nel marzo 2024 il team Gemini di Google pubblica un rapporto tecnico il cui titolo è già il programma: Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context. La finestra di contesto — la quantità di testo, o di suono, o di immagini, che il modello può considerare in una singola richiesta — passa da centinaia di migliaia di token a milioni.

Cosa cambia con «milioni di token»

Un token è il mattoncino con cui i modelli linguistici misurano il testo: all’incirca tre quarti di parola in inglese, un po’ meno in italiano. La finestra di contesto è quante di queste tessere il modello può avere davanti tutte insieme. È un limite duro: ciò che non entra nella finestra, per il modello semplicemente non esiste. All’inizio del 2024 i modelli di punta si fermavano a 128.000 token (GPT-4 Turbo) o 200.000 (Claude 3). Gemini 1.5 Pro viene offerto in produzione con una finestra da un milione di token, e negli esperimenti del rapporto viene spinto fino ad almeno dieci milioni. Per dare la scala: dieci milioni di token sono circa sette milioni di parole, l’ordine di grandezza di un’intera enciclopedia.

Le finestre di contesto disegnate in scala reale: la barra di Gemini 1.5 nei suoi esperimenti (dieci milioni di token) è così lunga da rendere quasi invisibili i 128 mila di GPT-4 Turbo e i 200 mila di Claude 3. Non è un miglioramento incrementale, è un cambio di ordine di grandezza.

L’ago nel pagliaio

Avere una finestra enorme serve a poco se il modello, sepolto sotto milioni di token, perde il filo. La prova classica si chiama needle in a haystack, l’ago nel pagliaio: si nasconde una frase specifica — l’ago — in un punto qualsiasi di un testo lunghissimo — il pagliaio — e si chiede al modello di ritrovarla. È un test spietato, perché basta che il modello «dimentichi» la zona centrale del contesto per fallire, ed è noto che molti modelli soffrono proprio nel mezzo delle sequenze lunghe. Il rapporto riporta che Gemini 1.5 mantiene un recupero quasi perfetto anche quando l’ago è nascosto in mezzo a milioni di token. Non «abbastanza buono»: vicino al cento per cento, per l’intera lunghezza della finestra.

Non è un miglioramento incrementale della finestra di contesto: è un cambio di ordine di grandezza, e con esso cambia cosa si può chiedere a un modello in una sola volta.

Non solo testo

Il dettaglio che il titolo mette in prima fila è multimodal. Quei milioni di token non devono essere parole: possono essere le tessere in cui il modello scompone anche l’audio e il video. Il rapporto porta il recupero quasi perfetto fino a circa 107 ore di audio e fino a 10,5 ore di video dentro una singola finestra. È la differenza tra chiedere a qualcuno «hai letto quel documento?» e chiedergli «hai seguito l’intero convegno di tre giorni, e sai dirmi in quale intervento è stata citata quella cifra?». Un modello che tiene ore di video nel suo campo visivo non «guarda un fotogramma alla volta»: ha davanti l’intera registrazione come un lettore ha davanti un libro aperto a tutte le pagine insieme.

Imparare una lingua da un libro

L’esperimento più suggestivo del rapporto non riguarda la quantità ma un uso inatteso della quantità. Esiste una lingua, il kalamang, parlata in Papua da meno di duecento persone e quasi assente da internet: un modello non può averla «vista» in addestramento, perché testi in kalamang online praticamente non esistono. I ricercatori infilano nella finestra di contesto un intero manuale di grammatica e un dizionario della lingua, e poi chiedono al modello di tradurre. Gemini 1.5 traduce da e verso il kalamang a un livello paragonabile a quello di una persona che avesse studiato dagli stessi materiali. Non ha «imparato» la lingua nel senso dell’addestramento: l’ha imparata leggendo il libro sul momento, dentro la richiesta. È la dimostrazione più netta di cosa cambia quando la finestra diventa grande abbastanza da contenere non un documento, ma un corpo di conoscenza.

Come ci riescono, e cosa costa

Il rapporto attribuisce l’efficienza dell’architettura a una scelta di fondo: Gemini 1.5 Pro è un modello a miscela di esperti (mixture-of-experts), in cui per ogni token si attiva solo una porzione della rete anziché l’intera. È come una redazione in cui, per ogni articolo, non scrive tutto il giornale ma solo i due o tre giornalisti competenti su quel tema: la testata è enorme, il lavoro per pezzo resta contenuto. Grazie a questa struttura il modello, dice il team, eguaglia o supera il precedente Gemini 1.0 Ultra su un’ampia gamma di prove, usando meno calcolo per l’addestramento. Il rapporto affianca anche una variante più leggera, Gemini 1.5 Flash, pensata per la velocità con un calo minimo di qualità.

Onestà d’obbligo su ciò che questi numeri non dicono. Ritrovare un ago nel pagliaio è un compito di recupero: dimostra che l’informazione non va persa, non che il modello ragioni con la stessa lucidità su dieci milioni di token come ne farebbe su mille. Riempire una finestra da un milione di token, poi, ha un costo reale in denaro e in tempo di risposta: ogni token in ingresso si paga e allunga l’attesa, e per molti compiti restano più efficienti approcci selettivi che recuperano solo i frammenti pertinenti. La finestra gigante non rende obsoleto tutto ciò che la precede: aggiunge un’opzione, potente dove serve davvero l’intero corpus sotto gli occhi.

Perché ti riguarda

Se progetti sistemi con gli LLM, il contesto da milioni di token cambia il calcolo su una decisione ricorrente: quanto ingegnerizzare il recupero. Per anni la risposta obbligata a «il mio documento non entra nel prompt» è stata spezzettarlo, indicizzarlo e ripescare solo i frammenti rilevanti — l’impalcatura che chiamiamo RAG. Con una finestra abbastanza capiente, per certi casi quell’impalcatura si può accantonare: dai al modello tutto il materiale e lascia che sia lui a trovare ciò che conta. Non è la fine del recupero selettivo, che resta più economico su scala industriale; è la fine dell’idea che sempre serva. La lezione più duratura di Gemini 1.5 è che una dimensione che pareva un vincolo tecnico secondario — quanto un modello può leggere in una volta — è in realtà una leva di progetto: spostandola di un paio di ordini di grandezza, cambiano le domande che ha senso porre.

Il paper originale

Gemini Team, Google, Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context, 2024 — arXiv:2403.05530.