Vi hanno mai fatto una domanda a bruciapelo e vi siete sentiti rispondere «allora… ecco… diciamo che…» mentre il cervello, dietro le quinte, cercava ancora la parola giusta? Quei riempitivi non escono a caso. Sono le parole più comuni della lingua, quelle che rischiamo di meno mentre prendiamo tempo. Solo un istante dopo arriva il termine che conta davvero: il nome, il verbo, il fatto preciso. Prima l’ipotesi sicura, poi la correzione.
Secondo un paper appena uscito, è più o meno così che ragiona un modello linguistico mentre il segnale sale attraverso i suoi livelli. How Do LLMs Use Their Depth?, firmato da Akshat Gupta, Jay Yeung e Gopala Anumanchipalli dell’Università di Berkeley con Anna Ivanova del Georgia Tech, propone una cornice interpretativa che gli autori chiamano Guess-then-Refine, indovina-poi-raffina. I primi livelli sparano una scommessa statistica; i livelli profondi la trasformano in qualcosa di sensato.
La domanda: la parola giusta nasce all’ultimo piano?
Un Transformer è una pila di livelli. Un token entra in basso, attraversa decine di trasformazioni e in cima esce la previsione della parola successiva. La domanda naturale, e finora senza una risposta precisa, è dove avvenga davvero il lavoro. Il modello decide la parola solo all’ultimo livello, oppure si fissa presto su un candidato e poi si limita a trascinarlo fino in fondo? La risposta non è un dettaglio da laboratorio. Riguarda l’interpretabilità — capire cosa succede dentro la scatola nera — e riguarda l’efficienza: se un modello ha già deciso a metà strada, si potrebbe spegnere la seconda metà e risparmiare calcolo.
Per leggere il pensiero intermedio della rete serve un traduttore. Lo strumento più noto è il logit lens: si prende la rappresentazione a un certo livello e la si proietta nello spazio delle parole con la stessa matrice usata in uscita, $\mathrm{LogitLens}(h_\ell) = W_U\,\mathrm{Norm}_f(h_\ell)$. È grezzo, perché i livelli intermedi vivono in spazi leggermente diversi da quello finale e la traduzione sbanda. Gli autori usano allora il TunedLens: per ogni livello si impara una piccola trasformazione affine che allinea meglio la rappresentazione intermedia allo spazio finale.
$$\mathrm{TunedLens}(h_\ell) = \mathrm{LogitLens}(A_\ell\, h_\ell + b_\ell)$$
I parametri $A_\ell$ e $b_\ell$ si addestrano minimizzando la divergenza di Kullback-Leibler tra la distribuzione che il modello produrrebbe alla fine e quella decodificata al livello $\ell$:
$$\arg\min_{A_\ell,\, b_\ell}\ \mathbb{E}\Big[\, D_{\mathrm{KL}}\big(f_\theta(h_\ell)\ \big\|\ \mathrm{TunedLens}(h_\ell)\big)\Big]$$
Con questa lente più fedele, tarata su quattro modelli a pesi aperti — GPT2-XL, Pythia-6.9B, Llama2-7B e Llama3-8B — si può guardare quale parola sarebbe in testa alla classifica a ogni livello, e seguirne il destino.
Nei primi livelli il modello tira a indovinare
La prima scoperta è netta. Gli autori dividono il vocabolario in quattro fasce di frequenza, misurate su Wikipedia in inglese: le 10 parole più comuni, le successive 90, le successive 900 e tutto il resto. Le 10 parole più frequenti da sole coprono circa un quarto di un testo. Ebbene: al primo livello di Pythia-6.9B, oltre il 75% delle parole in testa alla classifica appartiene proprio a quella manciata di dieci parole comunissime. Alla fine della rete la stessa fascia pesa solo per circa un terzo delle previsioni. In Llama3-8B si passa dal 57% al 30% circa.
Perché? Nei primi livelli il modello ha le mani legate. L’informazione contestuale non è ancora salita — servono più passaggi di attention per aggregare il senso della frase — e nemmeno la conoscenza fattuale è raggiungibile, perché quella risiede negli strati intermedi della rete. Senza contesto e senza fatti, la mossa razionale è tornare alla statistica pura. Se doveste indovinare la prossima parola di una frase che non avete letto, puntare su una delle parole più comuni è la scommessa che massimizza le probabilità con il minimo sforzo. Gli autori la chiamano Frequency-Conditioned Onset: la comparsa precoce di un token è governata dalla sua frequenza nel corpus, non dalla comprensione. È una scommessa, non una decisione.
Il modello propone presto una parola comune come ipotesi, poi la raffina man mano che il contesto sale. Le parole facili — funzione, punteggiatura — vincono presto; i nomi, i verbi e soprattutto l’inizio di un fatto lungo richiedono molta più profondità.
Poi arriva la correzione di massa
Che quelle proposte precoci siano scommesse e non decisioni lo dimostra il loro tasso di ripensamento. Gli autori misurano quante previsioni in testa a un livello intermedio vengono ribaltate entro il livello finale. Circa l’80% delle proposte fatte al primo livello con le parole più frequenti viene poi cambiato. Per le parole rare il ribaltamento sfiora il 100%: se al primo livello il modello punta su un token poco comune, quasi certamente cambierà idea. In generale, tra il 60 e l’80% delle ipotesi precoci viene sostituito, e persino le previsioni ad alta frequenza vengono raffinate più del 70% delle volte. Prevedere la parola giusta, scrivono gli autori, non è mai «una e via»: la stabilità cresce con la profondità, non prima.
Ogni compito ha la sua profondità
La parte più interessante è la seconda. Il modello non usa i suoi livelli in modo uniforme: dosa la profondità in base a quanto è difficile ciò che deve prevedere. Gli autori lo mostrano con tre casi.
Le categorie grammaticali. Seguendo quando la parola finale conquista il primo posto, le parole funzione — articoli, preposizioni — e la punteggiatura ci arrivano in media intorno al livello 5, sia in Pythia-6.9B sia in Llama3-8B. Le parole di contenuto — aggettivi, verbi, nomi — arrivano molto più tardi, vicino al livello 20. Le parole che portano poco significato si indovinano subito con la statistica; quelle che portano il senso della frase richiedono di aspettare che il contesto maturi.
Il richiamo dei fatti. Usando il dataset MQuAKE — domande del tipo «La Statua della Libertà si trova a…» con risposta «New York City» — e guardando solo i casi in cui il modello risponde correttamente, emerge un dettaglio elegante. In una risposta di più token, il primo token è il più costoso. Per un fatto di tre token in Pythia-6.9B il primo emerge in media intorno al livello 27, mentre il secondo e il terzo compaiono già intorno ai livelli 20 e 12. Imboccare la direzione giusta è la parte difficile; una volta scelta, il resto scivola fuori quasi da solo. Ed è un caso diverso dalla semplice frequenza, il che rafforza l’idea che sia la difficoltà, non solo la statistica, a governare la profondità.
Le domande a scelta chiusa. Su compiti come MMLU (risposte A, B, C, D) o l’analisi del sentiment (positivo/negativo), il modello procede in due tempi. Nella prima metà della rete raccoglie le opzioni valide e le porta in cima alla classifica; nella seconda metà ragiona tra quelle opzioni, spesso fino all’ultimo livello. Prima capisce il formato della risposta, poi sceglie. Nel farlo mostra anche pregiudizi curiosi: su MMLU oscilla, con una preferenza per la A a metà rete e per C e D alla fine; sul sentiment resta ancorato a «positivo» quasi fino in fondo. Questi difetti sono più marcati nei modelli piccoli e si attenuano con la dimensione.
Onestà sul metodo, e cosa resta fuori
Un’obiezione ovvia: se tutto passa dalla lente TunedLens, come sappiamo che la scommessa sulle parole frequenti è del modello e non un artefatto della lente? Gli autori la affrontano di petto. Confrontano la probabilità dei token frequenti livello per livello con quella del livello finale e la trovano comparabile; poi riaddestrano una lente riducendo di mille volte la frequenza di aggiornamento del token più comune, e quello continua a dominare le previsioni dei primi livelli. La preferenza per le parole frequenti è dunque nell’informazione contenuta nei primi livelli, non nello strumento di misura.
Resta comunque un lavoro descrittivo su quattro modelli a pesi aperti, il più grande dei quali ha 8 miliardi di parametri: nulla ci garantisce che i modelli di frontiera si comportino allo stesso modo. Lo studio dei fatti riguarda solo i casi in cui il modello risponde bene, e ogni conclusione poggia su una lente che, per quanto verificata, resta un’approssimazione della rappresentazione interna. Sono limiti che gli autori non nascondono.
Perché conta per chi vuole modelli più efficienti
La posta in gioco pratica sta in una tensione. Da anni si prova a rendere i modelli più economici tagliando livelli o uscendo in anticipo, l’early-exit, sull’idea che l’ultima parte della rete sia spesso superflua. Questo paper mostra il rischio di quella scorciatoia: se si esce mentre il raffinamento è ancora in corso, si consegna una scommessa statistica al posto della risposta corretta. In pratica si finisce per sovra-produrre parole comuni e sbagliare proprio dove il modello avrebbe corretto il tiro. L’early-exit non è gratis: entra in conflitto con la strategia naturale del modello.
Il quadro che ne esce è quello di reti che sono, di fatto, macchine a profondità variabile: indovinano presto con la statistica e integrano tardi con il contesto, spendendo livelli in proporzione alla difficoltà. Capirlo serve tanto a chi vuole aprire la scatola nera quanto a chi vorrebbe risparmiare calcolo senza rompere il meccanismo. La lezione, come spesso in interpretabilità, è di sobrietà: prima di spegnere metà rete perché «sembra ridondante», conviene sapere cosa quella metà stava ancora facendo.
Il paper
Akshat Gupta, Jay Yeung, Gopala Anumanchipalli, Anna Ivanova, How Do LLMs Use Their Depth?, preprint, ottobre 2025. Disponibile su arXiv: arxiv.org/abs/2510.18871. Codice: github.com/akshat57/how-do-llms-use-their-depth.
I commenti sono riservati agli iscritti.
Accedi per commentare