Su certe automobili di qualche anno fa due spie del cruscotto si accendevano sempre nello stesso istante. Il meccanico distratto ne deduceva un guasto solo e cercava un unico colpevole. Quello bravo, invece, apriva lo schema elettrico e scopriva che le due spie appartenevano a circuiti diversi: condividevano soltanto un fusibile. Sfilato quel fusibile e alimentati i due circuiti separatamente, ciascuna spia poteva accendersi per conto suo. La coincidenza non era un guasto: era un artefatto del cablaggio.
Dentro i grandi modelli linguistici esistono due anomalie che si comportano esattamente così. La prima si chiama attivazione massiva: in un paio di canali interni, e quasi sempre sulla prima parola o su un segno di punteggiatura, compaiono numeri enormemente più grandi di tutti gli altri — non di poco, ma di diversi ordini di grandezza. La seconda si chiama attention sink, «pozzo di attenzione»: alcune parole — di nuovo, tipicamente la prima — attirano su di sé una quota spropositata dell’attenzione del modello, senza alcun rapporto con il significato della frase. Le due anomalie compaiono quasi sempre insieme, spesso sugli stessi token. Per anni la letteratura le ha trattate come due facce dello stesso fenomeno. Un lavoro di quattro ricercatori della New York University — tra gli autori c’è Yann LeCun — sostiene che è un errore: sono due cose distinte, con funzioni diverse, e la loro coincidenza è il fusibile condiviso, non il guasto.
Perché due bizzarrie interne dovrebbero interessarci
La domanda legittima è: se il modello funziona, che importa se qualche numero interno è fuori scala? Importa, e per ragioni concrete. Le attivazioni massive sono il nemico numero uno della quantizzazione, la tecnica con cui si comprimono i modelli usando numeri a bassa precisione: un valore che vale migliaia in mezzo a valori che valgono uno rovina la scala e degrada la compressione. Gli attention sink complicano invece la gestione della cache e l’elaborazione di contesti lunghi, perché «sprecano» attenzione su token privi di contenuto. Capire se sono uno o due, e da dove vengono, decide quali interventi si possono fare senza rompere il resto.
La tesi del paper è netta. La compresenza dei due fenomeni non è una proprietà intrinseca dei Transformer, ma la conseguenza prevedibile di una precisa scelta architetturale — la configurazione pre-norm, cioè la normalizzazione applicata prima di ogni blocco. Le attivazioni massive lavorano su scala globale: producono rappresentazioni quasi costanti che attraversano tutti i livelli, comportandosi di fatto come parametri impliciti del modello. Gli attention sink lavorano su scala locale: regolano l’output dell’attenzione testa per testa, spingendo alcune teste a occuparsi solo delle parole vicine. Funzioni diverse, che il cablaggio standard fa nascere insieme.
La vita di un picco: nasce, resiste, muore
Il primo fenomeno ha una biografia sorprendentemente ordinata. Se si misura, livello per livello, la grandezza dei canali più estremi, il profilo è sempre lo stesso: una salita ripida all’inizio della rete, un lungo altopiano attraverso i livelli intermedi, una caduta brusca verso la fine. Gli autori la chiamano traiettoria «rise–plateau–fall». Dietro c’è un ciclo di vita in tre atti. Uno o due blocchi iniziali — i step-up block — iniettano i valori estremi; i blocchi intermedi si limitano a trascinarli avanti; uno o pochi blocchi finali — gli step-down block — li cancellano sommando un valore uguale e di segno opposto. In Llama 2 7B, che ha 64 blocchi, l’iniezione avviene al blocco 4 e la cancellazione al blocco 62.
Perché il picco, una volta iniettato, sopravvive per decine di livelli? Perché il flusso residuale di un Transformer pre-norm è additivo. Srotolando la ricorrenza, la rappresentazione a profondità $i$ è la somma di tutti i contributi precedenti:
$$H_{i+1} = H_1 + \sum_{j=1}^{i} F_j\!\big(\mathrm{RMSNorm}(H_j)\big)$$
Un valore estremo introdotto da un blocco resta nel totale finché qualcosa non lo sottrae esplicitamente, e i contributi dei blocchi intermedi sono due o tre ordini di grandezza più piccoli del picco: non bastano a scalfirlo. Da qui la prima delle cinque proprietà note delle attivazioni massive — compaiono solo nei livelli intermedi — spiegata non come un mistero emergente ma come conseguenza meccanica di dove si trovano i blocchi che iniettano e quelli che cancellano.
Chi produce materialmente il picco? Il blocco feed-forward, e in particolare la sua funzione di attivazione SwiGLU, che gli autori descrivono come un amplificatore quadratico direzionale. In regime di picco la nonlinearità si comporta quasi come l’identità e il blocco si riduce a una forma quadratica dominata da un solo autovalore: esiste cioè una direzione privilegiata $s_\star$ tale che, quando l’input le si allinea, l’uscita esplode come il quadrato di quella proiezione:
$$F_{\text{ffn}}(\tilde{h})_k \approx \lambda_\star\,\big(s_\star^{\top}\tilde{h}\big)^2$$
Restano da spiegare le vittime. Perché quasi sempre la prima parola e i delimitatori? Perché il primo token, non avendo nulla prima di sé, può attendere solo a se stesso: il blocco di attenzione si riduce per lui a una trasformazione lineare fissa, identica per ogni prompt, che lo spinge sistematicamente proprio verso la direzione $s_\star$. Un test su tutto il vocabolario lo conferma: in prima posizione oltre il 98% dei token genera un’attivazione massiva (il 99,65% in Llama 2 7B), mentre quasi nessuno lo fa altrove. Non è una questione di significato, ma di posizione.
Come un picco diventa un pozzo
Qui entra in scena la normalizzazione, e con lei il ponte tra i due fenomeni. La RMSNorm che precede ogni blocco prende la rappresentazione del token-picco — un vettore con un paio di coordinate gigantesche e il resto minuscolo — e la comprime in un intervallo controllato:
$$|\tilde{h}_i| \le \sqrt{d_{\text{model}}}$$
Il risultato ha tre proprietà decisive. È limitato (i numeri enormi diventano moderati e numericamente stabili), è sparso (le poche coordinate estreme dominano la norma e schiacciano tutte le altre) ed è quasi costante: token-picco diversi, dopo la normalizzazione, collassano quasi sullo stesso vettore, con similarità coseno vicine a 1. In altre parole, la prima parola di qualunque frase, vista dall’interno del modello dopo la normalizzazione, è sempre lo stesso vettore fisso.
Ed è esattamente ciò che serve per costruire un attention sink. Se la «chiave» del token-sink vive in un sottospazio minuscolo — spesso una o due dimensioni — e non cambia mai da un prompt all’altro, alcune teste imparano ad agganciarsi a quella posizione stabile come a un punto di riferimento fisso. Non perché quella parola dica qualcosa, ma perché è comoda: è un posto sempre disponibile dove scaricare l’attenzione in eccesso. Il token-picco, ormai svuotato di significato dalla normalizzazione, diventa una «discarica» verso cui certe teste dirottano peso quando non hanno bisogno di guardare lontano. Il picco globale ha generato il pozzo locale.
La prova del nove: staccare la spina
Fin qui è un racconto meccanicistico. La parte che lo rende convincente è sperimentale: gli autori addestrano da zero un modello in stile Llama da 7 miliardi di parametri sul dataset DCLM, con un budget di 100 miliardi di token, e poi manomettono un pezzo alla volta per vedere cosa succede. Come metro usano la perplexity (la qualità linguistica), il sink ratio (quanto sono intensi i pozzi) e la grandezza massima delle attivazioni. Nella configurazione base: perplexity intorno a 10,1, sink ratio 46%, picco massimo circa 3818.
Il colpo decisivo è sulla normalizzazione. Sostituendo la pre-norm standard con la sandwich normalization, che aggiunge una normalizzazione anche in uscita dal blocco, il picco crolla da 3818 a 520 — ma il sink ratio resta al 44,7%, praticamente identico. Con la variante QKNorm il picco scende addirittura a 92, e i pozzi restano. Persino DynamicTanh, una normalizzazione elemento per elemento incapace di creare vettori sparsi, azzera i picchi (153) e anzi lascia il sink ratio più alto del normale (61%). La conclusione è pulita: si può spegnere una spia lasciando accesa l’altra. E si può farlo, sottolinea il paper, senza degradare la qualità linguistica: la perplexity resta intorno a 10 in tutti i casi.
Con una normalizzazione diversa le attivazioni massive quasi spariscono, mentre l’attention sink sulla prima parola resta pressoché invariato. È la prova che le due anomalie non sono lo stesso fenomeno.
Le altre manipolazioni agiscono in modo asimmetrico sui due fenomeni. Il tipo di blocco feed-forward (SwiGLU, GeLU, lineare, sola attenzione) cambia l’intensità dei picchi ma non è indispensabile a nessuno dei due. La dimensione delle teste di attenzione, invece, governa i pozzi: passando da teste di dimensione 8 a teste di dimensione 128, il sink ratio sale in modo monotono dal 4,1% al 46%. E la lunghezza dei contesti in addestramento è ancora più rivelatrice: allenando il modello soltanto su sequenze lunghe, il sink ratio crolla dal 46% a poco più dell’1%. Gli attention sink, insomma, servono soprattutto a gestire le dipendenze a corto raggio dentro un’attenzione globale: scaricando peso sulla prima parola, il modello impara a ignorare a buon mercato ciò che è lontano e non serve. Un ultimo esperimento chiude il cerchio: fornendo alle teste una «porta» dinamica esplicita (gated attention condizionata sulla rappresentazione corrente), i pozzi spariscono, perché il primo token non serve più a fare da surrogato di quella porta.
Cosa il paper non pretende di aver chiuso
Vale la pena leggerlo con la sobrietà con cui è scritto. Le analisi vivono quasi interamente sulle famiglie Llama e Qwen, modelli decoder-only con configurazione pre-norm: nulla garantisce che le stesse dinamiche valgano per architetture diverse, ed è proprio la pre-norm a essere sotto accusa. Il modello addestrato da zero per gli esperimenti causali usa 100 miliardi di token, molti meno di un modello di produzione: riproduce i fenomeni, ma resta un banco di prova, non un modello di frontiera. Alcuni passaggi chiave — l’allineamento geometrico che crea i pozzi — restano ipotesi corroborate dai dati, non dimostrazioni. E il sink ratio è dichiarato un indicatore solo approssimato della «salute» dell’ottimizzazione. È un preprint del marzo 2026, non l’ultima parola.
Perché conta
Il valore di questo lavoro sta meno nelle singole formule e più in un’operazione di igiene concettuale. Due comportamenti bizzarri dei modelli linguistici erano stati osservati, catalogati, spesso confusi in uno solo e persino sospettati di essere una necessità funzionale — qualcosa senza cui il modello non saprebbe pensare. Il paper li smonta: sono effetti collaterali separabili di scelte di progetto ben precise, la normalizzazione da un lato, la dimensione delle teste e i contesti brevi dall’altro. Distinguere ciò che è necessario da ciò che è incidentale è il mestiere dell’interpretabilità, ed è ciò che rende un modello più controllabile: se un fenomeno è un artefatto, lo si può rimuovere quando dà fastidio — nella quantizzazione, nel pruning, sui testi lunghi — senza temere di aver tolto un ingranaggio vitale. È un promemoria utile ogni volta che una stranezza emergente viene scambiata per magia: spesso, dietro, c’è solo un fusibile condiviso.
Il paper
Shangwen Sun, Alfredo Canziani, Yann LeCun, Jiachen Zhu, The Spike, the Sparse and the Sink: Anatomy of Massive Activations and Attention Sinks, New York University, preprint marzo 2026. Disponibile su arXiv: arxiv.org/abs/2603.05498.
I commenti sono riservati agli iscritti.
Accedi per commentare