Una bolletta telefonica dettagliata è un documento onesto e reticente insieme. Elenca chi ha chiamato chi, a che ora, per quanti minuti. Di quella conversazione, però, non riporta una sola parola. Sapere che due numeri si sono parlati a lungo non dice se stavano organizzando una cena o litigando per un’eredità. Per anni le mappe di attenzione dei Vision Transformer sono state lette come una bolletta di questo tipo: mostrano quale porzione dell’immagine «guarda» quale altra, e con quanta intensità. Ma non dicono nulla del contenuto dello scambio. Un paper di gennaio 2026, firmato da un gruppo dell’Università di Harvard, prova a fare l’operazione che al telefono sarebbe illegale: aprire la conversazione e ascoltare cosa si dicono davvero i token.
Il limite della bolletta
I Vision Transformer sono ormai lo strumento di lavoro della visione artificiale: alimentano sistemi di riconoscimento usati in ambito medico e in altri contesti dove un errore costa caro, e fanno da spina dorsale ai grandi modelli generativi. Capire come funzionano dentro non è un vezzo accademico, è una questione di fiducia. Il cuore di queste reti è la self-attention, il meccanismo con cui ogni pezzetto di immagine — ogni token — decide da quali altri pezzetti farsi influenzare. La mappa di attenzione registra dove si concentra il peso, cioè quali token si scambiano informazione. Non registra che tipo di informazione: le due patch si sono agganciate perché rappresentano la stessa cosa (contenuto) o semplicemente perché stanno una accanto all’altra (posizione)?
La distinzione non è pedante. Da tempo una parte della comunità è scettica sul fatto che le mappe di attenzione siano davvero una spiegazione, proprio perché mostrano la superficie dell’interazione e non la sua ragione. Gli autori propongono un metodo, la Bi-orthogonal Factor Decomposition (BFD, «decomposizione bi-ortogonale in fattori»), per rispondere a una domanda precisa: quando due token comunicano attraverso l’attenzione, si stanno scambiando contenuto, posizione, o un misto dei due?
Due tagli sullo stesso segnale
Il metodo procede in due tempi. Il primo taglio è sulle attivazioni, cioè sui vettori che rappresentano i token dentro la rete. Ogni attivazione viene scomposta in tre pezzi ortogonali con una tecnica presa in prestito dalla statistica classica, l’analisi della varianza (ANOVA): una media globale (l’effetto «layer»), un termine di posizione e un residuo di contenuto.
$$f_\ell(x) = \mu_\ell + \mu_p + \mu_c(x)$$
Qui $\mu_\ell$ è la media su tutte le immagini e tutte le posizioni, $\mu_p$ è quanto una certa posizione devia da quella media a prescindere da cosa ci sia, e $\mu_c(x)$ è ciò che resta: l’informazione specifica di quella patch in quell’immagine. L’analogia è quella dei metadati di una foto: la geolocalizzazione impressa nel file è il termine di posizione, il paesaggio ritratto è il contenuto. BFD li stacca l’uno dall’altro, e per costruzione il residuo di contenuto risulta statisticamente ortogonale sia alla media sia alla posizione — cioè «pulito» da ogni traccia posizionale.
Il secondo taglio è sull’attenzione. L’interazione tra query e key passa da una matrice $W = W_Q W_K^\top$, e le due si combinano nella forma bilineare $A W A^\top$. Applicando la decomposizione ai valori singolari (SVD) a questa matrice, $W = U\Sigma V$, si ottengono i modi bi-ortogonali: terne $(u_i, \sigma_i, v_i)$ in cui $u_i$ vive nello spazio delle query, $v_i$ in quello delle key, e $\sigma_i$ misura quanto forte è il loro accoppiamento. La proprietà chiave è nel nome: la bi-ortogonalità garantisce che ogni modo sia un canale indipendente. Una query allineata con $u_i$ comunica soltanto con una key allineata con $v_i$, e con nessun’altra. Sono linee telefoniche private, che non si interferiscono. L’interazione completa si ricostruisce sommando i canali, senza perdere nulla:
$$QK^\top = A W A^\top = \sum_{i=1}^{d} z_i^{Q}\,\sigma_i\,(z_i^{K})^\top$$
A questo punto le due decomposizioni si incastrano. Per ogni canale ci si chiede: la query, su questa linea, sta leggendo posizione o contenuto? E la key? Le combinazioni possibili sono tre, e sono il vero risultato interpretativo del metodo.
I tre regimi che BFD sa distinguere. Un canale contenuto-contenuto è uno scambio puramente semantico (una parte dell’oggetto che parla con un’altra parte). Un canale posizione-contenuto lega il «dove» al «cosa». Un canale posizione-posizione è pura geometria: flussi sinistra-destra, alto-basso, trame regolari.
Cosa hanno trovato
Gli autori applicano BFD a due modelli deliberatamente diversi: un ViT-B/16 addestrato in modo supervisionato (dalla libreria timm) e un DINOv2-B/14 con registri, addestrato in modo auto-supervisionato. Stessa taglia — dodici blocchi ciascuno — ma il primo lavora su 196 patch, il secondo su 256, più il token di classe. L’analisi copre tutti e dodici i livelli su 5.000 immagini prese dal set di validazione di ImageNet.
Prima di interrogare l’attenzione, un controllo di sanità: la separazione funziona davvero? Sì. Una sonda lineare addestrata a leggere le coordinate spaziali dal residuo di contenuto va a caso, come tirare a indovinare — segno che il contenuto è stato ripulito da ogni traccia di posizione. Dalle attivazioni grezze, invece, la posizione si legge quasi perfetta nei primi livelli e poi si degrada, fino a stabilizzarsi intorno al 20% di accuratezza in profondità in entrambi i modelli. Con una differenza netta: DINOv2 tiene la posizione leggibile molto più a lungo, per tutti i livelli intermedi.
Sul contenuto della conversazione emergono tre fatti. Il primo: l’attenzione lavora soprattutto per contenuto. In entrambi i modelli la maggior parte dell’energia degli scambi passa per interazioni contenuto-contenuto, seguite dall’accoppiamento contenuto-posizione. Tradotto: l’integrazione contestuale che i modelli fanno nei livelli profondi è genuina computazione semantica, non un riflesso della griglia spaziale. È una risposta a un sospetto vecchio — che l’attenzione «profonda» fosse in gran parte geometria travestita.
Il secondo: le teste si specializzano. Rappresentando ogni modo su un diagramma ternario — un triangolo i cui vertici sono «posizione», «contenuto» e «media globale» — i punti non si spargono a caso ma si addensano vicino ai vertici. Le teste dell’attenzione, e i singoli modi dentro ciascuna testa, si dividono in operatori puri: chi fa scambio semantico, chi traccia relazioni spaziali, chi integra le due cose. Poiché la divisione compare in entrambi i modelli, sembra una proprietà emergente della multi-head attention, non un artefatto di un particolare addestramento. È una buona notizia per chi fa interpretabilità: analizzare una testa alla volta ha senso, perché le teste sono davvero mattoni distinti.
Il terzo fatto è il più suggestivo e riguarda perché DINOv2 «vede la forma» meglio dei modelli supervisionati. La risposta degli autori è la doppia preservazione. Guardando la geometria del solo fattore di posizione, DINOv2 mantiene la topologia della griglia 2D lungo tutta la rete: i token restano organizzati come un foglio piano anche in profondità. Il ViT supervisionato, invece, collassa quella struttura in qualcosa di quasi unidimensionale già intorno al quinto livello, schiacciando i token lungo un solo asse. Nel frattempo il contenuto: in DINOv2 le rappresentazioni semantiche si trasformano con costanza livello dopo livello — un «occhio» viene messo in relazione con il volto a cui appartiene — mentre nel ViT il contenuto si limita a un raffinamento locale, un occhio reso un po’ più nitido ma non ricollocato nel contesto. Mantenere ferma l’impalcatura spaziale e insieme arricchire il significato: è questo, secondo gli autori, il motivo geometrico della lavorazione olistica della forma.
Le mappe di attenzione dicono quanto due token si parlano. La domanda vera è di cosa parlano.
Cosa il metodo non dimostra
Vale la pena tenere i piedi per terra su cosa BFD è e non è. È una lente descrittiva: scompone e misura ciò che accade, ma non interviene. Non spegne un canale contenuto-posizione per verificare che, tolto quello, DINOv2 perda la capacità di vedere la forma. Il legame tra doppia preservazione e lavorazione olistica resta una spiegazione geometrica ben argomentata, non una prova causale. Inoltre lo studio poggia su due soli modelli, entrambi di taglia «base»: nulla garantisce che le stesse proporzioni tra contenuto e posizione reggano su architetture molto più grandi o addestrate diversamente. Infine il metodo assume che la posizione entri nel modello in modo additivo e resti linearmente recuperabile — un’ipotesi ragionevole per come sono costruiti questi Transformer, ma pur sempre un’ipotesi. Gli stessi autori indicano come sviluppo futuro fattorizzazioni più fini, condizionate ad esempio sulle singole immagini o sulle classi semantiche.
Perché conta
Il valore di questo lavoro è meno nel singolo risultato che nello spostamento della domanda. Per anni interpretare l’attenzione ha voluto dire chiedersi dove guarda un modello. BFD chiede cosa si dicono i suoi token, e fornisce un’unità di misura — l’energia che passa per ciascun tipo di canale — al posto di un’immagine sfumata da interpretare a occhio. Per i modelli di visione che finiscono in diagnostica o in sistemi decisionali, la differenza tra «queste regioni si guardano» e «queste regioni si scambiano contenuto semantico, non solo vicinanza» è esattamente ciò che serve per fidarsi, o per non fidarsi, di una spiegazione. È il passaggio dalla bolletta all’ascolto della telefonata. Con l’avvertenza, sempre valida, che ascoltare cosa si dicono i token non è ancora capire perché lo dicono.
Il paper
Fenil R. Doshi, Thomas Fel, Talia Konkle, George A. Alvarez, Bi-Orthogonal Factor Decomposition for Vision Transformers, Harvard University (Kempner Institute e Department of Psychology), gennaio 2026. Disponibile su arXiv: arxiv.org/abs/2601.05328.
I commenti sono riservati agli iscritti.
Accedi per commentare