Una bolletta telefonica dettagliata è un documento onesto e reticente insieme. Elenca chi ha chiamato chi, a che ora, per quanti minuti. Di quella conversazione, però, non riporta una sola parola. Sapere che due numeri si sono parlati a lungo non dice se stavano organizzando una cena o litigando per un’eredità. Per anni le mappe di attenzione dei Vision Transformer sono state lette come una bolletta di questo tipo: mostrano quale porzione dell’immagine «guarda» quale altra, e con quanta intensità. Ma non dicono nulla del contenuto dello scambio. Un paper di gennaio 2026, firmato da un gruppo dell’Università di Harvard, prova a fare l’operazione che al telefono sarebbe illegale: aprire la conversazione e ascoltare cosa si dicono davvero i token.
Il limite della bolletta
I Vision Transformer sono ormai lo strumento di lavoro della visione artificiale: alimentano sistemi di riconoscimento usati in ambito medico e in altri contesti dove un errore costa caro, e fanno da spina dorsale ai grandi modelli generativi. Capire come funzionano dentro non è un vezzo accademico, è una questione di fiducia. Il cuore di queste reti è la self-attention, il meccanismo con cui ogni pezzetto di immagine (ogni token) decide da quali altri pezzetti farsi influenzare. La mappa di attenzione registra dove si concentra il peso, cioè quali token si scambiano informazione. Non registra che tipo di informazione: le due patch si sono agganciate perché rappresentano la stessa cosa (contenuto) o semplicemente perché stanno una accanto all’altra (posizione)?
La distinzione non è pedante. Da tempo una parte della comunità è scettica sul fatto che le mappe di attenzione siano davvero una spiegazione, proprio perché mostrano la superficie dell’interazione e non la sua ragione. Gli autori propongono un metodo, la Bi-orthogonal Factor Decomposition (BFD, «decomposizione bi-ortogonale in fattori»), per rispondere a una domanda precisa: quando due token comunicano attraverso l’attenzione, si stanno scambiando contenuto, posizione, o un misto dei due?
Due tagli sullo stesso segnale
Il metodo procede in due tempi. Il primo taglio è sulle attivazioni, cioè sui vettori che rappresentano i token dentro la rete. Ogni attivazione viene scomposta in tre pezzi ortogonali con una tecnica presa in prestito dalla statistica classica, l’analisi della varianza (ANOVA): una media globale (l’effetto «layer»), un termine di posizione e un residuo di contenuto.
$$f_\ell(x) = \mu_\ell + \mu_p + \mu_c(x)$$
Qui $\mu_\ell$ è la media su tutte le immagini e tutte le posizioni, $\mu_p$ è quanto una certa posizione devia da quella media a prescindere da cosa ci sia, e $\mu_c(x)$ è ciò che resta: l’informazione specifica di quella patch in quell’immagine. L’analogia è quella dei metadati di una foto: la geolocalizzazione impressa nel file è il termine di posizione, il paesaggio ritratto è il contenuto. BFD li stacca l’uno dall’altro, e per costruzione il residuo di contenuto risulta statisticamente ortogonale sia alla media sia alla posizione, cioè «pulito» da ogni traccia posizionale.
Il secondo taglio è sull’attenzione. L’interazione tra query e key passa da una matrice $W = W_Q W_K^\top$, e le due si combinano nella forma bilineare $A W A^\top$. Applicando la decomposizione ai valori singolari (SVD) a questa matrice, $W = U\Sigma V$, si ottengono i modi bi-ortogonali: terne $(u_i, \sigma_i, v_i)$ in cui $u_i$ vive nello spazio delle query, $v_i$ in quello delle key, e $\sigma_i$ misura quanto forte è il loro accoppiamento. La proprietà chiave è nel nome: la bi-ortogonalità garantisce che ogni modo sia un canale indipendente. Una query allineata con $u_i$ comunica soltanto con una key allineata con $v_i$, e con nessun’altra. Sono linee telefoniche private, che non si interferiscono. L’interazione completa si ricostruisce sommando i canali, senza perdere nulla:
$$QK^\top = A W A^\top = \sum_{i=1}^{d} z_i^{Q}\,\sigma_i\,(z_i^{K})^\top$$
A questo punto le due decomposizioni si incastrano. Per ogni canale ci si chiede: la query, su questa linea, sta leggendo posizione o contenuto? E la key? Le combinazioni possibili sono tre, e sono il vero risultato interpretativo del metodo.
I tre regimi che BFD sa distinguere. Un canale contenuto-contenuto è uno scambio puramente semantico (una parte dell’oggetto che parla con un’altra parte). Un canale posizione-contenuto lega il «dove» al «cosa». Un canale posizione-posizione è pura geometria: flussi sinistra-destra, alto-basso, trame regolari.
Cosa hanno trovato
Gli autori applicano BFD a due modelli deliberatamente diversi: un ViT-B/16 addestrato in modo supervisionato (dalla libreria timm) e un DINOv2-B/14 con registri, addestrato in modo auto-supervisionato. Stessa taglia (dodici blocchi ciascuno), ma il primo lavora su 196 patch, il secondo su 256, più il token di classe. L’analisi copre tutti e dodici i livelli su 5.000 immagini prese dal set di validazione di ImageNet.
Prima di interrogare l’attenzione, un controllo di sanità: la separazione funziona davvero? Sì. Una sonda lineare addestrata a leggere le coordinate spaziali dal residuo di contenuto va a caso, come tirare a indovinare: segno che il contenuto è stato ripulito da ogni traccia di posizione. Dalle attivazioni grezze, invece, la posizione si legge quasi perfetta nei primi livelli e poi si degrada, fino a stabilizzarsi intorno al 20% di accuratezza in profondità in entrambi i modelli. Con una differenza netta: DINOv2 tiene la posizione leggibile molto più a lungo, per tutti i livelli intermedi.
Sul contenuto della conversazione emergono tre fatti. Il primo: l’attenzione lavora soprattutto per contenuto. In entrambi i modelli la maggior parte dell’energia degli scambi passa per interazioni contenuto-contenuto, seguite dall’accoppiamento contenuto-posizione. Tradotto: l’integrazione contestuale che i modelli fanno nei livelli profondi è genuina computazione semantica, non un riflesso della griglia spaziale. È una risposta a un sospetto vecchio: che l’attenzione «profonda» fosse in gran parte geometria travestita.
Il secondo: le teste si specializzano. Rappresentando ogni modo su un diagramma ternario (un triangolo i cui vertici sono «posizione», «contenuto» e «media globale»), i punti non si spargono a caso ma si addensano vicino ai vertici. Le teste dell’attenzione, e i singoli modi dentro ciascuna testa, si dividono in operatori puri: chi fa scambio semantico, chi traccia relazioni spaziali, chi integra le due cose. Poiché la divisione compare in entrambi i modelli, sembra una proprietà emergente della multi-head attention, non un artefatto di un particolare addestramento. È una buona notizia per chi fa interpretabilità: analizzare una testa alla volta ha senso, perché le teste sono davvero mattoni distinti.
Il terzo fatto è il più suggestivo e riguarda perché DINOv2 «vede la forma» meglio dei modelli supervisionati. La risposta degli autori è la doppia preservazione. Guardando la geometria del solo fattore di posizione, DINOv2 mantiene la topologia della griglia 2D lungo tutta la rete: i token restano organizzati come un foglio piano anche in profondità. Il ViT supervisionato, invece, collassa quella struttura in qualcosa di quasi unidimensionale già intorno al quinto livello, schiacciando i token lungo un solo asse. Nel frattempo il contenuto: in DINOv2 le rappresentazioni semantiche si trasformano con costanza livello dopo livello (un «occhio» viene messo in relazione con il volto a cui appartiene), mentre nel ViT il contenuto si limita a un raffinamento locale, un occhio reso un po’ più nitido ma non ricollocato nel contesto. Mantenere ferma l’impalcatura spaziale e insieme arricchire il significato: è questo, secondo gli autori, il motivo geometrico della lavorazione olistica della forma.
Le mappe di attenzione dicono quanto due token si parlano. La domanda vera è di cosa parlano.
Cosa il metodo non dimostra
Vale la pena tenere i piedi per terra su cosa BFD è e non è. È una lente descrittiva: scompone e misura ciò che accade, ma non interviene. Non spegne un canale contenuto-posizione per verificare che, tolto quello, DINOv2 perda la capacità di vedere la forma. Il legame tra doppia preservazione e lavorazione olistica resta una spiegazione geometrica ben argomentata, non una prova causale. Inoltre lo studio poggia su due soli modelli, entrambi di taglia «base»: nulla garantisce che le stesse proporzioni tra contenuto e posizione reggano su architetture molto più grandi o addestrate diversamente. Infine il metodo assume che la posizione entri nel modello in modo additivo e resti linearmente recuperabile, un’ipotesi ragionevole per come sono costruiti questi Transformer, ma pur sempre un’ipotesi. Gli stessi autori indicano come sviluppo futuro fattorizzazioni più fini, condizionate ad esempio sulle singole immagini o sulle classi semantiche.
Perché conta
Il valore di questo lavoro è meno nel singolo risultato che nello spostamento della domanda. Per anni interpretare l’attenzione ha voluto dire chiedersi dove guarda un modello. BFD chiede cosa si dicono i suoi token, e fornisce un’unità di misura (l’energia che passa per ciascun tipo di canale) al posto di un’immagine sfumata da interpretare a occhio. Per i modelli di visione che finiscono in diagnostica o in sistemi decisionali, la differenza tra «queste regioni si guardano» e «queste regioni si scambiano contenuto semantico, non solo vicinanza» è esattamente ciò che serve per fidarsi, o per non fidarsi, di una spiegazione. È il passaggio dalla bolletta all’ascolto della telefonata. Con l’avvertenza, sempre valida, che ascoltare cosa si dicono i token non è ancora capire perché lo dicono.
Il paper
Fenil R. Doshi, Thomas Fel, Talia Konkle, George A. Alvarez, Bi-Orthogonal Factor Decomposition for Vision Transformers, Harvard University (Kempner Institute e Department of Psychology), gennaio 2026. Disponibile su arXiv: arxiv.org/abs/2601.05328.
I commenti sono riservati agli iscritti.
Accedi per commentare