Gli ingegneri aeronautici convivono da oltre un secolo con un problema scomodo: un aereo in volo, quello vero, è quasi impossibile da studiare fino in fondo. L’aria è turbolenta, le variabili troppe, e non si sa mai con precisione quale forza stia agendo su quale superficie. La soluzione fu la galleria del vento, una camera chiusa dove il flusso d’aria è controllato al millimetro e ogni forza sul modellino è nota in anticipo. Non è il cielo vero. È però l’unico posto dove una teoria si può verificare, non soltanto osservare.
Un problema molto simile assilla chi studia i modelli linguistici. Quando un transformer «ragiona nel contesto» — legge qualche esempio e ne deduce la risposta a un caso nuovo — sembra comportarsi come uno statistico bayesiano ideale: parte da un’ipotesi, la aggiorna alla luce delle prove, restringe l’incertezza. Ma sembrare non è essere. Il modello sta davvero calcolando qualcosa di simile alla regola di Bayes, oppure sta solo ripescando uno schema già incontrato in addestramento? Sul linguaggio naturale la domanda è indecidibile: non esiste una «risposta giusta» nota in forma chiusa contro cui misurare il modello, e i modelli di frontiera sono così grandi e così intrecciati con i loro dati che ragionamento e memorizzazione diventano indistinguibili.
Naman Aggarwal, Siddhartha R. Dalal e Vishal Misra, tra la Columbia University e Dream Sports, propongono di costruire l’equivalente della galleria del vento. La chiamano Bayesian wind tunnel: un compito artificiale in cui la distribuzione a posteriori corretta è nota esattamente a ogni passo, e in cui la memorizzazione è resa dimostrabilmente impossibile. Dentro questa camera controllata si può finalmente porre la domanda in forma quantitativa: l’entropia predetta dal modello coincide, posizione per posizione, con l’entropia del vero posterior bayesiano?
Due gallerie del vento
La prima galleria è un gioco di eliminazione. Il modello osserva una biiezione — un abbinamento uno-a-uno tra venti simboli — svelata una coppia alla volta, e a ogni passo deve indovinare l’immagine di un simbolo mai visto prima. Poiché ogni ingresso compare al massimo una volta, la matematica del posterior collassa in qualcosa di trasparente: la risposta è uniforme su tutti i valori non ancora usati. L’incertezza, misurata in bit, scende come una scala:
$$H_{\text{Bayes}}(k) = \log_2(V – k + 1)$$
dove $V = 20$ è il numero di simboli e $k$ la posizione corrente. Ogni volta che una coppia viene svelata, un candidato sparisce e l’entropia cala di un gradino: una scalinata discreta che il modello deve riprodurre scalino per scalino. La memorizzazione è preclusa per costruzione, perché le biiezioni possibili sono $20! \approx 2{,}4\times10^{18}$ e l’addestramento ne vede solo centomila: nessuna si ripete mai.
La seconda galleria è più insidiosa, perché richiede memoria ricorsiva. Ogni sequenza nasce da un Hidden Markov Model diverso — un processo con cinque stati nascosti e cinque simboli osservabili, le cui matrici di transizione ed emissione sono sorteggiate ex novo. Il modello vede solo i simboli emessi e deve stimare, a ogni istante, la distribuzione sugli stati nascosti. La risposta esatta la fornisce l’algoritmo forward, la stessa ricorsione che si insegna nei corsi di modelli probabilistici: $\alpha_t(s) \propto E(o_t \mid s)\sum_{s’} T(s \mid s’)\,\alpha_{t-1}(s’)$. Anche qui lo spazio delle ipotesi — più di $10^{40}$ HMM distinti — spegne ogni scorciatoia mnemonica.
Perché tutto questo dovrebbe convergere verso Bayes? Perché, e il paper lo dimostra in un teorema di poche righe, minimizzare la cross-entropy, la funzione di costo con cui questi modelli si addestrano, ha un unico ottimo di popolazione: proprio la distribuzione predittiva a posteriori
$$q^\star(y \mid x, c) = \int p(y \mid x, \theta)\, p(\theta \mid c)\, d\theta.$$
Il teorema dice cosa il modello dovrebbe imparare con dati e capacità infiniti. Non dice se un transformer reale, piccolo e finito, ci riesca davvero. È esattamente la domanda che la galleria del vento permette di chiudere.
Chi supera la prova e chi no
Il risultato è netto. Nel gioco delle biiezioni un transformer da appena 2,67 milioni di parametri riproduce il posterior con un errore medio di calibrazione di $3\times10^{-3}$ bit, un margine più piccolo del rumore numerico in singola precisione. Nel compito HMM, entro l’orizzonte di addestramento, l’errore scende a $7{,}5\times10^{-5}$ bit: le due curve, quella del modello e quella di Bayes, sono visivamente indistinguibili. E quando i ricercatori allungano le sequenze fino a due volte e mezzo la lunghezza vista in addestramento, l’errore cresce dolcemente, senza alcuno scalino nel punto in cui l’addestramento finiva ($2{,}88\times10^{-2}$ bit a lunghezza cinquanta). Segno che il modello non ha memorizzato un calcolo a orizzonte fisso: ha imparato un algoritmo ricorsivo indipendente dalla posizione.
Il contrasto arriva dai controlli. Gli autori addestrano, sugli stessi dati e con lo stesso protocollo, delle reti puramente feed-forward (MLP) con lo stesso numero di parametri, ma prive del meccanismo di attention. Falliscono in entrambe le gallerie. Sulle biiezioni l’MLP si ferma attorno a $1{,}85$ bit di errore, circa 618 volte peggio del transformer; sugli HMM resta piatto attorno a $0{,}40$ bit a ogni posizione — migliaia di volte l’errore del transformer entro l’orizzonte di addestramento — come se avesse imparato solo la distribuzione media anziché seguire la credenza che evolve. Non è un problema di ottimizzazione né di capacità: è l’assenza dell’ingranaggio giusto.
La geometria del ragionamento
La parte più interessante non è che i transformer ci riescano, ma come. Aprendo il modello, gli autori trovano una divisione del lavoro sorprendentemente pulita, ricorrente in entrambi i compiti. Il flusso residuo — la corsia di informazione che attraversa tutti gli strati — funziona da substrato della credenza: è lì che il posterior si accumula, strato dopo strato. Le reti feed-forward fanno il calcolo vero e proprio dell’aggiornamento bayesiano, l’aritmetica. L’attention, invece, non fa quasi conti: fa instradamento. Recupera, per ogni aggiornamento, i pezzi di credenza rilevanti, un indirizzamento per contenuto, come cercare in un archivio non per numero di scaffale ma per ciò che il documento dice.
Questa divisione si dispiega in tre stadi lungo la profondità della rete. Lo strato zero costruisce il «telaio»: le sue key formano una base quasi ortogonale, una direzione geometrica distinta per ogni ipotesi. È un passaggio fragile e insostituibile — esiste una singola testa di attention la cui rimozione, da sola, manda in rovina l’intera calibrazione. Gli strati intermedi eseguono l’eliminazione: man mano che si scende in profondità, le query si allineano sempre più nettamente alle sole key ancora compatibili con le prove, e le ipotesi incoerenti si spengono. Gli strati finali fanno il lavoro di precisione: i vettori value si dispongono lungo una curva monodimensionale parametrizzata dall’entropia del posterior, una specie di righello interno della confidenza.
La stessa architettura svolge tre ruoli distinti lungo la profondità: lo strato zero fissa un telaio di ipotesi quasi ortogonali, gli strati intermedi spengono le ipotesi incompatibili allineando query e key, gli strati finali codificano la confidenza su una curva monodimensionale. Sotto, il flusso residuo trasporta la credenza che si aggiorna a ogni passo.
Durante l’addestramento accade una cosa che gli autori chiamano dissociazione telaio-precisione: le mappe di attention si stabilizzano presto e poi cambiano pochissimo, mentre la curva dei value continua a «srotolarsi» e ad affinarsi. Il modello impara prima la geometria del problema — dove far scorrere l’informazione — e solo dopo la precisione numerica con cui codificare le credenze. È lo stesso quadro previsto, per via teorica, da un’analisi delle dinamiche di gradiente che gli stessi autori firmano nel secondo articolo della serie.
Che l’attention serva a instradare e non a memorizzare lo mostra un esperimento crudele: disattivarla nei due strati finali. Il modello continua a cavarsela entro la lunghezza di addestramento, ma sulle sequenze lunghe crolla, con l’errore che passa da un fattore 21 a oltre 60 volte quello del modello intero. Senza instradamento stabile, la ricorsione bayesiana non regge la distanza.
Una galleria non è il cielo
Gli autori sono i primi a marcare i confini del risultato, ed è la parte più onesta del lavoro. I modelli hanno due o tre milioni di parametri; i compiti — biiezioni e HMM a cinque stati — sono una fetta sottilissima dei problemi di inferenza che un modello linguistico affronta davvero. Che le stesse firme geometriche (assi ortogonali, allineamento query-key crescente, varietà dei value) compaiano dentro un LLM di frontiera addestrato su testo naturale resta una congettura, non un fatto. La galleria del vento, per sua natura, semplifica: la sua forza — sapere in anticipo la risposta giusta — è anche il suo limite.
Il contributo, allora, va letto per quello che è: un limite inferiore, non una descrizione del comportamento dei modelli grandi. La logica è quella del contrappositivo. Se un transformer non riesce a fare Bayes nemmeno qui, dove il posterior è noto e la memorizzazione è preclusa, difficilmente lo fa sul linguaggio. Il fatto che ci riesca, e con un meccanismo geometrico ispezionabile, non prova che GPT o Claude «ragionino» davvero; sposta però la conversazione dal «sembra bayesiano» al «ecco la geometria che lo renderebbe possibile, andate a cercarla». È il primo di tre articoli di una trilogia annunciata, e i diagnostici che propone — ortogonalità delle key, affilatura delle query, struttura della varietà dei value — sono previsioni verificabili da puntare, un giorno, contro i modelli veri. Per un campo che discute da anni se l’AI ragioni o reciti, avere finalmente una camera dove la domanda ha una risposta netta vale più di molte dimostrazioni spettacolari.
Il paper
Naman Aggarwal, Siddhartha R. Dalal, Vishal Misra, The Bayesian Geometry of Transformer Attention (Paper I of the Bayesian Attention Trilogy), arXiv:2512.22471, dicembre 2025. Disponibile su arXiv: arxiv.org/abs/2512.22471.
I commenti sono riservati agli iscritti.
Accedi per commentare