Due cartografi non si sono mai incontrati. Uno rileva una costa dal mare, misurando i fondali con lo scandaglio; l’altro la percorre a piedi, contando i passi tra un promontorio e l’altro. Strumenti diversi, unità diverse, lingue diverse. Eppure, se lavorano bene, le loro due mappe finiscono per assomigliarsi sempre di più: non perché una copi l’altra, ma perché sotto c’è una sola costa. Quattro ricercatori del MIT sostengono che qualcosa di simile stia succedendo dentro le reti neurali. Modelli addestrati con obiettivi diversi, su dati diversi, in alcuni casi su modalità diverse come immagini e testo, starebbero misurando le distanze tra le cose in un modo sempre più simile, come se puntassero tutti alla stessa mappa nascosta.
Il paper si intitola The Platonic Representation Hypothesis, l’hanno firmato Minyoung Huh, Brian Cheung, Tongzhou Wang e Phillip Isola, ed è stato presentato alla ICML 2024, la principale conferenza di machine learning. Il riferimento a Platone non è decorativo: è l’allegoria della caverna. I dati di addestramento sono le ombre proiettate sul muro; i modelli, ipotizzano gli autori, starebbero ricostruendo rappresentazioni sempre migliori del mondo reale fuori dalla caverna. Il nome dato a questo ipotetico punto d’arrivo comune è rappresentazione platonica: un modello statistico condiviso della realtà che genera i dati.
Cosa vuol dire che due modelli «la vedono allo stesso modo»
La domanda va posta con precisione, perché due reti non possono avere gli stessi numeri interni: hanno dimensioni diverse, neuroni ordinati in modo diverso. Quello che si può confrontare non sono i vettori, ma le relazioni. Il paper parte da un oggetto chiamato kernel: dato un modello che trasforma ogni input in un vettore, il kernel misura quanto due input sono simili secondo quel modello, come prodotto interno tra le loro rappresentazioni, $K(x_i, x_j) = \langle f(x_i),\, f(x_j)\rangle$. Il kernel, in pratica, è la mappa delle somiglianze: dice quali cose il modello considera vicine e quali lontane.
A questo punto due modelli si dicono allineati se inducono strutture di somiglianza simili, cioè se sono d’accordo su cosa assomiglia a cosa, anche quando sono in totale disaccordo su come chiamarlo internamente. È l’accordo tra i due cartografi: non sui nomi, ma sulla forma. Per misurarlo gli autori usano una metrica dei vicini più prossimi reciproci, che conta quanti dei vicini di un punto restano vicini anche nell’altra rappresentazione. Esistono anche altre misure di allineamento, dalla CKA alla SVCCA, e il paper riconosce che su quale sia la migliore il dibattito è aperto.
L’ipotesi in una figura: immagine e testo sono due proiezioni della stessa realtà Z. Modelli diversi le comprimono in spazi diversi, ma al crescere della scala le rispettive strutture di somiglianza convergono verso lo stesso kernel.
Le prove: 78 modelli e una linea che sale
La parte più solida del lavoro è la raccolta di prove esistenti e nuove. Gli autori misurano l’allineamento tra 78 modelli di visione, addestrati con architetture, obiettivi e dataset diversi, valutandoli sul benchmark VTAB, un insieme di 19 compiti visivi. Il risultato: i modelli che risolvono più compiti formano un gruppo compatto, rappresentazioni molto simili tra loro, mentre quelli deboli si disperdono. Parafrasando Tolstoj, come fanno gli stessi autori: tutti i modelli forti si somigliano, ogni modello debole è debole a modo suo.
Il passo più sorprendente riguarda modalità diverse. Usando un dataset di immagini di Wikipedia con le relative didascalie come ponte tra i due mondi, il paper confronta modelli di linguaggio e modelli di visione che non hanno mai visto l’altra modalità. Emerge una relazione lineare: più un modello linguistico è bravo a modellare il testo, misurato in bit per byte su quattro milioni di token, più il suo modo di organizzare i concetti si allinea a quello dei migliori modelli visivi. E vale il contrario. L’allineamento, inoltre, correla con le prestazioni: i modelli linguistici più vicini alla visione, misurata rispetto a DINOv2, vanno anche meglio sul ragionamento di senso comune (Hellaswag) e sulla matematica (GSM8K).
Perché dovrebbero convergere
Qui il paper passa dall’osservazione all’argomento. Ogni modello nasce da un’ottimizzazione che si può scrivere così: cerca la funzione che minimizza l’errore sui dati, più un termine di regolarizzazione.
$$f^{*} = \arg\min_{f \in \mathcal{F}}\ \mathbb{E}_{x \sim \text{dataset}}\big[\, L(f, x)\,\big] + R(f)$$
Tre pressioni, dentro questa formula, spingerebbero verso una soluzione comune. La prima è la generalità dei compiti: ci sono meno rappresentazioni capaci di risolvere molti compiti che rappresentazioni capaci di risolverne pochi, quindi addestrare modelli sempre più generali restringe lo spazio delle soluzioni possibili. La seconda è la capacità: un modello più grande esplora uno spazio di ipotesi più ampio, ha più probabilità di contenere l’ottimo e di finirci dentro, mentre due modelli piccoli possono accontentarsi di soluzioni diverse e mediocri. La terza è il bias di semplicità: le reti profonde tendono, anche senza esservi costrette, a preferire le spiegazioni semplici, e più sono grandi più questa preferenza si fa forte. Insieme, le tre pressioni scremano le alternative fino a lasciarne poche, molto simili tra loro.
Verso cosa, esattamente
La sezione più tecnica prova a dire quale sia questo punto d’arrivo, e gli autori sono onesti nell’avvertire che è solo uno dei candidati possibili. Immaginano un mondo idealizzato fatto di eventi, e osservazioni che ne sono proiezioni. Poi mostrano che una famiglia di algoritmi contrastivi, quelli che imparano avvicinando le cose che compaiono insieme e allontanando quelle indipendenti, converge verso una rappresentazione precisa: quella in cui la somiglianza tra due elementi equivale alla loro informazione mutua puntuale, quanto cioè la presenza dell’uno rende più probabile l’altro rispetto al caso.
$$\langle f_X(x_a),\, f_X(x_b)\rangle \;\approx\; \log\frac{P_{\text{coor}}(x_a \mid x_b)}{P_{\text{coor}}(x_a)} + c_X(x_a) \;=\; K_{\mathrm{PMI}}(x_a, x_b) + c_X(x_a)$$
Il punto interessante è che questa quantità dipende dalle statistiche del mondo, non dalla modalità. Se le osservazioni preservano le probabilità, il testo e le immagini che raccontano gli stessi eventi condividono la stessa struttura di co-occorrenza, e quindi lo stesso kernel. Come verifica su dati veri, il paper studia il colore: le distanze tra colori apprese da un modello linguistico che osserva come le parole dei colori compaiono nei testi risultano vicine a quelle apprese da un modello che osserva come i colori compaiono nelle immagini, e vicine anche alla percezione umana codificata nello spazio CIELAB. Tre strade diverse, la stessa geografia dei colori.
Cosa implica, e cosa il paper non promette
Se l’ipotesi fosse vera, alcune conseguenze pratiche seguirebbero. Per allenare il miglior modello di visione converrebbe usare anche testo, e per il miglior modello linguistico converrebbe usare anche immagini, perché entrambi puntano alla stessa mappa. Le allucinazioni e i bias potrebbero attenuarsi con la scala, a patto che i dati di addestramento siano abbastanza ricchi e fedeli: un modello più grande, sostengono gli autori, amplificherebbe i pregiudizi meno, riflettendo quelli dei dati invece di esasperarli. Sono implicazioni, non risultati, e il paper le presenta come tali.
La parte più preziosa è l’elenco dei limiti, dichiarati senza ammorbidimenti. Modalità diverse contengono informazioni diverse: nessuna immagine trasmette la frase «credo nella libertà di parola», nessun testo restituisce davvero l’esperienza di un’eclissi totale. L’argomento matematico regge solo per proiezioni che non perdono informazione, condizione che il mondo reale viola di continuo. Le intelligenze specializzate potrebbero non convergere affatto: un sistema che prevede il ripiegamento delle proteine e uno che tiene l’auto in corsia hanno poco da spartire. E la robotica, oggi, non mostra ancora la convergenza vista tra visione e linguaggio. C’è persino il sospetto sociologico che i modelli convergano verso rappresentazioni umane semplicemente perché è quello che i ricercatori cercano.
L’allineamento cresce, ma nei loro dati arriva solo a 0,16 su un massimo di 1. È molto o è poco? Gli autori lasciano la domanda aperta.
È l’ammissione che tiene il paper lontano dall’annuncio. La convergenza si vede, la direzione è coerente, ma la sua entità resta modesta e il suo significato incerto. Se quel 0,16 sia un forte allineamento con del rumore residuo, o un debole allineamento con molto ancora da spiegare, nessuno lo sa. Vale la pena leggere questo lavoro proprio per come tiene insieme una tesi ambiziosa e la misura onesta di quanto poco, ancora, la sostenga. Non ci dice che i modelli hanno trovato la realtà. Suggerisce che stanno guardando tutti nella stessa direzione, e propone un vocabolario per discuterne senza illudersi.
Il paper
Minyoung Huh, Brian Cheung, Tongzhou Wang, Phillip Isola, The Platonic Representation Hypothesis, Proceedings of the 41st International Conference on Machine Learning (ICML 2024), PMLR 235, Vienna. Disponibile su arXiv: arxiv.org/abs/2405.07987.
I commenti sono riservati agli iscritti.
Accedi per commentare