Nel maggio 2024, per qualche giorno, una versione sperimentale di Claude non riusciva a parlare d’altro che del Golden Gate Bridge. Chiedevi una ricetta di pasta? Consigliava di mangiarla guidando sul ponte. Chiedevi come spendere dieci euro? Suggeriva il pedaggio. Non era un guasto: i ricercatori di Anthropic avevano trovato, dentro la rete neurale, il «concetto» del ponte di San Francisco, e lo avevano artificialmente amplificato. Quella demo — Golden Gate Claude — era la dimostrazione pubblica di un paper intitolato Scaling Monosemanticity, uno dei lavori più influenti degli ultimi anni nel campo dell’interpretabilità.
Il problema: nessuno sa cosa c’è dentro
Un modello linguistico non è programmato riga per riga: è una montagna di miliardi di parametri numerici regolati dall’addestramento. Sappiamo cosa entra (il testo) e cosa esce (la risposta), ma il mezzo è un territorio in larga parte non mappato. È una situazione strana: usiamo ogni giorno sistemi di cui non sappiamo spiegare le decisioni, un po’ come se la medicina prescrivesse farmaci senza avere idea del loro meccanismo d’azione.
La speranza ingenua era che ogni neurone della rete corrispondesse a un concetto: un neurone per «gatto», uno per «ironia», uno per «codice Python». La realtà è più scomoda. I singoli neuroni sono polisemantici: lo stesso neurone si attiva per cose che non c’entrano nulla tra loro — citazioni accademiche, dialoghi in coreano, un certo tipo di punteggiatura. Guardare un neurone alla volta non spiega niente.
La superposizione, ovvero troppi concetti e pochi neuroni
Il motivo ha un nome: superposizione. Un modello deve rappresentare molti più concetti di quanti neuroni possieda, e la soluzione che l’addestramento trova è comprimerli: ogni concetto viene distribuito su tanti neuroni, e ogni neurone partecipa a tanti concetti. Come un archivio in cui, per mancanza di spazio, ogni cartella contiene pezzi di pratiche diverse e ogni pratica è sparpagliata su più cartelle: efficiente per chi l’ha costruito, illeggibile per chi lo ispeziona.
Se i concetti non vivono nei neuroni, dove vivono? In direzioni dello spazio delle attivazioni: combinazioni di tanti neuroni insieme. Il problema diventa allora trovare queste direzioni — e sono milioni.
Lo sparse autoencoder come microscopio
Lo strumento del paper è lo sparse autoencoder (SAE): una seconda rete neurale, piccola e addestrata a parte, che impara a riscrivere le attivazioni interne del modello in un vocabolario molto più grande ma sparso — per ogni testo si accendono solo poche voci alla volta. È l’operazione inversa della compressione: si riapre l’archivio compresso e si rimette ogni pratica nella sua cartella. Le voci di questo nuovo vocabolario si chiamano feature, e a differenza dei neuroni sono in gran parte interpretabili: si può guardare quando si accendono e dare loro un nome.
L’idea era già stata dimostrata nel 2023 su un modello giocattolo di un solo strato (Towards Monosemanticity). La domanda aperta era se avrebbe retto su un modello vero. Scaling Monosemanticity risponde di sì: applicando dizionari fino a decine di milioni di feature a uno strato intermedio di Claude 3 Sonnet, un modello di produzione, i ricercatori estraggono milioni di feature leggibili.
Il passaggio chiave del paper: le attivazioni del modello, dove i concetti sono sovrapposti, vengono riscritte da uno sparse autoencoder in milioni di feature che si accendono una per concetto.
Cosa hanno trovato
Il catalogo è vertiginoso. Ci sono feature concrete e multilingue — il Golden Gate Bridge si accende per il testo in inglese, in giapponese, e perfino per le immagini del ponte — e feature astratte che nessuno aveva chiesto: il codice con un bug dentro, la sycophancy (l’adulazione compiacente verso l’utente), i pregiudizi di genere, l’inganno, le discussioni su armi biologiche. E queste feature non sono solo etichette: sono manopole. Amplificando la feature del ponte si ottiene Golden Gate Claude; amplificando quella dell’adulazione, il modello si mette a lisciare l’utente. Il legame tra concetto e comportamento è causale, non solo statistico.
Non è più solo osservare il cervello del modello: è toccare un punto preciso e vedere il comportamento cambiare di conseguenza.
Perché conta per la sicurezza
Qui il lavoro smette di essere una curiosità da laboratorio. Gran parte dei dibattiti sulla sicurezza dei modelli — mente? è compiacente? sta pianificando qualcosa che non dice? — si scontra con il fatto che finora potevamo giudicare solo l’output. Se esistono feature interne per l’inganno o per i contenuti pericolosi, si apre la possibilità di monitorare il modello dal di dentro: accorgersi che la feature dell’inganno si sta attivando anche quando la risposta sembra innocua, o smorzare comportamenti indesiderati alla radice invece che filtrarli a valle.
Con le dovute cautele, che gli autori stessi elencano: le feature trovate sono con ogni probabilità una frazione di quelle esistenti, addestrare dizionari così grandi costa, e capire come le feature si compongono nei circuiti che producono una risposta è un cantiere ancora aperto — la ricerca successiva di Anthropic sui «circuiti» parte esattamente da qui.
Cosa dice a chi legge
Per chi usa questi sistemi ogni giorno, il paper sposta una convinzione diffusa: che i modelli linguistici siano scatole nere per natura, e tali resteranno. Non è detto. Dentro c’è una struttura, la struttura è fatta di concetti sorprendentemente simili ai nostri, e con gli strumenti giusti si può leggere e perfino correggere. La distanza tra «funziona ma non sappiamo perché» e «funziona e possiamo ispezionarlo» è la stessa che passa tra alchimia e chimica. Questo lavoro è uno dei primi passi seri in quella direzione.
Per approfondire
Il paper: Templeton, Conerly, Marcus et al. (Anthropic), Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, maggio 2024 — transformer-circuits.pub/2024/scaling-monosemanticity. Il lavoro precedente su modello giocattolo: Towards Monosemanticity (2023), stessa collana.
I commenti sono riservati agli iscritti.
Accedi per commentare