Nel maggio 2024 i ricercatori di Anthropic pubblicarono, per una giornata, una versione speciale di Claude. Qualunque cosa gli chiedessi — una ricetta, un consiglio fiscale, un aiuto col codice — il modello trovava il modo di parlare del Golden Gate Bridge. «Sto attraversando un momento difficile», scrivevi; e lui rispondeva evocando la nebbia sopra le campate arancioni del ponte di San Francisco. Non era un bug, né uno scherzo di prompt. Gli scienziati avevano individuato, tra i milioni di segnali interni del modello, quello specifico che corrispondeva al concetto «Golden Gate Bridge», e lo avevano semplicemente alzato di volume.
Perché aprire la scatola, la mappa delle spiegazioni e perché una spiegazione può convincere ed essere falsa: nel libro.
La cosa notevole non è l’ossessione buffa del modello. È che qualcuno abbia potuto puntare il dito su un punto preciso dentro una rete neurale e dire: ecco, questo pezzo qui pensa a quel ponte. Per anni non è stato possibile. Capire come farlo è il mestiere di un campo che si chiama interpretabilità, e che consiste, letteralmente, nel provare ad aprire la scatola nera.
Perché è una scatola nera
Un modello linguistico è, alla base, una tabella enorme di numeri: i pesi, che nei modelli grandi si contano a decine o centinaia di miliardi. Nessuno li ha scritti a mano. Sono emersi da soli durante l’addestramento, aggiustati un pochino alla volta per ridurre l’errore su montagne di testo. Il risultato funziona benissimo e non spiega niente: da nessuna parte c’è un’etichetta che dica «questi mille numeri gestiscono la grammatica italiana» o «questa colonna riconosce il sarcasmo».
È la stessa opacità di una risonanza magnetica del cervello. Vedi delle zone accendersi mentre la persona pensa, ma la mappa dei voxel non ti dice cosa sta pensando. Con le reti neurali siamo messi anche peggio: possiamo registrare ogni singolo segnale, con precisione perfetta, e continuare a non capire cosa significhi. Il problema non è l’accesso ai dati. È la traduzione.
I neuroni non sono i concetti
La prima idea, ingenua, è cercare il «neurone della felicità» o il «neurone dei cani»: un’unità che si accende quando e solo quando compare quel concetto. Ogni tanto se ne trova qualcuno così pulito, ma sono l’eccezione. La regola è che un singolo neurone risponde a un guazzabuglio di cose scollegate: la stessa unità può attivarsi per i gatti, per i punti e virgola e per i nomi di città spagnole. Si dice che il neurone è polisemantico, come una parola che cambia senso a seconda del contesto.
Il motivo ha un nome: superposizione. Un modello deve rappresentare molti più concetti di quanti neuroni possieda, così li impacchetta sovrapponendoli, come stampare venti lucidi trasparenti uno sopra l’altro sullo stesso foglio. Guardato di fronte, il foglio è un groviglio illeggibile; eppure ogni lucido, preso da solo, era nitido. La conseguenza pratica è scomoda: leggere i neuroni uno per uno non porta da nessuna parte, perché il concetto non vive dentro un neurone, vive in una combinazione di neuroni.
Il concetto non abita in un neurone, ma nel modo in cui molti neuroni si accendono insieme. Cercare significato nel singolo neurone è come cercare una melodia in un singolo tasto del pianoforte.
Da attivazioni a feature
Serve una distinzione precisa tra due parole che è facile confondere. Le attivazioni sono i numeri grezzi: quanto si è accesso ciascun neurone mentre il modello elabora un certo testo. Le feature sono i concetti leggibili — «il ponte Golden Gate», «codice in Python», «un tono adulatorio» — che stanno nascosti dentro quelle attivazioni, spalmati su tanti neuroni per via della superposizione.
Lo strumento che negli ultimi anni ha permesso di passare dalle prime alle seconde si chiama sparse autoencoder. L’idea, semplificata, è addestrare una rete accessoria a riscrivere le attivazioni aggrovigliate come una somma di pochissime feature pulite, attive una alla volta. Funziona come un prisma: prende il fascio di luce bianca — le attivazioni, in cui tutti i colori sono mescolati — e lo scompone nella riga di colori distinti che lo compongono. Dove prima c’era un groviglio, dopo ci sono migliaia di feature separate, ognuna delle quali si può ispezionare, nominare e — come col Golden Gate — persino manipolare.
A sinistra pochi neuroni, ognuno collegato a molti concetti (le linee si incrociano: è la superposizione). Lo sparse autoencoder scompone quel groviglio in feature separate e nominabili, come un prisma con la luce. Neuroni e feature non stanno uno a uno.
A cosa serve tutto questo
Poter nominare le feature non è un esercizio estetico. È la base per rispondere a domande di sicurezza che oggi trattiamo per tentativi. Se dentro un modello esiste una feature che corrisponde all’inganno, o al desiderio di compiacere l’utente a scapito della verità, la si può monitorare mentre il modello lavora — un allarme che si accende quando quella feature si attiva più del dovuto. Se un modello sbaglia in un certo modo, guardare quali feature si sono accese aiuta a capire perché, invece di limitarsi a osservare che ha risposto male.
E, come mostra il Golden Gate, si può anche intervenire: alzare o abbassare il volume di una feature per correggere un comportamento senza dover riaddestrare l’intero modello. È l’inizio di una chirurgia, ancora rudimentale, su ciò che prima era intoccabile. Restano enormi limiti: le feature scoperte sono una frazione di quelle presenti, molte restano misteriose, e passare da un modellino di laboratorio a un sistema di frontiera è tutt’altro che automatico. Nessuno sostiene che la scatola sia aperta. Sostiene che, per la prima volta, si intravede l’interno.
Perché ti riguarda
Man mano che deleghiamo alle AI decisioni che contano — cosa leggere, chi assumere, quali cure suggerire — la domanda «perché il modello ha risposto così?» smette di essere una curiosità e diventa un requisito, a volte di legge. Un sistema di cui non sappiamo spiegare il ragionamento è un sistema che possiamo solo giudicare dai risultati, sperando che non fallisca nei casi che non abbiamo testato. L’interpretabilità è la scommessa che non dobbiamo accontentarci: che dentro quei miliardi di numeri, con gli strumenti giusti, ci sia qualcosa di leggibile. Se ci riesce, cambia la natura del patto che stiamo firmando con queste macchine — dalla fiducia cieca a una verifica possibile. Ed è la differenza tra affidarsi a un esperto che non sa spiegarti nulla e a uno che, almeno, ti mostra il ragionamento.
I commenti sono riservati agli iscritti.
Accedi per commentare