Rischio esistenziale: il dibattito, raccontato onestamente

Ventidue parole. Nel maggio 2023 il Center for AI Safety pubblica una dichiarazione lunga una frase sola: mitigare il rischio di estinzione causato dall’intelligenza artificiale dovrebbe essere una priorità globale, accanto a pandemie e guerra nucleare. La firmano Geoffrey Hinton e Yoshua Bengio, due dei tre vincitori del Turing Award per il deep learning, insieme ai vertici di OpenAI, Google DeepMind e Anthropic. Il terzo vincitore del Turing Award, Yann LeCun, non firma. Anzi: definisce pubblicamente queste paure infondate.

Quando le tre persone che hanno inventato una tecnologia non riescono a mettersi d’accordo se possa distruggerci, il problema non è capire chi ha ragione. È capire com’è fatto il disaccordo. Questo articolo prova a fare esattamente questo: mappare il dibattito senza tifare.

Di cosa parliamo, esattamente

Per «rischio esistenziale» si intende uno scenario in cui un sistema di AI molto capace causa danni irreversibili su scala di civiltà: nell’ipotesi estrema, l’estinzione umana. Non stiamo parlando di deepfake, disinformazione o disoccupazione — quelli sono rischi seri ma di natura diversa. Parliamo dell’ipotesi che un sistema più capace di noi persegua obiettivi non allineati ai nostri, e che a quel punto non riusciamo più a correggerlo.

L’argomento tecnico alla base è il problema dell’allineamento: non sappiamo specificare in modo affidabile cosa vogliamo che un modello ottimizzi. L’analogia classica è re Mida: chiese che tutto ciò che toccava diventasse oro, ottenne esattamente ciò che aveva chiesto e morì di fame. L’obiettivo dichiarato era chiaro; l’obiettivo inteso era un altro. Con i sistemi attuali questo divario produce errori fastidiosi. La domanda del dibattito è: cosa produce quando il sistema è molto più capace?

Lo spettro delle posizioni

Il dibattito viene spesso raccontato come uno scontro tra «doomer» e «accelerazionisti». È una semplificazione che fa comodo ai titoli e danneggia la comprensione. Le posizioni reali si dispongono lungo uno spettro, e alcune non stanno nemmeno sullo stesso asse.

Lo spettro delle posizioni pubbliche sul rischio esistenziale. La posizione in ocra è un caso a parte: non nega né afferma il rischio futuro, ma sostiene che il dibattito stesso distolga attenzione dai danni presenti.

Gli argomenti di chi è preoccupato

Hinton ha lasciato Google nel 2023 proprio per poter parlare liberamente dei rischi. Il suo argomento, condiviso in forme diverse da Bengio, si può riassumere così: le capacità dei modelli sono cresciute più in fretta di quanto quasi tutti nel campo avessero previsto, mentre la nostra capacità di controllarli e comprenderli non ha tenuto il passo. Non serve immaginare robot ostili: basta un sistema molto capace, con obiettivi specificati male, integrato in infrastrutture critiche, per avere danni difficili da annullare.

Il secondo argomento è asimmetrico: con la maggior parte delle tecnologie impariamo dagli incidenti — un aereo cade, si indaga, si corregge. Chi teme il rischio esistenziale sostiene che con un sistema sufficientemente capace potremmo non avere una seconda occasione. È come testare un paracadute: non è il tipo di esperimento in cui l’iterazione per tentativi funziona bene.

Il disaccordo tra esperti non è rumore da eliminare: è il dato più importante che abbiamo.

Gli argomenti di chi è scettico

LeCun risponde su un piano tecnico: i modelli linguistici attuali, per quanto impressionanti, non hanno un modello del mondo robusto, non pianificano su orizzonti lunghi, non hanno obiettivi propri. Proiettare su di loro intenzionalità e strategia è, nella sua lettura, un errore di categoria — come temere che un dizionario molto grande prenda il potere. Andrew Ng aveva usato anni fa un’immagine rimasta celebre: preoccuparsi oggi di un’AI ostile è come preoccuparsi della sovrappopolazione su Marte.

C’è poi una critica diversa, che non nega il futuro ma cambia soggetto. Ricercatrici come Timnit Gebru ed Emily Bender sostengono che il dibattito sull’estinzione funzioni da diversivo: mentre discutiamo di scenari ipotetici, i danni concreti — bias nei sistemi decisionali, sfruttamento del lavoro di annotazione, concentrazione di potere in poche aziende — avvengono adesso e hanno responsabili identificabili. Notano anche un paradosso: alcune delle aziende che firmano appelli sul rischio esistenziale sono le stesse che accelerano lo sviluppo. Se davvero temi che il tuo prodotto possa distruggere il mondo, perché continui a costruirlo?

Ciò che nessuno sa

Qui serve onestà intellettuale, nei due sensi. Primo: non esistono basi statistiche per stimare la probabilità di un evento senza precedenti. Chi dichiara «il 20% di probabilità di catastrofe» e chi dichiara «zero» stanno entrambi esprimendo un giudizio soggettivo, non una misura. Secondo: la storia delle previsioni tecnologiche, in entrambe le direzioni, è pessima. Nel campo dell’AI si sono sbagliati sia i pessimisti sia gli ottimisti, ripetutamente, anche solo sull’orizzonte di cinque anni.

Quello che si può dire con relativa sicurezza è più modesto: le capacità dei modelli crescono; il problema dell’allineamento non è risolto; l’interpretabilità — capire perché un modello produce un certo output — è ancora una disciplina giovane. Nessuna di queste tre affermazioni implica la catastrofe. Insieme, giustificano almeno la ricerca sulla sicurezza come investimento razionale, qualunque sia la probabilità che si assegna allo scenario peggiore.

Perché questo dibattito ti riguarda

Perché non resta accademico. L’AI Act europeo regola i modelli «a rischio sistemico» anche sulla base di queste discussioni; le aziende decidono cosa rilasciare e cosa trattenere citando questi argomenti; i fondi pubblici di ricerca si spostano di conseguenza. Chi lavora con l’AI in Italia — sviluppatori, aziende, studenti — vivrà dentro regole scritte da persone che hanno preso posizione su questo spettro.

E c’è una ragione più semplice: leggerete ancora molti titoli sull’AI che «potrebbe distruggerci» o che «è solo hype». Sapere che dietro c’è uno spettro di posizioni argomentate, e non una rissa tra ingenui e catastrofisti, è il modo migliore per non farsi arruolare da nessuno. Nel dubbio, la domanda giusta non è «chi ha ragione?», ma «questo argomento a quale punto dello spettro appartiene, e cosa dovrebbe accadere perché io cambi idea?».