Immaginate uno studente davanti a un compito scritto, fermo su una domanda di cui non ha la minima idea: la data di nascita di un autore minore, un numero che non ha mai studiato. Ha due opzioni. Può lasciare in bianco, e prendere zero. Oppure può scrivere una data qualsiasi ma plausibile — «30 settembre» — e sperare. Se il voto assegna un punto alle risposte esatte e zero a tutto il resto, la scelta razionale è chiarissima: tirare a indovinare. In bianco si perde di sicuro; azzardando, ogni tanto si azzecca. Uno studente sveglio impara presto questo calcolo. Ed è, sostiene un paper firmato da quattro ricercatori tra OpenAI e Georgia Tech, esattamente il calcolo che facciamo fare ai modelli linguistici — salvo poi stupirci quando inventano.
Non un difetto misterioso, ma un errore di classificazione
Le «allucinazioni» — la tendenza dei modelli a produrre affermazioni false ma verosimili, dette con la stessa sicurezza delle vere — sono uno dei problemi che più minano la fiducia negli assistenti conversazionali. Il paper di Adam Tauman Kalai, Ofir Nachum, Santosh Vempala ed Edwin Zhang, uscito il 4 settembre 2025, parte da una tesi deliberatamente antiretorica: non c’è niente di magico o di irriducibilmente oscuro in questo comportamento. Le allucinazioni, scrivono, «nascono semplicemente come errori in un problema di classificazione binaria».
La dimostrazione è controintuitiva perché ribalta l’ordine di difficoltà. Verrebbe da pensare che generare una risposta valida sia più facile che giudicare se una risposta lo sia. Gli autori mostrano il contrario. Riconducono la generazione a una domanda sì/no che chiamano Is-It-Valid: «questa stringa è un output valido oppure un errore?». Un modello addestrato solo su testo corretto può comunque essere usato come classificatore di validità, e a quel punto vale una relazione precisa: il tasso di errore nel generare è almeno il doppio del tasso di errore nel classificare.
$$\text{errore generativo} \;\gtrsim\; 2 \cdot \text{errore di classificazione}$$
Il messaggio è netto. Se esistono affermazioni sbagliate che nessun classificatore riesce a distinguere da quelle vere, allora il modello che le genera sbaglierà per forza — non per un bug, ma per la stessa pressione statistica che rende difficile qualunque classificazione. E questo, sottolineano gli autori, vale anche se i dati di addestramento fossero perfetti, privi di errori. Con dati reali, pieni di mezze verità, i tassi di errore possono solo salire.
Il compleanno che nessuno ha scritto
L’esempio che apre il paper è tanto banale quanto rivelatore. Alla domanda «qual è il compleanno di Adam Tauman Kalai?», posta con l’istruzione di rispondere solo se lo si conosce, un modello open-source allo stato dell’arte (DeepSeek-V3, 600 miliardi di parametri, interrogato l’11 maggio 2025) ha risposto in tre tentativi con tre date diverse e tutte sbagliate — «03-07», «15-06», «01-01». La data giusta cade in autunno.
Perché un sistema così potente sbaglia una cosa così piccola? La risposta sta in quella che gli autori chiamano la classe dei fatti arbitrari: informazioni senza alcuno schema che le colleghi, come i compleanni delle persone. Non c’è regola da apprendere; o l’informazione è nei dati, o non c’è. E qui entra in gioco un’idea vecchia di settant’anni. Durante la Seconda guerra mondiale, decifrando Enigma, Alan Turing mise a punto uno stimatore della «massa mancante» — quanta probabilità va assegnata a eventi mai visti — poi formalizzato da Good nel 1953. La sua intuizione: la frazione di eventi comparsi esattamente una volta stima quanti eventi nuovi incontreremo continuando a campionare.
Il paper trasporta questa idea nell’addestramento. Definisce il tasso di singleton come la frazione di fatti che compaiono una sola volta nei dati:
$$\mathrm{sr} = \frac{|S|}{N}$$
e dimostra che il tasso di allucinazione di un modello base è almeno pari a questo valore (a meno di termini che svaniscono con l’aumentare dei dati). In concreto: se il 20% dei compleanni presenti nell’addestramento compare una volta sola, allora ci si deve aspettare che il modello base allucini su almeno il 20% dei compleanni. Non perché sia mal costruito, ma perché su un dato visto una volta non c’è modo di distinguere il vero dai suoi 364 sostituti plausibili. Einstein, il cui compleanno ricorre ovunque, non viene mai sbagliato; l’autore di un solo necrologio, sì.
La stessa lente spiega errori di natura diversa. Contare le lettere, per esempio: alla domanda «quante D ci sono in DEEPSEEK?» lo stesso DeepSeek-V3 ha risposto «2» o «3» in dieci prove indipendenti, con Meta AI e Claude 3.7 Sonnet a sbagliare in modo simile, fino a rispondere «6» o «7». Qui non è ignoranza ma modello inadeguato: i sistemi vedono i token (D/EEP/SEE/K), non le singole lettere. Non a caso un modello di ragionamento come DeepSeek-R1, che scompone la parola passo per passo, conta correttamente. Tutto questo, mostra il paper, è la naturale conseguenza dell’obiettivo minimizzato durante il pre-addestramento, l’entropia incrociata $L(\hat p) = \mathbb{E}_{x \sim p}[-\log \hat p(x)]$: lo stesso obiettivo che rende i modelli base ben calibrati li rende anche, inevitabilmente, fallibili.
Perché sopravvivono: la scuola non premia il «non lo so»
Se l’origine è statistica, la persistenza è, secondo gli autori, un problema socio-tecnico. Il post-addestramento — la fase in cui il modello viene rifinito con feedback umano — dovrebbe smorzare le allucinazioni. Spesso ci riesce, ma solo in parte. E il motivo è il modo in cui misuriamo i modelli.
Quasi tutti i benchmark che contano usano un voto binario: giusto vale 1, tutto il resto vale 0. Sotto questo schema, astenersi è strettamente perdente. Un «non lo so» onesto viene punito esattamente come una risposta sbagliata, mentre una risposta sicura e specifica — anche quando è un bluff — ogni tanto porta a casa il punto. Gli autori lo formalizzano in un’osservazione dalla dimostrazione banale ma dalle conseguenze scomode: per qualunque convinzione il modello abbia sulla risposta, di fronte a un voto binario la mossa ottimale non è mai astenersi.
Cinque domande a cui nessuno dei due modelli conosce la risposta. Il modello onesto astiene sempre e resta a zero; quello che azzarda sbaglia spesso, ma ogni tanto azzecca — e quel punto occasionale gli basta per superare in classifica il modello sincero. Il voto binario non misura l’onestà: la penalizza.
Il paper rende l’argomento concreto con un esperimento mentale: prendete un Modello A che segnala correttamente l’incertezza e non allucina mai, e un Modello B identico salvo che tira sempre a indovinare. Sotto il voto 0-1 — la base della maggior parte dei benchmark attuali — B batterà sempre A. È un’epidemia di incentivi sbagliati. E gli autori la documentano: una loro analisi di dieci valutazioni molto usate (tra cui GPQA, MMLU-Pro, SWE-bench, MATH, Omni-MATH) trova che quasi tutte adottano un voto binario e nessuna, tranne una parziale eccezione, concede credito a un’astensione. In questo clima, i modelli vivono perennemente in «modalità esame».
Gli esseri umani imparano il valore dell’incertezza fuori da scuola, alla dura scuola della vita. I modelli, invece, sono valutati quasi solo con esami che puniscono il dubbio.
La proposta: mettere un prezzo all’incertezza
Da qui la parte più operativa del paper, e anche la più discutibile in senso buono: non serve l’ennesimo benchmark specifico per le allucinazioni. Aggiungerne uno accanto a decine di test che premiano il bluff non sposta l’ago. La proposta è invece intervenire sui benchmark già dominanti, cambiando come assegnano il voto. In pratica: dichiarare una soglia di confidenza esplicita nelle istruzioni di ogni domanda. Qualcosa come «rispondi solo se sei sicuro oltre una certa soglia $t$; una risposta sbagliata costa $t/(1-t)$ punti, una corretta ne vale 1, un «non lo so» vale 0″.
La formula rende trasparente il compromesso. Con una soglia bassa, $t = 0.5$, la penalità per un errore è di 1 punto: conviene rispondere non appena si è più sicuri che no. Con $t = 0.9$, la penalità sale a 9 punti: azzardare non ripaga a meno di una confidenza altissima. Un semplice conto mostra che rispondere conviene rispetto ad astenersi solo quando la probabilità di essere corretti supera $t$. È lo stesso principio che alcuni esami reali — la SAT di un tempo, gli AMC di matematica statunitensi, gli indiani JEE e NEET — hanno usato per scoraggiare il tirare a indovinare. Se la soglia è dichiarata, aggiungono gli autori, un unico modello può risultare il migliore a tutti i livelli di confidenza: la chiamano calibrazione comportamentale, e non richiede al modello di sputare una percentuale, solo di dire la cosa più utile di cui è almeno $t$ sicuro.
Quello che il paper non pretende di spiegare
L’onestà del lavoro sta anche nei suoi limiti, che gli autori elencano senza infingimenti. Il quadro considera solo stringhe plausibili: ignora quindi la produzione di puro nonsenso, che i modelli attuali comunque generano di rado. Semplifica le allucinazioni in un modello di errore netto, ma un testo lungo può contenerne molte, in gradazioni diverse. E soprattutto sgombra il campo da due false speranze. La ricerca aumentata e il RAG riducono le allucinazioni, ma non risolvono il problema di fondo: quando la ricerca non trova una risposta sicura, il voto binario continua a premiare chi indovina lo stesso. Allo stesso modo, contro gli errori di calcolo — le famose lettere da contare — recuperare documenti non serve.
Va anche detto, e il paper lo dice, che le allucinazioni sono inevitabili solo per i modelli base: un sistema che risponde solo a un elenco fisso di domande con una banca dati e una calcolatrice, e per tutto il resto dichiara «non lo so», non allucinerebbe affatto. Il punto non è che l’inganno sia scritto nel destino, ma che i nostri obiettivi di addestramento e i nostri metri di misura, così come sono, lo rendono la risposta razionale.
La posta in gioco
La forza di questo paper non è un’architettura nuova né un modello più grande. È uno spostamento di prospettiva. Per anni le allucinazioni sono state raccontate come un difetto oscuro, forse incurabile, delle reti neurali — qualcosa che «emerge» e che nessuno controlla davvero. Kalai e colleghi le riportano a due cause prosaiche e affrontabili: una statistica, radicata nel modo in cui si stima una distribuzione, e una sociale, radicata nel modo in cui costruiamo le classifiche. La prima non si elimina, si misura onestamente con la calibrazione. La seconda dipende da una scelta collettiva: continuare a premiare la sicurezza a ogni costo, oppure smettere di punire chi ammette di non sapere. Se anche solo una parte dei benchmark che decidono la reputazione dei modelli adottasse soglie di confidenza esplicite, l’incentivo cambierebbe di segno. Sta a chi progetta le valutazioni decidere se vogliamo modelli sinceri o soltanto bravi a passare l’esame.
Il paper
Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, Why Language Models Hallucinate, preprint (OpenAI e Georgia Tech), 4 settembre 2025.
I commenti sono riservati agli iscritti.
Accedi per commentare