Le allucinazioni: perché i modelli inventano

Nel 2023 un avvocato di New York deposita una memoria difensiva con sei precedenti giudiziari a sostegno della sua tesi. Il giudice li cerca nelle banche dati: non esistono. Nomi delle parti, numeri di fascicolo, citazioni testuali — tutto inventato, tutto perfettamente verosimile. L’avvocato aveva chiesto i precedenti a un chatbot, e il chatbot glieli aveva forniti con la sicurezza di un collega esperto. Quando lui gli aveva domandato se fossero casi reali, il modello aveva confermato. Il caso è finito sui giornali e in una sanzione disciplinare, ed è diventato l’esempio da manuale di quello che chiamiamo allucinazione: il modello produce contenuto falso con lo stesso tono, la stessa struttura e la stessa fluidità del contenuto vero.

La parola «allucinazione» è entrata nel lessico comune, ma suggerisce l’immagine sbagliata: un sistema che di solito percepisce il mondo correttamente e ogni tanto ha una visione. La realtà è più scomoda. Il modello non percepisce nessun mondo. Inventare non è un guasto occasionale del meccanismo: è il meccanismo stesso, osservato nei casi in cui il risultato non ci piace.

Completare, non consultare

Un modello linguistico fa una cosa sola: dato un testo, calcola la distribuzione di probabilità del token successivo. «La capitale della Francia è» → «Parigi» con probabilità altissima. Non c’è una seconda fase in cui il modello verifica: la generazione è tutta lì, un token dopo l’altro.

L’analogia più onesta è quella dello studente brillante all’esame orale. Ha letto moltissimo, ha un’ottima memoria per le forme — come suona una citazione, come è fatta una sentenza, che struttura ha un riferimento bibliografico — ma non può consultare nulla. Quando gli chiedete qualcosa che sa bene, risponde bene. Quando gli chiedete qualcosa che non sa, non ammette il vuoto: lo riempie con la cosa più plausibile che il suo orecchio suggerisce. E siccome il suo orecchio è allenato su milioni di testi veri, il riempimento suona vero.

Questo spiega una proprietà controintuitiva delle allucinazioni: sono più frequenti proprio dove il formato è rigido e i dettagli sono arbitrari. Una citazione giuridica, un DOI, il nome di una funzione in una libreria poco documentata. Il modello conosce benissimo la forma di questi oggetti, e la forma è quasi tutto ciò che serve per generarne uno falso credibile.

Probabilità senza grounding

Il termine tecnico per ciò che manca è grounding: un aggancio tra il testo generato e uno stato del mondo verificabile. Durante l’addestramento il modello non impara «Canberra è la capitale dell’Australia» come fatto in un database; impara che nei testi la sequenza «capitale dell’Australia» è seguita più spesso da certi token che da altri. Se nei dati Sydney compare vicino ad «Australia» molto più spesso di Canberra — perché è più grande, più famosa, più fotografata — la probabilità si contamina.

La generazione sceglie il token più probabile dato il contesto. Il collegamento con i fatti verificabili — il grounding — non fa parte del meccanismo: se la statistica dei testi favorisce la risposta sbagliata, il modello la produce con la stessa fluidità di quella giusta.

Il punto cruciale: per il meccanismo di generazione, una frase vera e una frase falsa ma plausibile sono indistinguibili. Entrambe sono sequenze ad alta probabilità. La verità non è una variabile del sistema.

Il modello non distingue tra ricordare e comporre: per lui sono la stessa operazione.

Perché «non lo so» è così raro

Si potrebbe obiettare: va bene, il modello non sa; ma perché non lo dice? In parte è ancora statistica — nei testi di addestramento le domande sono quasi sempre seguite da risposte, non da ammissioni di ignoranza. Ma c’è anche un problema di incentivi. I modelli vengono valutati su benchmark dove una risposta sbagliata e una risposta mancata spesso valgono lo stesso: zero. Come in un test a crocette senza penalità, la strategia ottima è tirare a indovinare, sempre. Un modello che rispondesse «non lo so» ogni volta che è incerto otterrebbe punteggi peggiori di uno che spara la risposta più plausibile — e i modelli vengono selezionati e raffinati per massimizzare quei punteggi.

Anche la fase di raffinamento con feedback umano gioca il suo ruolo: le persone tendono a preferire risposte sicure, complete, ben strutturate. Un’incertezza onesta è meno gradevole di una certezza infondata, almeno finché nessuno controlla. Il risultato è un sistema addestrato, tra le altre cose, a sembrare convincente.

Le forme tipiche dell’invenzione

Con l’uso, si impara a riconoscere dove le allucinazioni si annidano più spesso:

• Riferimenti e citazioni — paper, sentenze, libri, articoli: il formato è imparabile, il contenuto è arbitrario. Territorio ideale per l’invenzione.
• Dettagli numerici e date — un anno plausibile è statisticamente vicino a quello vero, e il modello non ha modo di preferire il vero.
• API e funzioni di codice — il modello propone la funzione che dovrebbe esistere in una libreria coerente. A volte esiste, a volte no.
• La coda dei dettagli — l’impianto generale di una risposta è spesso corretto (è coperto da molti testi), mentre i dettagli specifici, coperti da pochi o nessun testo, vengono riempiti per interpolazione.

La regola pratica: più un’informazione è specifica, rara e verificabile, più il rischio sale. Chiedere «cos’è la fotosintesi» è sicuro; chiedere «in quale pagina di quale paper compare questa formula» è una richiesta di allucinazione.

Cosa funziona davvero (e cosa no)

Contro le allucinazioni non esiste l’interruttore magico, ma esistono strategie con efficacia molto diversa. Abbassare la «temperatura» di generazione rende le risposte più ripetibili, non più vere: se la sequenza falsa è la più probabile, verrà scelta con ancora più costanza. Chiedere al modello «sei sicuro?» produce a volte una correzione, a volte una conferma dell’errore, con la stessa sicurezza in entrambi i casi.

Le strategie che spostano davvero l’ago agiscono tutte sullo stesso punto: reintrodurre il grounding che il meccanismo non ha. Il retrieval-augmented generation mette i documenti pertinenti direttamente nel prompt, trasformando la domanda da esame a memoria a esame a libro aperto — il modello non deve più ricordare, deve leggere. Gli strumenti esterni (ricerca web, esecuzione di codice, interrogazione di database) permettono di verificare invece che generare. E le citazioni obbligatorie con link controllabili trasformano ogni affermazione in qualcosa che il lettore può verificare in trenta secondi.

Nessuna di queste strategie elimina il problema. Un sistema RAG può recuperare il documento sbagliato o riassumerlo male; un modello con accesso alla ricerca può ignorarla e rispondere a memoria. Riducono la frequenza degli errori, non la necessità del controllo.

Perché vi riguarda

Se usate un modello linguistico per lavorare — scrivere, programmare, studiare, decidere — le allucinazioni non sono una curiosità tecnica: sono il parametro che definisce come potete fidarvi dello strumento. La conclusione operativa è meno drammatica di quanto sembri. Non serve diffidare di tutto; serve sapere dove diffidare. Usate il modello con fiducia per ciò che potete verificare al volo o dove l’errore costa poco: bozze, spiegazioni, codice che comunque testerete, riformulazioni. Trattate come non verificata — perché lo è — ogni informazione specifica che finirebbe in un documento con il vostro nome sopra: numeri, date, citazioni, riferimenti, nomi propri.

L’avvocato di New York non è stato tradito da una tecnologia difettosa. È stato tradito dall’aver scambiato la fluidità per affidabilità — l’errore più naturale del mondo davanti a un sistema costruito, letteralmente, per produrre il testo più plausibile possibile. Sapere come funziona il meccanismo è la migliore difesa: quando conosci il trucco, la magia smette di ingannarti e inizia a servirti.