Scrivi «Il gatto dorme sul» e ti fermi. Il tuo telefono, sopra la tastiera, propone tre parole: «divano», «letto», «tappeto». Quel suggerimento — banale, quasi invisibile — è la stessa identica operazione che compie GPT-4 o Claude quando ti scrive un saggio di duemila parole, riassume un contratto o risponde a una domanda di fisica. Cambia la scala, non il compito. Un large language model fa una cosa sola: data una sequenza di testo, stima la probabilità della parola successiva. Tutto il resto — la conversazione, il ragionamento apparente, lo stile — emerge da lì.
Il pretraining su scala web, le leggi di scala, e l’arte di scegliere la parola dopo — temperatura, top-p, KV cache — stanno nel libro.
Un solo compito, ripetuto miliardi di volte
Il compito si chiama next token prediction. Un token non è esattamente una parola: è un pezzo di testo — a volte una parola intera, a volte una sillaba, a volte un segno di punteggiatura — scelto da un vocabolario fisso di alcune decine di migliaia di elementi. «Gatto» può essere un token unico; «antropomorfizzazione» probabilmente ne occupa tre o quattro.
Dato il contesto — tutti i token visti finora — il modello produce in uscita una distribuzione di probabilità sull’intero vocabolario: a ogni token possibile viene assegnato un numero, e i numeri sommano a uno. Non «sceglie una parola»: assegna una quota di fiducia a tutte. È come un bookmaker che, prima di una corsa, deve pubblicare le quote di ogni cavallo iscritto — anche di quelli senza speranza.
Testo in ingresso, distribuzione di probabilità in uscita: il ciclo fondamentale di ogni LLM, ripetuto per ogni singolo token generato.
Da dove vengono le probabilità
Le quote del bookmaker vengono dall’esperienza: migliaia di corse osservate. Per un LLM vale lo stesso, ma su scala diversa. Durante l’addestramento, il modello legge enormi quantità di testo — libri, pagine web, codice, articoli — e per ogni posizione gioca sempre allo stesso gioco: «copri la parola successiva e prova a indovinarla». Quando sbaglia, un algoritmo di ottimizzazione corregge leggermente i suoi parametri interni — centinaia di miliardi di numeri — nella direzione che avrebbe reso la parola giusta più probabile.
Ripetuto migliaia di miliardi di volte, questo aggiustamento minuscolo produce qualcosa di sorprendente. Per prevedere bene la parola dopo, non basta la statistica di superficie: serve la grammatica (dopo «le case» viene un aggettivo plurale femminile), servono i fatti (dopo «la capitale della Francia è» viene «Parigi»), serve perfino un po’ di logica (per completare la soluzione di un indovinello, bisogna in qualche misura risolverlo). Il modello non è stato programmato per sapere queste cose: le ha compresse dentro i suoi parametri perché servivano a vincere il gioco.
Il trucco è nella ripetizione
Ma una distribuzione di probabilità non è ancora un testo. Come si passa dal «prossimo token» a una risposta di venti righe? Con un ciclo. Il modello prevede il token successivo, una parola viene campionata dalla distribuzione, si accoda al contesto, e la sequenza allungata di uno rientra nel modello per prevedere il token dopo ancora. Si chiama generazione autoregressiva: il modello si legge alle spalle a ogni passo, come qualcuno che scrive una frase rileggendola dall’inizio a ogni nuova parola.
Il campionamento è la ragione per cui la stessa domanda produce risposte diverse. Un parametro, la temperatura, regola quanto il modello osa: temperatura bassa e sceglie quasi sempre il token più probabile (risposte prevedibili, ripetitive); temperatura alta e concede spazio agli outsider (risposte più varie, ma anche più incidenti). Non è un dettaglio tecnico: è la manopola che separa un assistente affidabile da un generatore di brainstorming.
«Tutto qui» — ma non è poco
Prevedere bene la parola successiva, su tutto il testo che l’umanità ha scritto, richiede di modellare un pezzo del mondo che quel testo descrive.
La tentazione, arrivati qui, è liquidare gli LLM come «pappagalli statistici». È una posizione legittima e dibattuta seriamente nella comunità di ricerca — ma il punto merita più cura. Il compito è semplice da enunciare; risolverlo bene è tutto tranne che semplice. Per completare «il bicchiere è caduto dal tavolo, quindi» serve un modello — implicito, imperfetto, ma funzionante — di come si comportano gli oggetti fragili. Se poi questo conti come «capire» è una questione aperta, e chi vi dà una risposta netta in una direzione o nell’altra sta semplificando.
Quello che si può dire onestamente: la predizione del token successivo è il meccanismo, non il limite del comportamento. Da un meccanismo uniforme emergono capacità molto diverse tra loro — tradurre, riassumere, scrivere codice — senza che nessuna sia stata programmata esplicitamente. È il fatto empirico più interessante dell’ultimo decennio di informatica, e non serve gonfiarlo con parole grosse.
I difetti sono figli dello stesso meccanismo
Capire il meccanismo spiega anche i fallimenti, che non sono bug misteriosi ma conseguenze dirette. Le allucinazioni, per cominciare: il modello è addestrato a produrre continuazioni plausibili, non vere. Se gli chiedi la bibliografia di un autore minore, la distribuzione di probabilità gli suggerirà titoli che suonano come i titoli di quell’autore — e lui li scriverà con la stessa sicurezza tipografica di un fatto verificato. Non sta mentendo: sta completando. La verità non è una variabile del gioco a cui è stato addestrato.
Stesso discorso per l’aritmetica traballante (i numeri sono token come gli altri, e le tabelline viste nel corpus non coprono tutte le moltiplicazioni possibili) e per la data di taglio della conoscenza: il modello sa solo ciò che c’era nei testi di addestramento, e il mondo dopo quella data semplicemente non esiste nella sua distribuzione.
Perché ti riguarda
Se usi un LLM ogni giorno — e a questo punto è probabile — il modello mentale «predittore di parola successiva» è lo strumento più pratico che puoi portarti a casa. Ti dice quando fidarti: sui compiti dove la plausibilità coincide con la correttezza (riformulare, tradurre, riassumere un testo che gli hai dato) gli LLM sono eccellenti, perché il gioco a cui sono bravi è esattamente quello richiesto. E ti dice quando diffidare: sui fatti puntuali, sui numeri, sulle citazioni, la plausibilità e la verità divergono — ed è lì che devi verificare.
La prossima volta che una risposta ti sembra magica, o che un’allucinazione ti sembra assurda, ricorda il telefono e le sue tre parole suggerite. È lo stesso gioco. Solo giocato, miliardi di parametri dopo, straordinariamente bene.
I commenti sono riservati agli iscritti.
Accedi per commentare