L’entropia di Shannon: misurare la sorpresa

Avete presente il gioco delle venti domande? Uno pensa a un oggetto, l’altro può fare solo domande con risposta sì o no. Se giocate bene — se ogni domanda taglia le possibilità a metà — venti domande bastano per distinguere tra più di un milione di oggetti. Se giocate male («è un carciofo?», «è un trapano?»), venti domande non bastano nemmeno per il contenuto di un cassetto.

Nel 1948 Claude Shannon, un ingegnere dei Bell Labs, si accorse che dentro questo gioco c’era una teoria matematica completa: l’informazione si può misurare, e l’unità di misura è la domanda sì/no ben posta — il bit. La quantità che conta quante domande servono in media si chiama entropia. Quasi ottant’anni dopo, è il metro con cui si valuta ogni modello linguistico.

La sorpresa di un singolo evento

Partiamo dal mattone elementare. Quanta informazione porta una notizia? Shannon propose una risposta spiazzante: dipende solo da quanto era improbabile. «Domani a Palermo ad agosto ci sarà il sole» non vi dice quasi nulla — lo sapevate già. «Domani a Palermo ad agosto nevicherà» vi dice moltissimo. È il vecchio adagio dei giornalisti: un cane che morde un uomo non è una notizia, un uomo che morde un cane sì.

La formula che cattura questa intuizione è la sorpresa (o autoinformazione) di un evento con probabilità p: vale −log₂ p. Un evento certo (p = 1) ha sorpresa zero. Un evento con probabilità 1/2 ha sorpresa di 1 bit: è esattamente una domanda sì/no. Un evento con probabilità 1/1024 ha sorpresa di 10 bit: servono dieci dimezzamenti per arrivarci.

Perché proprio il logaritmo? Per una proprietà che vogliamo a tutti i costi: la sorpresa di due eventi indipendenti deve sommarsi. Se lancio due monete, la sorpresa di «testa e testa» deve essere il doppio di quella di una singola testa. Le probabilità si moltiplicano (1/2 × 1/2 = 1/4), e l’unica funzione che trasforma prodotti in somme è il logaritmo. Non è una scelta estetica: è l’unica opzione coerente.

Dall’evento alla distribuzione: l’entropia

La sorpresa riguarda un singolo esito. L’entropia fa il passo successivo: è la sorpresa media di una sorgente, pesata per quanto spesso ogni esito accade. Per una distribuzione con esiti di probabilità p₁, p₂, ... l’entropia è H = −Σ pᵢ log₂ pᵢ.

Il caso più pulito è la moneta. Una moneta equa ha entropia esattamente 1 bit: ogni lancio è massimamente imprevedibile, e per comunicarne l’esito serve una domanda sì/no piena. Una moneta truccata che dà testa il 90% delle volte ha entropia di circa 0,47 bit: meno della metà. Non perché i suoi lanci «contengano meno realtà», ma perché sono più prevedibili — la maggior parte delle volte, chi scommette su testa ha ragione e non impara nulla.

Due monete, due entropie. La moneta equa (a sinistra) è massimamente imprevedibile: ogni lancio vale un bit intero. Quella truccata al 90% (a destra) è quasi sempre prevedibile: la sua sorpresa media scende sotto mezzo bit.

Notate un dettaglio controintuitivo: l’entropia è massima quando tutti gli esiti sono equiprobabili, cioè quando non sapete niente. Un dado equo ha più entropia di un dado truccato; il rumore bianco ha più entropia di una sinfonia. L’entropia non misura la complessità o il valore di un messaggio: misura solo quanto è difficile indovinarlo prima di vederlo.

L’entropia non misura quello che sapete: misura quanto vi manca da sapere.

Il limite invalicabile della compressione

Fin qui sembra filosofia. Il colpo di genio di Shannon fu dimostrare che questo numero ha un significato operativo brutale: l’entropia è il numero minimo di bit per simbolo con cui una sorgente può essere compressa senza perdite. Non «difficile da battere»: impossibile da battere, in media, con qualunque algoritmo presente o futuro.

L’intuizione è quella del codice Morse, che precede Shannon di un secolo: la «e», lettera frequentissima in inglese, è un solo punto; la «q», rara, è una sequenza lunga. Dare codici corti agli esiti probabili e codici lunghi a quelli rari fa risparmiare in media. Shannon dimostrò che il risparmio ha un pavimento esatto, e quel pavimento è l’entropia. Quando comprimete una cartella in un file zip, state pagando l’entropia dei vostri dati: un testo ripetitivo si comprime tantissimo (entropia bassa), un file già compresso o cifrato non si comprime più (entropia vicina al massimo).

L’entropia della lingua

Shannon fece anche un esperimento che oggi suona profetico: chiese a delle persone di indovinare un testo inglese lettera per lettera, e usò i loro errori per stimare l’entropia della lingua. Risultato: circa un bit per lettera, molto meno dei 4,7 bit che servirebbero se le 26 lettere fossero equiprobabili. La lingua è ridondante — dopo «q» arriva quasi sempre «u», dopo «il gatto» difficilmente arriva «fotosintesi» — e questa ridondanza è ciò che ci permette di leggere una parola scritta male o capire una frase al telefono con la linea disturbata.

Ecco il ponte con l’AI contemporanea. Un modello linguistico è, alla lettera, una macchina che stima la distribuzione di probabilità della prossima parola. Addestrarlo significa ridurre la sua sorpresa media sui testi reali: portarla il più vicino possibile all’entropia intrinseca della lingua, sotto la quale nessun modello può scendere. La perplexity che trovate in ogni paper sui language model non è che l’entropia in un altro vestito: misura, in media, tra quante alternative equiprobabili il modello sta ancora esitando.

Perché vi riguarda

Se lavorate con i modelli, l’entropia è ovunque anche quando non la nominate. La loss con cui si addestrano i modelli linguistici è una cross-entropy — la sorpresa media del modello sui dati veri, tema del prossimo articolo di questa serie. Il parametro temperature che regolate nelle API dei modelli generativi alza o abbassa l’entropia della distribuzione di uscita: temperatura bassa, risposte prevedibili; temperatura alta, risposte più sorprendenti (e più rischiose). Perfino il sampling top_p è un modo di tagliare la coda meno probabile della distribuzione, cioè di controllare quanta sorpresa siete disposti ad accettare.

E se non lavorate con i modelli, l’entropia vi dà comunque una lente onesta sul mondo dell’informazione: distingue ciò che è davvero informativo da ciò che è solo rumoroso. Un titolo che potevate prevedere prima di leggerlo porta zero bit. Vale per i dati, e vale anche per i giornali.