Lanciate una moneta dieci volte e ottenete sette teste. La moneta è truccata? Non potete saperlo con certezza. Ma potete porvi una domanda più modesta e più utile: tra tutte le monete possibili — quella equa, quella che dà testa il 60% delle volte, quella che lo dà il 70% — quale rende meno sorprendente il risultato che avete appena visto? La risposta, in questo caso, è la moneta al 70%. Nessun’altra ipotesi assegna a «sette teste su dieci» una probabilità più alta.
Variabili aleatorie, centro e larghezza di una distribuzione, gaussiana e teorema di Bayes stanno per esteso nel libro.
Leggi «Probabilità e statistica: convivere con l’incertezza» nel libro →
Avete appena applicato il principio di massima verosimiglianza. È un’idea che sta in una frase, ma regge quasi tutto il machine learning moderno: quando un modello linguistico impara a prevedere la prossima parola, sta facendo esattamente questo ragionamento su scala di miliardi di parametri.
L’idea in una frase
Il principio funziona come un investigatore che ragiona a ritroso. Un detective non chiede «dato il colpevole, cosa sarebbe successo?»: chiede «dato quello che è successo, quale colpevole lo spiega meglio?». La massima verosimiglianza fa lo stesso con i dati: invece di partire dal modello e prevedere i dati, parte dai dati e cerca il modello che li spiega meglio.
Formalmente: avete dei dati osservati e una famiglia di modelli indicizzata da un parametro θ (la probabilità di testa della moneta, i coefficienti di una regressione, i pesi di una rete neurale). La verosimiglianza L(θ) è la probabilità dei vostri dati calcolata assumendo che il parametro valga θ. La stima di massima verosimiglianza è il valore di θ che massimizza questa funzione.
Notate lo spostamento di prospettiva, perché è tutto qui: la stessa formula della probabilità viene letta al contrario. I dati sono fissi — sono successi, non si discutono — e a variare è l’ipotesi. La verosimiglianza non è «quanto sono probabili i dati» ma «quanto è credibile questa ipotesi alla luce dei dati».
La matematica minima
Per la moneta il conto si fa a mano. Se la probabilità di testa è p, la probabilità di una specifica sequenza con sette teste e tre croci è p⁷(1−p)³. Provate qualche valore: con p = 0,5 viene circa 0,00098; con p = 0,7 viene circa 0,00222 — più del doppio. E se disegnate l’intera curva di L(p) al variare di p, scoprite che il massimo cade esattamente a 0,7: la frequenza osservata. Il principio, applicato al caso più semplice, restituisce la risposta che l’intuizione avrebbe dato gratis. È un buon segno: le idee robuste coincidono con il buon senso nei casi facili e lo estendono nei casi difficili.
Due curve di verosimiglianza con lo stesso massimo (p = 0,7): con 10 lanci la curva è larga e molte ipotesi restano plausibili; con 100 lanci si stringe attorno alla stima. Più dati non spostano il picco, lo rendono più affilato.
Il grafico mostra anche la seconda metà della storia: la forma della curva conta quanto il suo massimo. Sette teste su dieci e settanta su cento danno la stessa stima, 0,7, ma con dieci lanci la curva è larga — l’ipotesi 0,5 resta del tutto plausibile — mentre con cento è stretta e affilata. La verosimiglianza non vi dà solo una risposta: vi dice quanto fidarvi della risposta.
Perché tutti usano il logaritmo
Nella pratica nessuno massimizza L(θ) direttamente: si massimizza il suo logaritmo. I motivi sono due, uno pigro e uno profondo. Quello pigro: la verosimiglianza di un dataset è un prodotto di tante probabilità, ognuna minore di 1, e moltiplicare un milione di numeri piccoli produce un valore così vicino a zero che nessun computer lo rappresenta. Il logaritmo trasforma il prodotto in una somma, e le somme non collassano.
Quello profondo: massimizzare la log-verosimiglianza equivale a minimizzare la cross-entropy tra la distribuzione vera dei dati e quella del modello. Se avete mai addestrato un classificatore o un modello linguistico «minimizzando la cross-entropy loss», stavate facendo massima verosimiglianza sotto falso nome. Non è un’analogia: è la stessa identica operazione, riscritta col segno meno davanti.
Un LLM addestrato a prevedere la prossima parola è uno stimatore di massima verosimiglianza con qualche miliardo di parametri: cerca i pesi che rendono il testo del corpus il meno sorprendente possibile.
Il principio dietro le loss che usate ogni giorno
Una volta vista la struttura, la riconoscete ovunque. La regressione con errore quadratico medio? È massima verosimiglianza assumendo rumore gaussiano attorno alla retta. La regressione logistica con la sua loss? Massima verosimiglianza su un modello di Bernoulli. Il pre-training di GPT sulla previsione del token successivo? Massima verosimiglianza sulla distribuzione del linguaggio, un token alla volta.
Questo spiega perché il principio è così centrale: non è una tecnica in un catalogo, è la fabbrica da cui escono le funzioni di costo. Quando scegliete una loss, state implicitamente dichiarando un modello probabilistico dei vostri dati; la massima verosimiglianza è il traduttore che converte quel modello nella funzione da minimizzare.
Dove il principio scricchiola
La massima verosimiglianza ha un difetto noto: si fida troppo dei dati. Con tre lanci e tre teste, la stima è p = 1 — una moneta che dà sempre testa. È l’ipotesi che rende i dati meno sorprendenti, certo, ma è anche assurda: nessuna moneta reale è così, e tre lanci non bastano a dichiararlo. È la versione statistica dell’overfitting: il modello aderisce perfettamente al campione e generalizza male.
Il rimedio classico è aggiungere conoscenza a priori: partire dall’idea che le monete tendono a essere quasi eque, e lasciare che i dati la correggano gradualmente. È l’approccio bayesiano, e la sua versione operativa — la stima maximum a posteriori — è massima verosimiglianza più un termine di penalità. Se vi suona familiare è perché la regolarizzazione L2 che aggiungete alle vostre loss è esattamente questo: un prior gaussiano sui pesi, travestito da trucco ingegneristico.
Perché vi riguarda
Se addestrate modelli, la massima verosimiglianza è la grammatica che state già parlando senza saperlo: ogni loss standard è una sua incarnazione, ogni regolarizzazione è un prior che la tempera. Conoscere il principio vi dà due superpoteri concreti. Il primo: leggere una funzione di costo e capire quale ipotesi probabilistica nasconde — e quindi quando quella ipotesi è sbagliata per i vostri dati. Il secondo: ricordare che una stima senza la sua curva è mezza informazione. Il picco vi dice cosa credere; la larghezza vi dice quanto. Nel lavoro quotidiano con i modelli, la seconda metà è quella che evita gli incidenti.
I commenti sono riservati agli iscritti.
Accedi per commentare