Precision, recall, F1: la matrice di confusione spiegata

Un test diagnostico azzecca il 99% dei casi. Sembra eccellente, finché non si guarda il contesto: se la malattia colpisce una persona su cento, un «test» che risponde sempre «sano» raggiunge lo stesso 99% senza aver esaminato nessuno. Ha un’accuracy altissima e non ha individuato nemmeno un malato. È l’esempio più citato della statistica applicata, e continua a essere citato perché l’errore continua a essere commesso — nei sistemi antifrode, nei filtri antispam, nei modelli di churn, ovunque la classe interessante sia rara.

Per capire cosa sbaglia davvero un classificatore serve smontare quell’unico numero in quattro. Lo strumento si chiama matrice di confusione, e da lì discendono tutte le metriche serie: precision, recall, F1.

Quattro modi di avere ragione o torto

Un classificatore binario, davanti a ogni esempio, dice «positivo» o «negativo» — dove «positivo» è convenzionalmente la classe che ci interessa scovare: la frode, la malattia, lo spam. La realtà, dal canto suo, è positiva o negativa per davvero. Incrociando previsione e realtà escono quattro casi, non due:

• Vero positivo (TP): il modello dice frode, ed era frode. Colpito.
• Falso positivo (FP): il modello dice frode, ma era una transazione legittima. Falso allarme.
• Falso negativo (FN): il modello dice tutto ok, ma era frode. Il caso sfuggito.
• Vero negativo (TN): il modello dice tutto ok, ed era tutto ok. Silenzio giusto.

Disposti in tabella, questi quattro numeri formano la matrice di confusione: le righe dicono cosa era vero, le colonne cosa ha detto il modello. Tutta l’informazione sul comportamento del classificatore sta qui dentro; ogni metrica è solo un modo diverso di riassumerla.

La matrice di confusione: la precision si legge lungo la colonna delle previsioni positive, la recall lungo la riga dei positivi reali.

Precision: quando parli, quanto sei affidabile?

La precision risponde alla domanda: di tutte le volte che il modello ha detto «positivo», quante volte aveva ragione? Si calcola come TP / (TP + FP): si legge scendendo lungo la colonna delle previsioni positive.

L’analogia utile è quella del collega che segnala problemi. Un collega ad alta precision parla poco, ma quando dice «qui c’è un bug» c’è davvero: puoi fidarti di ogni sua segnalazione. La precision misura il costo dei falsi allarmi: se il tuo sistema antifrode blocca carte legittime, ogni falso positivo è un cliente furioso al telefono. Quando i falsi allarmi costano cari, la precision è la metrica da guardare.

Recall: di quello che c’era, quanto hai trovato?

La recall (in italiano a volte «sensibilità») risponde alla domanda speculare: di tutti i positivi reali, quanti ne ha trovati il modello? Si calcola come TP / (TP + FN): si legge scorrendo la riga dei positivi veri.

Qui l’analogia è la rete da pesca. Una rete a maglie strette prende quasi tutti i pesci della zona — recall alta — ma tira su anche alghe e detriti. La recall misura il costo dei casi sfuggiti: in uno screening oncologico, un falso negativo è un tumore non diagnosticato. Quando lasciar passare un positivo è il danno peggiore, è la recall che comanda.

Il tiro alla fune, e la soglia che lo governa

Precision e recall sono in tensione strutturale, non per sfortuna. Quasi tutti i classificatori producono in realtà un punteggio continuo — una probabilità stimata — e la decisione binaria nasce da una soglia: sopra 0,5 dico positivo, sotto dico negativo. Alzare la soglia rende il modello più prudente: parla solo quando è sicuro, la precision sale, ma più casi veri restano sotto la soglia e la recall scende. Abbassarla fa l’opposto.

Non esiste il classificatore «migliore» in astratto: esiste il punto giusto sul filo teso tra falsi allarmi e casi sfuggiti, e a scegliere il punto è il costo degli errori, non la matematica.

Portare recall al 100% è banale: dichiara tutto positivo. Portare la precision vicino al 100% è altrettanto facile: segnala solo il caso più lampante dell’anno. Entrambi gli estremi sono inutili, ed è per questo che nessuna delle due metriche, da sola, basta.

F1: una media che punisce gli squilibri

Quando serve un numero solo — per confrontare modelli, per un report — si usa l’F1 score: la media armonica di precision e recall, cioè 2·P·R / (P + R). La scelta dell’armonica al posto della media semplice non è un vezzo: la media armonica è dominata dal valore più basso. Un modello con precision 1,0 e recall 0,1 ha media aritmetica 0,55 — dignitosa sulla carta — ma F1 pari a 0,18, che rivela il fallimento. È come valutare una squadra di staffetta sul tempo del frazionista più lento: non puoi compensare un buco con un’eccellenza altrove.

L’F1 dà lo stesso peso ai due tipi di errore, il che è un’assunzione, non una verità. Se nel tuo problema i falsi negativi pesano di più, esiste la variante F-beta (con beta 2, la recall conta il doppio). E se le classi sono più di due, la matrice diventa n×n e le metriche si aggregano per media «macro» (ogni classe pesa uguale) o «micro» (ogni esempio pesa uguale) — una scelta che con classi sbilanciate cambia parecchio il risultato.

Perché ti riguarda

Anche se non addestrerai mai un modello, i classificatori decidono già oggi se la tua transazione viene bloccata, se la tua mail finisce nello spam, se il tuo referto merita un secondo controllo. Ogni volta che qualcuno ti presenta uno di questi sistemi con un solo numero — «accurato al 97%» — la domanda giusta è: 97% su cosa? Quanti positivi c’erano? Quanti falsi allarmi genera, quanti casi si perde?

La matrice di confusione è, in fondo, uno strumento di onestà: costringe a dichiarare quale errore si è scelto di tollerare. Perché una scelta c’è sempre — la fa chi fissa la soglia, in base a chi paga il costo dello sbaglio. Saper leggere quei quattro numeri significa poter partecipare a quella decisione, invece di subirla.