Verso la metà degli anni Dieci un grande gruppo tecnologico costruisce un sistema sperimentale per scremare i curriculum in arrivo. L’idea è affidare a un modello il lavoro noioso: leggere migliaia di CV e far salire in cima i più promettenti. Il modello viene addestrato sul materiale più naturale che ci sia — i curriculum ricevuti negli anni precedenti e le assunzioni che ne erano seguite. Dopo qualche tempo emerge un problema: il sistema penalizza sistematicamente i curriculum femminili. Abbassa il punteggio a chi ha scritto «women’s» in una voce come «capitana del club di scacchi femminile», e sfavorisce le laureate di alcuni atenei per sole donne. Nessuno aveva programmato una regola del genere. Il modello l’aveva dedotta: nei dati storici del settore erano stati assunti soprattutto uomini, e la macchina aveva imparato che «uomo» era un segnale di successo. Il progetto viene abbandonato.
Da dove entra il bias, come si misura l’equità fra gruppi e i risultati di impossibilità stanno nel libro.
Questa storia è utile perché smonta un equivoco diffuso. Il bias di un modello non è quasi mai un capriccio dell’algoritmo o la malafede di chi lo scrive. È qualcosa di più scomodo: il modello riflette fedelmente il mondo che gli abbiamo mostrato, comprese le sue disuguaglianze, e a volte le restituisce accentuate.
Il bias non nasce nel modello
Per capire dove entra il pregiudizio conviene seguire la catena che porta dai dati alle decisioni. Un modello di apprendimento automatico è, in fondo, uno specchio statistico: guarda una montagna di esempi passati e ne estrae le regolarità. Se gli esempi contengono una regolarità sgradevole — «in questo settore vengono assunti soprattutto uomini» — lo specchio la riflette senza esitare, perché non ha un concetto di «giusto», solo di «frequente».
Ma è uno specchio particolare, perché amplifica. Se nei dati l’80% di una certa professione è maschile, un modello che vuole minimizzare l’errore impara spesso a rispondere «uomo» ben più dell’80% delle volte: puntare sulla maggioranza è la scommessa che sbaglia di meno. Così una disparità presente nel mondo esce dal modello più marcata di com’era entrata.
Il bias entra dai dati (il mondo con le sue disparità), viene appreso e spesso accentuato dal modello, e riappare negli output. La freccia tratteggiata chiude il cerchio: le decisioni prodotte oggi alimentano i dati di domani, e il pregiudizio può rinforzarsi da solo.
Le tre sorgenti del pregiudizio
Non tutti i bias hanno la stessa origine, e distinguerli serve a sapere dove intervenire. La prima sorgente è il bias storico: i dati registrano fedelmente un mondo che è già iniquo. Se per decenni certi prestiti sono stati concessi in modo diseguale, un modello addestrato su quello storico erediterà la disparità anche con dati perfettamente accurati. Qui il problema non è nei dati sbagliati, ma nel mondo che descrivono.
La seconda è il bias di rappresentazione: alcuni gruppi compaiono poco nei dati, e il modello li conosce peggio. È il caso classico del riconoscimento facciale addestrato in prevalenza su volti chiari e maschili: un noto studio del 2018 ha mostrato che l’errore di classificazione poteva superare il 30% per le donne dalla pelle scura, contro meno dell’1% per gli uomini dalla pelle chiara. Non è che il modello «odiasse» qualcuno: semplicemente aveva visto pochi esempi di quel gruppo e aveva imparato male. È come uno studente che ha ripassato tantissimo un capitolo e sfogliato appena l’altro.
La terza, la più sottile, è il bias di misura: l’etichetta che diamo al modello è a sua volta un proxy imperfetto. Vogliamo prevedere «chi commetterà un reato», ma nei dati abbiamo «chi è stato arrestato» — e le due cose non coincidono se certi quartieri sono più controllati di altri. Il modello impara benissimo a prevedere gli arresti e noi crediamo che stia prevedendo i reati. È la disparità che ha reso famoso il dibattito sugli strumenti di valutazione del rischio nei tribunali statunitensi.
Come si misura, davvero
Dire «questo modello è distorto» non basta: bisogna decidere cosa significhi equo, e qui comincia la parte difficile. Esistono definizioni diverse, tutte ragionevoli e in parte incompatibili. La parità demografica chiede che la percentuale di esiti positivi sia uguale tra i gruppi: stessa quota di curriculum promossi per uomini e donne. L’uguaglianza degli errori chiede invece che il modello sbagli allo stesso modo per tutti: stesso tasso di falsi positivi e falsi negativi in ogni gruppo. La calibrazione chiede che un punteggio di «rischio 70%» significhi davvero 70% in ciascun gruppo.
Non esiste un modello «equo» in assoluto: esiste un modello equo secondo una definizione che qualcuno ha dovuto scegliere.
Il fatto scomodo, dimostrato in modo rigoroso, è che quando i due gruppi partono da frequenze di base diverse queste definizioni non possono valere tutte insieme. Migliorare la parità sugli errori peggiora la calibrazione, e viceversa. Non è un limite tecnologico che una rete più grande risolverà: è un vincolo matematico. Sta a chi progetta scegliere quale nozione di equità conta di più per quel contesto — e assumersene la responsabilità, invece di nasconderla dietro un numero.
Non è un bug da patchare
C’è la tentazione di trattare il bias come un difetto da rimuovere con un aggiornamento. Alcune cose si possono fare: bilanciare i dati raccogliendo più esempi dei gruppi sottorappresentati, ripesare l’addestramento, e soprattutto valutare il modello per sottogruppi invece che guardare solo l’accuratezza media, che nasconde i disastri locali dietro una buona media. Anche le rappresentazioni interne portano tracce del pregiudizio: nei primi word embedding si poteva letteralmente calcolare l’analogia «uomo sta a programmatore come donna sta a casalinga», perché il modello aveva assorbito quell’associazione dai testi.
Ma la parte davvero difficile non è tecnica. È decidere cosa vogliamo che il sistema faccia, in un mondo in cui i dati riflettono disuguaglianze reali. Quella è una scelta etica e politica, non un iperparametro. Nasconderla dentro il codice non la fa sparire: la rende solo invisibile.
Perché ti riguarda
Questi modelli decidono sempre più spesso cose che pesano su una vita: chi passa un colloquio, chi ottiene un fido, quale segnalazione viene approfondita. Se ti capita di costruirne uno, il messaggio pratico è che l’accuratezza media non ti assolve — un sistema può essere «bravo» in generale e ingiusto in modo grave con un gruppo specifico, e te ne accorgi solo se guardi i sottogruppi. Se invece uno di questi sistemi decide qualcosa su di te, vale la pena ricordare che dietro il suo verdetto apparentemente neutro c’è una catena di scelte umane: quali dati, quale etichetta, quale definizione di equità. La domanda «è giusto?» non si può delegare a una metrica. Qualcuno, a un certo punto, l’ha dovuta rispondere.
I commenti sono riservati agli iscritti.
Accedi per commentare