Apri una pagina web, scrivi una domanda qualsiasi — «spiegami la relatività a un bambino», «scrivimi una funzione che ordina una lista» — e ricevi due risposte affiancate, prodotte da due assistenti anonimi. Ne scegli una, quella che ti convince di più. Solo dopo aver votato la pagina ti svela chi erano: da una parte un modello commerciale famoso, dall’altra un modello open source di cui non avevi mai sentito il nome. Moltiplica questo piccolo gesto per milioni di volte e ottieni Chatbot Arena, la piattaforma lanciata nel maggio 2023 dal gruppo LMSYS, nata all’Università di Berkeley, diventata in fretta il modo più citato per rispondere a una domanda che sembra banale e non lo è affatto: quale modello è migliore?
Il problema: valutare ciò che non ha una risposta giusta
Con i benchmark classici la vita è semplice. Chiedi a un modello mille problemi di matematica, conti quante risposte azzecca, hai un numero. Ma la maggior parte di ciò che chiediamo davvero a un assistente non funziona così. Non esiste una risposta «corretta» a «riscrivimi questa email in tono più cordiale» o «aiutami a strutturare un discorso di matrimonio». Esiste una risposta che a te piace di più. La qualità qui è una preferenza, non un fatto verificabile.
Il tentativo ingenuo è affidarsi a un panel di annotatori professionisti che valutano le risposte una per una. È accurato ma lento, costoso, e copre pochi casi. Chatbot Arena rovescia il tavolo: invece di pagare pochi esperti per giudizi assoluti, raccoglie giudizi relativi da chiunque passi. Non «quanto vale questa risposta da 1 a 10», ma la domanda molto più facile «tra queste due, quale preferisci?». Confrontare è più semplice che misurare, e sfruttando l’intero traffico della piattaforma i confronti diventano centinaia di migliaia, poi milioni.
Elo: l’idea rubata agli scacchi
Restava un problema: come si passa da un mucchio di voti sparsi — il modello A ha battuto B, poi ha perso contro C, C ha battuto D — a una classifica ordinata? La risposta gli autori l’hanno presa in prestito dagli scacchi. Il sistema Elo, inventato per graduare i giocatori, assegna a ciascuno un punteggio e prevede l’esito di una partita in base alla differenza di punteggio: se batti un avversario molto più forte guadagni tanti punti, se batti uno più debole ne guadagni pochi. Perdere contro un debole costa caro.
Ogni «battaglia» nell’arena è trattata come una partita: due modelli si affrontano sullo stesso prompt, il voto dell’utente decide chi vince, i punteggi si aggiornano. È lo stesso meccanismo con cui si costruisce la classifica di un torneo di tennis a partire dai risultati testa a testa, senza mai dover dire in astratto «quanto è bravo» un giocatore.
Con l’aumentare dei dati il team è passato a un calcolo statisticamente più solido, il modello di Bradley-Terry, che invece di aggiornare i punteggi partita dopo partita ricalcola l’intera classifica in un colpo solo su tutti i confronti raccolti — un po’ come rifare la tabella di un campionato considerando insieme ogni scontro giocato, anziché sommare punti giornata per giornata. Il risultato viene comunque presentato sulla familiare scala Elo, con tanto di intervalli di confidenza: perché un modello con pochi voti ha un punteggio molto più incerto di uno testato milioni di volte.
Quando il giudice è un altro modello
I voti umani sono la valuta forte dell’arena, ma sono lenti e cari da raccogliere. Nello stesso filone di ricerca gli autori hanno studiato una scorciatoia: e se a giudicare fosse un altro LLM? È l’idea del LLM-as-a-judge. Si dà a un modello potente — nel loro lavoro GPT-4 — la domanda e le due risposte da confrontare, e gli si chiede quale sia migliore, esattamente come farebbe un revisore umano che legge due temi e stabilisce quale è scritto meglio, senza bisogno di una griglia di risposte esatte.
Il dato interessante è quanto bene funzioni: nel loro benchmark di conversazioni multi-turno, il giudizio di GPT-4 concordava con quello degli esseri umani circa l’80% delle volte — più o meno lo stesso tasso con cui due persone diverse concordano fra loro. In altre parole, il disaccordo tra un modello-giudice e un umano non era molto maggiore del disaccordo tra due umani. Un risultato che ha reso possibile valutare automaticamente migliaia di risposte a costo quasi nullo.
Ogni battaglia è una partita: due modelli rispondono allo stesso prompt, l’utente vota, e l’insieme dei voti viene condensato in un punteggio in stile Elo che ordina la classifica. Barre illustrative.
I difetti del giudice
Un modello-giudice non è neutrale come sembra. La ricerca ha catalogato distorsioni sistematiche di cui bisogna diffidare. C’è il bias di posizione: a parità di contenuto molti modelli tendono a preferire la risposta mostrata per prima, come un giudice di gara che favorisce il piatto assaggiato all’inizio quando ancora aveva fame. C’è il bias di verbosità: la risposta più lunga e ricca di elenchi viene giudicata migliore anche quando dice le stesse cose, scambiando l’abbondanza per qualità. E c’è il self-enhancement bias: un modello tende a premiare risposte scritte in uno stile simile al proprio. Chi usa questi strumenti per valutare deve correggere apposta — per esempio scambiando l’ordine delle due risposte e votando due volte — altrimenti misura le manie del giudice, non il merito dei concorrenti.
Anche l’arena dei voti umani ha i suoi punti deboli. Il pubblico premia lo stile, il tono sicuro, la formattazione ordinata, non sempre la correttezza: una risposta sbagliata ma ben impaginata può battere una giusta ma scarna. E una classifica così popolare diventa un bersaglio: se addestri un modello per compiacere l’arena, rischi di ottimizzare l’apparenza della qualità più della qualità. È la vecchia legge per cui una misura, quando diventa un obiettivo, smette di essere una buona misura.
Perché ti riguarda
Quasi ogni classifica di LLM che leggi oggi — nei comunicati dei laboratori, negli articoli, nelle discussioni tecniche — discende in qualche modo da queste due idee: il confronto a coppie con punteggio in stile Elo, e l’uso di un modello come giudice al posto di un umano. Sapere come funzionano ti dà gli anticorpi giusti. Quando vedi «il nostro modello è primo nell’arena», ora sai chiedere: primo di quanto, con che intervallo di confidenza, e giudicato da chi? La differenza tra fidarsi di un numero e capire come è nato è, spesso, tutta qui.
Per approfondire
I due lavori di riferimento del gruppo LMSYS (oggi LMArena): Chiang, Zheng, Sheng e colleghi, Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference, 2024 — arxiv.org/abs/2403.04132; e Zheng, Chiang e colleghi, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, 2023 — arxiv.org/abs/2306.05685. La piattaforma e la classifica aggiornata sono pubbliche online.
I commenti sono riservati agli iscritti.
Accedi per commentare