LLM-as-judge: il modello che valuta i modelli

Hai cambiato tre righe del prompt di sistema del tuo assistente e ora vuoi sapere se hai migliorato le cose o le hai peggiorate. Prima rispondeva in modo asciutto, ora si dilunga e fa esempi. Quale versione serve meglio chi la usa? La risposta onesta è che dovresti rileggere qualche migliaio di conversazioni, una per una, e assegnare un voto a ciascuna. Nessuno lo fa a ogni modifica: sarebbe come ricontrollare il bilancio dell’azienda ogni volta che si sposta una virgola. Così, dal 2023 in avanti, chi costruisce software su modelli linguistici ha adottato una scorciatoia che, detta ad alta voce, sembra una barzelletta: chiedere il verdetto a un altro modello linguistico.

La parte notevole è che regge. Non alla perfezione, e con qualche insidia precisa che vedremo — ma abbastanza bene da essere diventato il modo abituale di misurare la qualità di questi sistemi quando le metriche automatiche di una volta non dicono più niente. La tecnica ha anche un nome tecnico, LLM-as-judge, e vale la pena capire dove funziona, perché, e in quali punti precisi si incrina.

Il problema che un numero non chiude

Per molti compiti informatici valutare è banale: un programma che ordina una lista o restituisce la sequenza giusta o non la restituisce. Ma come si dà un voto a un testo scritto in linguaggio naturale? «Spiega la fotosintesi a un bambino di otto anni» non ha una risposta corretta e sola: ne ha migliaia, tutte accettabili, alcune migliori di altre per ragioni che è difficile spremere dentro una formula. Le metriche testuali classiche — quelle che contano quante parole coincidono con una risposta di riferimento — bocciano un buon testo solo perché ha scelto sinonimi diversi da quelli attesi. È come correggere un tema d’italiano contando le parole in comune con il compito del compagno di banco: si premia la copiatura, non la qualità.

Il giudizio umano resta il metro vero. Ma è lento e caro: pagare valutatori competenti perché leggano e ordinino decine di migliaia di risposte non scala con il ritmo di chi rilascia una nuova versione ogni settimana. In quello spazio si è infilato il modello-giudice: uno strumento imperfetto ma quasi gratuito, che puoi puntare sull’intero dataset e ottenere una risposta in pochi minuti anziché in settimane.

Meglio un confronto che un voto in decimi

Ci sono due modi di interrogare un giudice artificiale. Il primo è il voto assoluto: «Dai a questa risposta un punteggio da 1 a 10». Il secondo è il confronto a coppie: «Questa è la domanda, questa è la risposta A, questa è la B — quale è migliore?». La seconda modalità è quasi sempre la più solida, e il motivo è profondamente umano.

Se ti chiedo di dare un voto in decimi a un caffè, esiti: dipende da cosa ti aspettavi, dal caffè di ieri, dall’umore di stamattina. Ma se te ne faccio assaggiare due di fila e ti chiedo quale preferisci, rispondi subito e con più costanza. I giudizi relativi sono più stabili di quelli assoluti, per le persone come per i modelli: paragonare due cose concrete è più facile che ancorare ciascuna a una scala astratta. Ecco perché lo schema canonico dell’LLM-as-judge è una coppia di risposte e un terzo modello che decide chi vince.

La stessa domanda viene posta a due modelli. Un terzo modello, il giudice, legge entrambe le risposte e dichiara un vincitore. Ripetuto su migliaia di domande, questo confronto produce una classifica.

Quanto è affidabile un arbitro di silicio

La domanda ovvia è: un modello sa davvero riconoscere una buona risposta? Entro certi limiti, sì. Nel lavoro che ha reso popolare il metodo — quello dietro il banco di prova MT-Bench e all’arena di confronti Chatbot Arena del gruppo LMSYS — un modello forte usato come giudice concordava con i valutatori umani in circa l’ottanta per cento dei casi. Il numero in sé conta poco; conta il suo termine di paragone. Anche due esseri umani, messi a giudicare le stesse coppie, si trovano d’accordo più o meno con la stessa frequenza. Detto altrimenti: il giudice artificiale non è meno d’accordo con noi di quanto noi siamo d’accordo tra noi.

Un giudice imperfetto ma quasi gratuito, applicato a diecimila casi, dice più di un giudice perfetto applicato a dieci.

È questo il vero motivo del successo. Non che il modello-giudice sia infallibile: è che la sua imprecisione, distribuita su un volume enorme di confronti, si media e lascia emergere il segnale. Un panel di sommelier umani descrive dieci vini meglio di quanto un singolo esperto ne descriva mille; ma se il compito è ordinare mille bottiglie, mille assaggi mediocri battono dieci assaggi perfetti. La valutazione automatica non vince perché è più brava, vince perché arriva ovunque.

I difetti che si porta dietro

Quei difetti però sono sistematici, e abbastanza costanti da avere ormai un nome proprio. Conoscerli è la linea che separa una valutazione utile da una che ti racconta quello che vuoi sentirti dire.

• Bias di posizione. Il giudice tende a preferire la risposta che gli mostri per prima — o, a seconda del modello, per ultima — a prescindere dal contenuto. È lo stesso effetto per cui in un concorso chi si esibisce all’apertura parte avvantaggiato o penalizzato senza alcun merito o colpa.
• Bias di verbosità. A parità di sostanza, la risposta più lunga e articolata suona più autorevole e vince più spesso. Il giudice scambia l’abbondanza per qualità, come il professore che dà mezzo voto in più al tema più lungo perché «si è impegnato».
• Auto-preferenza. Un modello chiamato a giudicare tende a premiare le risposte scritte nel suo stesso stile, comprese quelle che ha generato lui. È un conflitto di interessi silenzioso: chiedere a un concorrente di fare anche l’arbitro della propria gara.

Come tenere onesto l’arbitro

Nessuno di questi vizi è fatale, se lo si affronta apertamente. Le contromisure sono poche e concrete. La prima è scambiare l’ordine: presenti la coppia sia come «A poi B» sia come «B poi A», e tieni per buono solo il verdetto che resta identico nei due sensi. Se il giudice cambia idea invertendo l’ordine, sai che stava votando la posizione e non il merito, e quel voto lo scarti.

La seconda è consegnargli una griglia esplicita di criteri — correttezza, chiarezza, aderenza alla domanda — invece di un generico «quale è migliore»: un arbitro con il regolamento in mano è meno arbitrario di uno che va a naso. La terza è imporgli di ragionare prima di sentenziare, scrivendo le motivazioni e solo dopo il verdetto: obbligarlo a giustificarsi taglia le decisioni d’impulso. Quando il compito ha una risposta di riferimento, gliela si mostra, così confronta invece di andare a memoria. E per le valutazioni che pesano davvero, si evita di far giudicare a un modello le proprie risposte. Ogni accorgimento costa una riga di prompt o una chiamata in più; è il prezzo modesto di un arbitro di cui puoi fidarti.

Perché ti riguarda

Anche se non addestrerai mai un modello, questa macchinetta ti tocca da vicino per due ragioni. La prima è pratica: quasi tutti i prodotti AI che usi — l’assistente dentro il tuo editor di codice, il chatbot della banca, il correttore del telefono — vengono ottimizzati basandosi su giudici artificiali. Le loro virtù e i loro vizi finiscono, di riflesso, nel comportamento degli strumenti che hai tra le mani. Sapere che un giudice premia la lunghezza aiuta a capire perché tanti assistenti ti rispondono con tre paragrafi quando ne sarebbe bastato uno.

La seconda è più generale, e riguarda un mestiere che stiamo tutti imparando senza accorgercene: delegare il giudizio alle macchine senza smettere di sorvegliarlo. L’LLM-as-judge è un caso da manuale di una regola che vale ovunque nell’AI applicata. Uno strumento di valutazione automatico è prezioso finché sai con esattezza in che modo è ingiusto — e diventa insidioso nell’istante preciso in cui cominci a trattarlo come se fosse neutro.