Ogni volta che un modello linguistico impara a essere più utile o più prudente, da qualche parte c’è una persona che ha letto due risposte e ha detto «questa è meglio di quella». Moltiplicate quel gesto per centinaia di migliaia di volte: è così che si costruisce il modello di reward dietro RLHF, la tecnica che ha reso ChatGPT conversabile e i suoi successori più difficili da far deragliare. Il problema è che quel gesto costa. Costa tempo, costa denaro, e soprattutto non scala: se si vuole un segnale di preferenza più fine servono più giudizi umani, e le persone qualificate per darli non si moltiplicano come le schede grafiche. Nel settembre 2023, con una versione rivista fino all’estate del 2024, un gruppo di Google Research ha pubblicato un paper che pone una domanda scomoda: e se al posto dell’annotatore umano mettessimo un altro modello?
Come funziona RLHF, in breve
Per capire la proposta bisogna avere in testa la catena di montaggio che sostituisce. RLHF — reinforcement learning from human feedback — ha tre stadi. Prima si prende un modello già addestrato a prevedere testo e lo si rifinisce su esempi di buone risposte: è il supervised fine-tuning, la base da cui si parte. Poi arriva il collo di bottiglia: si mostrano a degli annotatori umani coppie di risposte allo stesso prompt e si chiede quale preferiscono. Da queste migliaia di scelte si addestra un modello di reward, una specie di bussola numerica che, data una risposta, stima quanto un umano l’avrebbe gradita. Nel terzo stadio si usa quella bussola per guidare il modello vero e proprio con un algoritmo di reinforcement learning, spingendolo a produrre risposte che la bussola premia.
La bussola, però, è precisa solo quanto i giudizi umani su cui è stata calibrata. E raccogliere quei giudizi è la parte del processo che non si può accelerare comprando hardware. È lavoro umano, pagato a ore, difficile da controllare per qualità e coerenza. È il punto in cui l’intera pipeline rallenta.
L’idea di RLAIF
La proposta è semplice da enunciare: al posto della persona che confronta due risposte, mettiamo un modello linguistico già esistente, istruito con un prompt a fare la stessa cosa. Gli si presentano le due risposte e gli si chiede quale sia migliore, esattamente come si farebbe con un annotatore in carne e ossa. Il dataset di preferenze che ne esce viene poi dato in pasto alla stessa catena di montaggio di prima. Da qui il nome: RLAIF, reinforcement learning from AI feedback. L’intuizione di usare un modello come fonte di feedback non nasce con questo paper — era già al cuore del lavoro sulla Constitutional AI di Bai e colleghi in Anthropic — ma qui viene messa sistematicamente a confronto con l’alternativa umana, sugli stessi compiti e con le stesse metriche. Nel loro impianto sperimentale il giudice artificiale è PaLM 2 nella sua taglia grande.
L’analogia più onesta è quella di un docente che, dopo anni a correggere temi, ha interiorizzato i criteri al punto da poter addestrare un assistente a fare la prima cernita. L’assistente non ha inventato il buon gusto da solo: lo ha ereditato. Ma una volta che ce l’ha, può correggere migliaia di compiti mentre il docente dorme.
Nel ciclo classico di RLHF l’anello tra le due risposte e il reward model è un annotatore umano. RLAIF lo sostituisce con un modello linguistico istruito a scegliere la risposta migliore. Il dataset di preferenze così prodotto alimenta la stessa catena di sempre.
I risultati: alla pari, e su un compito meglio
Il paper misura tre compiti: riassunto, dialogo utile e dialogo innocuo. Sul riassunto, valutatori umani hanno preferito le risposte del modello addestrato con RLAIF a quelle del solo fine-tuning nel 71% dei casi; per RLHF la cifra analoga è 73%. Messi uno contro l’altro, RLAIF e RLHF si equivalgono: nel confronto diretto la preferenza è al 50%, un pareggio. È il risultato centrale — il feedback artificiale porta a un modello indistinguibile, per un valutatore umano, da quello ottenuto con feedback umano.
Il caso più interessante è il dialogo innocuo, cioè la capacità di rifiutare richieste dannose senza diventare scorbutico. Qui la percentuale di risposte giudicate innocue passa dal 64% del solo fine-tuning al 76% di RLHF, e all’88% di RLAIF. Su questo asse il giudice artificiale non pareggia: fa meglio dell’umano. Una lettura plausibile, e onesta, è che un modello a cui si spiega nel prompt esattamente cosa considerare dannoso applichi quel criterio con più costanza di un annotatore stanco a fine turno. Non è che l’AI «capisca meglio» la sicurezza; è che è instancabilmente coerente.
Auto-miglioramento e d-RLAIF
Il paper spinge l’idea più in là con due osservazioni. La prima: RLAIF funziona anche quando il modello giudice ha la stessa taglia del modello addestrato, e persino quando è letteralmente lo stesso checkpoint di partenza. In altre parole un modello può generare le preferenze con cui migliora se stesso, superando la propria versione di partenza. Vale la pena non gonfiare questo dato: è un passo misurato verso l’auto-miglioramento, non una spirale che si autoalimenta all’infinito. Il modello distilla in un segnale d’addestramento delle preferenze che già possiede in forma latente; non crea competenza dal nulla.
La seconda idea è più pratica e si chiama d-RLAIF, RLAIF diretto. Se il modello di reward serve solo a riprodurre i giudizi dell’LLM, perché addestrarlo? In d-RLAIF si salta quel passaggio e si interroga direttamente il modello giudice durante il reinforcement learning, usando il suo giudizio come reward al volo. Nel paper questa variante batte la versione canonica. Meno pezzi in movimento, un componente in meno da mantenere allineato.
Il giudice artificiale non ha inventato il buon gusto: lo ha ereditato. La domanda vera è di chi era, quel gusto, all’origine della catena.
Cosa questo non risolve
Un paper di allineamento va letto anche per ciò che lascia aperto. Un modello che giudica testi ha i suoi difetti sistematici: tende a favorire la risposta presentata per prima, o quella più lunga, a prescindere dal merito. Gli autori li affrontano con accorgimenti sul prompt, ma restano un promemoria che il giudice non è neutrale. E soprattutto: la qualità del segnale non può superare la qualità del giudice. RLAIF non fabbrica allineamento dal nulla, lo travasa da un modello a un altro — e quel primo modello, a monte, era stato allineato da esseri umani. Spostiamo il lavoro umano più indietro nella catena, non lo eliminiamo. Chi decide cosa significhi «risposta migliore» resta una domanda umana, e RLAIF non la tocca: la rende solo più economica da propagare.
Perché ci riguarda
Per chi si occupa di sicurezza e allineamento la posta in gioco è duplice. Da un lato, feedback più economico significa poter iterare di più, correggere comportamenti indesiderati con cicli rapidi invece di attendere costose campagne di annotazione. Dall’altro, automatizzare il giudizio significa anche rischiare di amplificare i punti ciechi del giudice: se il modello che valuta ha un pregiudizio, ogni ciclo di addestramento lo cementa un po’ di più, senza un umano nel loop che se ne accorga. RLAIF è uno strumento di scala, e come ogni strumento di scala moltiplica tanto le buone quanto le cattive decisioni. Leggere questo paper serve a tenere a mente che la comodità di togliere l’uomo dal ciclo è reale, ma il giudizio su cosa sia buono non evapora: si sposta soltanto, e conviene sempre sapere dove è finito.
Il paper
Harrison Lee, Samrat Phatale, Hassan Mansoor, Thomas Mesnard, Johan Ferret, Kellie Lu, Colton Bishop, Ethan Hall, Victor Carbune, Abhinav Rastogi, Sushant Prakash, RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback, ICML 2024. Prima versione su arXiv nel settembre 2023, revisione nel settembre 2024: arxiv.org/abs/2309.00267. L’idea del feedback generato da un modello risale al lavoro sulla Constitutional AI di Bai e colleghi (2022), citato nel paper come punto di partenza.
I commenti sono riservati agli iscritti.
Accedi per commentare