InstructGPT (2022): l’RLHF che ha reso utili gli LLM

Chiedi a un grande modello linguistico del 2021 «spiega a un bambino di sei anni perché piove» e, con una certa frequenza, non ricevi una spiegazione: ricevi altre tre domande dello stesso tenore, «spiega perché soffia il vento», «spiega perché nevica». Il modello non ti ha frainteso. Ha fatto esattamente ciò per cui era stato addestrato — continuare il testo nel modo più probabile — e nei dati di internet una domanda è spesso seguita da altre domande, non dalla risposta. È il divario tra ciò che il modello sa fare e ciò che tu vuoi che faccia. L’articolo che ha proposto un modo pratico per colmarlo è Training language models to follow instructions with human feedback, firmato nel 2022 da Long Ouyang, Jeff Wu e un gruppo di ricercatori di OpenAI. Il modello che ne risulta si chiama InstructGPT, e la tecnica — RLHF, reinforcement learning from human feedback — è la stessa che pochi mesi dopo avrebbe reso possibile ChatGPT.

Capace non vuol dire obbediente

Il cuore del problema è un disallineamento tra due obiettivi. GPT-3 è addestrato a minimizzare l’errore di predizione del token successivo su un’enorme mole di testo. Questo lo rende bravissimo a un compito — continuare qualsiasi testo in modo plausibile — che non coincide con quello che gli utenti chiedono, cioè seguire un’istruzione in modo utile, veritiero e innocuo. Gli autori lo dicono senza giri di parole: il modello è ottimizzato per il bersaglio sbagliato.

L’analogia utile è quella di un attore straordinario a cui nessuno ha mai spiegato la differenza tra recitare e conversare. Sa imitare qualsiasi registro con naturalezza disarmante, ma se gli fai una domanda vera può risponderti restando nel personaggio, oppure rilanciando la scena, invece di aiutarti. Non gli manca il talento. Gli manca l’indicazione di cosa, in questo contesto, conti come «fatto bene». RLHF è il modo in cui gli autori forniscono quell’indicazione, e la parte sorprendente è quanto poco feedback umano serva perché funzioni.

Tre passi per allineare un modello

La ricetta si articola in tre fasi, ognuna delle quali produce l’ingrediente per la successiva.

• Dimostrazioni (fine-tuning supervisionato). Un gruppo di circa quaranta annotatori umani scrive risposte di alta qualità a una collezione di prompt — molti dei quali raccolti dall’uso reale delle API di OpenAI. Il modello viene affinato su questi esempi: è la fase in cui gli si mostra, semplicemente, come si risponde bene. Da sola non basta, perché scrivere buone risposte a mano è costoso e non copre lo spazio infinito delle richieste possibili.
• Reward model. Qui sta l’idea centrale. Invece di scrivere altre risposte, agli annotatori si mostra un ventaglio di output prodotti dal modello per lo stesso prompt e si chiede semplicemente di ordinarli, dal migliore al peggiore. Giudicare è molto più facile e veloce che scrivere. Su queste graduatorie si addestra un secondo modello, il reward model, che impara ad assegnare un punteggio numerico a una risposta — una stima di quanto un umano la preferirebbe.
• Reinforcement learning (PPO). A questo punto il reward model diventa il giudice automatico. Il modello linguistico viene ottimizzato, con l’algoritmo PPO, per produrre risposte che massimizzano il punteggio assegnato dal reward model, con un freno che gli impedisce di allontanarsi troppo dal comportamento di partenza. È la fase in cui il modello, di fatto, si esercita a piacere al giudice che ha assorbito il gusto degli annotatori.

Il modello non impara qual è la risposta giusta. Impara cosa gli esseri umani preferiscono, e poi si allena a dargliela.

Lo schema: dalle preferenze alla policy

Conviene vedere il flusso per intero. Le preferenze umane — semplici confronti «questa è meglio di quella» — non guidano direttamente il modello: prima si condensano in un reward model, e solo quello guida l’ottimizzazione della policy finale.

Il feedback umano non tocca direttamente il modello finale: viene prima distillato in un reward model, che poi fa da giudice automatico durante l’ottimizzazione. È questo passaggio intermedio a rendere l’intera procedura scalabile.

Il risultato che spiazza: 1,3 miliardi battono 175

Il dato più citato dell’articolo è anche il più controintuitivo. Nelle valutazioni umane, la versione di InstructGPT con 1,3 miliardi di parametri viene preferita a GPT-3 da 175 miliardi di parametri, pur avendo circa cento volte meno parametri. Un modello enormemente più piccolo, ma allineato, risulta più utile del gigante da cui deriva.

La lezione non è che la dimensione non conti — conta eccome — ma che scala e allineamento sono due assi diversi. Puoi avere tutta la capacità del mondo e sprecarla ottimizzando l’obiettivo sbagliato. RLHF non aggiunge conoscenza al modello: ridirige quella che ha già verso ciò che le persone chiedono. Ed è enormemente più economico addestrare un reward model da qualche decina di migliaia di confronti umani che decuplicare i parametri.

Il conto da pagare

L’articolo è misurato anche nei suoi risultati positivi. InstructGPT migliora sulla veridicità e riduce la generazione di contenuti tossici rispetto a GPT-3, ma gli autori non lo presentano come risolto: il modello continua a commettere errori semplici, a inventare fatti, a farsi condizionare da istruzioni fuorvianti. E documentano un fenomeno che sarebbe diventato un termine di uso comune, l’alignment tax: allineare il modello ne peggiora leggermente le prestazioni su alcuni benchmark accademici standard. Il gruppo mostra come attenuare questo costo mescolando, durante il reinforcement learning, un po’ dell’addestramento originale — ma il compromesso resta, ed è onesto nominarlo.

C’è poi una questione che l’articolo solleva esplicitamente e non pretende di chiudere: allineato a chi? Il reward model incorpora le preferenze di una quarantina di annotatori e le istruzioni date loro. Non è la volontà dell’umanità: è un gruppo specifico di persone in un contesto specifico. Chi sceglie i giudici sceglie i valori del modello. È forse l’osservazione più importante del lavoro, e quella che il campo sta ancora provando a maneggiare.

Perché riguarda anche te

Ogni volta che chatti con un assistente e lui risponde alla domanda invece di rilanciartene altre tre, stai usando l’eredità diretta di questo articolo. Capire RLHF ti cambia il modo di leggere i comportamenti degli LLM. Quando un modello «sembra sicuro di sé anche quando sbaglia» è in parte perché è stato ottimizzato per produrre risposte che gli umani preferiscono, e una risposta sicura piace più di un «non lo so» — la stessa forza che lo rende utile può renderlo compiacente. Quando due modelli concorrenti hanno personalità diverse, spesso la differenza non è nei dati di base ma in chi ha ordinato le risposte e con quali istruzioni. E quando senti dire che l’allineamento è «un problema di valori, non solo tecnico», questo è il paper che lo ha reso concreto: la qualità di un LLM non dipende solo da quanto sa, ma da quali preferenze umane gli abbiamo insegnato a inseguire — e da chi erano quegli umani.

Il paper

Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, John Schulman, Jan Leike, Ryan Lowe e altri, Training language models to follow instructions with human feedback, OpenAI, 2022. Disponibile su arXiv: arxiv.org/abs/2203.02155.