RLHF: insegnare le buone maniere a un modello

Provate a chiedere a un modello linguistico appena uscito dal pre-training — quello che ha letto una fetta enorme del web ma non ha ricevuto nessun’altra istruzione — «come si prepara la carbonara?». Con buona probabilità non risponderà: continuerà la domanda. Genererà altre domande simili, come se stesse completando la pagina di un forum di cucina, oppure una lista di FAQ. Non è stupido: è esattamente ciò per cui è stato addestrato, prevedere il testo che segue. Il problema è che «prevedere il testo che segue» e «rispondere in modo utile, onesto e innocuo» sono due obiettivi diversi. Il Reinforcement Learning from Human Feedback — RLHF — è la tecnica che ha colmato questa distanza, ed è il motivo per cui ChatGPT nel 2022 è sembrato così diverso dai modelli che l’avevano preceduto.

Il problema: un obiettivo che non si scrive in formula

L’apprendimento automatico funziona bene quando l’obiettivo è misurabile. Prevedere la parola successiva è un obiettivo perfettamente misurabile: la parola giusta è nel testo, il modello ci prende o non ci prende. Ma «sii utile» non ha una formula. Come si calcola matematicamente quanto una risposta è chiara, pertinente, ben strutturata, non evasiva ma nemmeno pericolosa? Non si calcola: si giudica. E il giudizio, almeno per ora, ce l’hanno gli esseri umani.

L’intuizione di RLHF è aggirare il problema: se non possiamo scrivere la funzione che misura la qualità di una risposta, possiamo impararla dai giudizi umani. È la stessa differenza che passa tra scrivere il regolamento completo del galateo — impresa disperata — e crescere accanto a qualcuno che ti fa notare, caso per caso, quando ti stai comportando bene o male. Non impari una lista di regole: impari un senso della misura.

Fase uno: la dimostrazione

La pipeline classica, formalizzata da OpenAI nel paper su InstructGPT, parte da un passo preliminare chiamato supervised fine-tuning. Degli annotatori umani scrivono risposte esemplari a un insieme di prompt, e il modello viene addestrato a imitarle con la tecnica più tradizionale che ci sia: dato il prompt, riproduci la risposta dell’annotatore, parola per parola.

Questo passo insegna al modello la forma del dialogo: che a una domanda segue una risposta, che una richiesta di codice merita del codice, che l’assistente parla in prima persona. Ma ha un limite strutturale: scrivere risposte esemplari costa moltissimo tempo umano, e l’imitazione pura non dice al modello quanto una risposta sia migliore di un’altra. Sa copiare gli esempi, non generalizzare il gusto che li ha prodotti.

Fase due: il reward model, ovvero il critico interiore

Qui arriva l’idea centrale. Invece di chiedere agli umani di scrivere risposte — lento e costoso — si chiede loro qualcosa di molto più rapido: confrontare. Il modello genera due o più risposte allo stesso prompt, e l’annotatore indica quale preferisce. Giudicare è più facile che produrre: chiunque distingue un piatto buono da uno mediocre, pochi sanno cucinarli entrambi.

Con decine di migliaia di questi confronti si addestra un secondo modello, il reward model: una rete che riceve un prompt e una risposta e restituisce un numero, un punteggio di qualità. L’addestramento usa tipicamente una loss di tipo Bradley-Terry: il punteggio della risposta preferita deve superare quello della risposta scartata. Il reward model diventa così una versione compressa e automatizzata del giudizio umano — un critico instancabile che può valutare milioni di risposte al secondo, cosa che nessun team di annotatori potrebbe fare.

RLHF non insegna al modello nuove conoscenze: gli insegna quali, tra le infinite continuazioni che già sa generare, sono quelle che gli umani vogliono leggere.

Fase tre: il rinforzo

Ora il cerchio si chiude. Il modello linguistico genera risposte, il reward model le valuta, e un algoritmo di reinforcement learning — quasi sempre PPO, Proximal Policy Optimization — aggiorna i pesi del modello per aumentare il punteggio atteso. In gergo, il modello linguistico è la policy: la strategia con cui sceglie le parole. Il rinforzo la spinge, gradualmente, verso le zone dello spazio delle risposte che il critico premia.

C’è però una trappola nota a chiunque abbia lavorato con il reinforcement learning: il reward hacking. Il reward model è un’approssimazione imperfetta del giudizio umano, e un ottimizzatore abbastanza aggressivo troverà le sue crepe — risposte che ottengono punteggi altissimi pur essendo pessime, come lo studente che impara a compiacere il professore invece della materia. Per questo la pipeline include un vincolo esplicito: una penalità di divergenza KL che tiene il modello ottimizzato vicino alla versione di partenza. È un guinzaglio: puoi migliorare, ma non puoi allontanarti troppo da ciò che eri, perché troppo lontano il critico non è più affidabile.

La pipeline RLHF in tre fasi: i confronti umani addestrano un reward model, che a sua volta guida l’ottimizzazione del modello linguistico via reinforcement learning.

Cosa cambia davvero nel modello

Vale la pena essere precisi su un punto: RLHF non aggiunge conoscenza. Il modello dopo il rinforzo non sa più cose di prima — semmai, secondo alcune misurazioni, ne sa leggermente di meno su certi benchmark, un fenomeno noto come alignment tax. Quello che cambia è la distribuzione delle risposte: tra tutte le continuazioni plausibili che il pre-training gli ha reso disponibili, il modello impara a scegliere sistematicamente quelle che gli umani preferiscono. È un lavoro di selezione, non di espansione.

Questo spiega anche i difetti caratteristici dei modelli allineati con RLHF. La tendenza alla prolissità cerimoniosa, le premesse prudenti anche quando non servono, una certa piaggeria — il modello che ti dà ragione troppo facilmente — sono tutti sottoprodotti dell’ottimizzazione: se gli annotatori premiano leggermente più spesso le risposte lunghe, caute e accomodanti, il rinforzo amplifica quella preferenza fino a farne un tic. Il critico interiore ha i pregiudizi di chi l’ha addestrato, moltiplicati.

Perché riguarda anche chi i modelli li usa e basta

Capire RLHF significa capire con che cosa si sta parlando. Quando un assistente AI risponde in un certo modo — disponibile, prudente, a volte evasivo — non state osservando la sua «personalità»: state osservando il punto di equilibrio di un’ottimizzazione guidata da migliaia di giudizi umani, con tutte le loro preferenze e distorsioni. Sapere questo aiuta a usare i modelli meglio: a riconoscere quando una risposta accomodante merita una verifica, a non scambiare la fluidità per competenza, a capire perché due modelli con capacità simili possono avere caratteri così diversi.

E aiuta a leggere le notizie del settore con occhio più critico. Gran parte della competizione tra i laboratori oggi non si gioca solo sulla scala del pre-training, ma su questa fase: chi raccoglie preferenze migliori, chi costruisce reward model più robusti, chi trova alternative più semplici — come la DPO, di cui parleremo nel prossimo articolo — ottiene modelli che si comportano meglio a parità di conoscenza. Le buone maniere, nei modelli come nelle persone, non si ereditano: si insegnano. E il modo in cui vengono insegnate lascia tracce visibili in ogni conversazione.