Chi addestra agenti con il reinforcement learning conosce il problema: la ricompensa arriva solo alla fine della traiettoria. L’agente completa venti passaggi — ricerche, chiamate a strumenti, decisioni intermedie — e riceve un unico segnale, promosso o bocciato. Quale dei venti passaggi ha fatto la differenza? Il gradiente non lo dice.
SEED (SElf-Evolving On-Policy Distillation), pubblicato il 16 luglio da Jinyang Wu, Shuo Yang, Zhengxi Lu e colleghi, prova a colmare questo divario di supervisione in un modo insolito: fa scrivere le lezioni al modello stesso. Dopo ogni traiettoria completata, il modello viene addestrato ad analizzarla e a estrarne «skill» in linguaggio naturale — workflow riusabili, osservazioni che si sono rivelate decisive, regole per evitare errori già commessi. L’effetto comportamentale di queste skill viene poi distillato di nuovo nel policy model, durante lo stesso training.
È una forma di senno di poi resa sistematica: la traiettoria non produce solo un numero (la reward), ma un testo che spiega che cosa ha funzionato, e quel testo torna nel modello come supervisione intermedia.
Il paper è tra i più votati della settimana su Hugging Face Daily Papers. I numeri dettagliati — benchmark, baseline, ablation — sono nel paper: come sempre per i lavori appena usciti, vale la regola di leggere i risultati prima di entusiasmarsi.
I commenti sono riservati agli iscritti.
Accedi per commentare