C’è un divario che si sta allargando nell’infrastruttura dei modelli: i sistemi di inferenza si avvicinano al milione di token di contesto, mentre il post-training con reinforcement learning resta spesso fermo a 256K o meno, confidando che il modello «generalizzi» alle lunghezze maggiori una volta in produzione. Per gli agenti è un problema concreto: osservazioni, output di strumenti, documenti e decisioni si accumulano lungo traiettorie sempre più lunghe.
LongStraw, pubblicato il 16 luglio, affronta il divario dal lato che di solito non fa notizia: lo stack di esecuzione. È un sistema per fare RL post-training a milioni di token con un budget GPU fisso, istanziato con GRPO (Group Relative Policy Optimization). Le idee chiave: il prompt condiviso viene valutato senza autograd, si trattiene solo lo stato necessario ai token successivi, e i branch di risposta — brevi — vengono rigiocati uno alla volta. Il grafo di training «vivo» si riduce, in cambio di tempo di replay aggiuntivo.
Gli autori lo hanno implementato per Qwen3.6-27B (architettura ibrida ricorrente e full-attention) e per modelli ad attenzione compressa.
Con 169 voti è il paper più votato del giorno su Hugging Face Daily Papers — un segnale di dove guarda la community: non solo modelli nuovi, ma il lavoro idraulico che serve a addestrarli su contesti realistici senza raddoppiare il cluster.
I commenti sono riservati agli iscritti.
Accedi per commentare