Chi ha imparato a guidare ricorda i primi minuti al volante: lo sguardo inchiodato sul cofano, le mani strette. Un buon istruttore non corregge solo la manovra finita — se hai parcheggiato storto, se hai frenato tardi. Corregge lo sguardo: «guarda lo specchietto», «controlla l’angolo cieco», «alza gli occhi in fondo alla strada». Sa una cosa che al neopatentato sfugge: se lo sguardo va nel posto giusto, la manovra viene quasi da sé. Correggere solo il risultato è insegnare a posteriori; correggere dove guardi è insegnare il processo.
I modelli linguistici multimodali di oggi — quelli che ricevono un’immagine o un video e rispondono a una domanda — vengono allenati come il primo istruttore. Si guarda la risposta finale, si controlla se è giusta, e si premia o si penalizza di conseguenza. Un paper apparso su arXiv a febbraio 2026, firmato da ricercatori di UC Davis, Princeton, Google e Google DeepMind, propone di fare come il secondo istruttore: premiare non ciò che il modello scrive, ma dove decide di guardare. Lo chiamano Reinforced Attention Learning, RAL.
Il problema: premiare la risposta, non lo sguardo
Il post-training con reinforcement learning è oggi lo standard per affinare i modelli linguistici. La ricetta prevalente — algoritmi come PPO e più di recente GRPO — funziona così: il modello produce una risposta, un verificatore assegna una ricompensa, e i gradienti spingono verso l’alto la probabilità delle sequenze di token che hanno fruttato ricompense alte. Formalmente si ottimizza un obiettivo surrogato costruito sul rapporto tra la politica attuale e quella precedente, pesato per il vantaggio $A_t$:
$$L_{\mathrm{RL}} = \mathbb{E}_t\!\left[\frac{\pi_\theta(a_t \mid s_t)}{\pi_{\mathrm{old}}(a_t \mid s_t)}\, A_t\right]$$
Sul testo puro questa impostazione ha dato risultati notevoli, soprattutto nel ragionamento matematico e nella programmazione, dove più il modello «pensa ad alta voce» più tende ad azzeccare. Ma quando gli autori provano a trapiantare la stessa idea sui compiti multimodali — rispondere a domande su immagini e video incoraggiando descrizioni testuali prolisse prima della risposta — l’effetto svanisce. I guadagni sulla percezione sono marginali, e in diversi casi le catene di ragionamento verbose peggiorano la capacità percettiva di base del modello.
La diagnosi del paper è precisa. Rispondere bene a una domanda visiva richiede di identificare e mettere a fuoco l’informazione visiva giusta — un compito che, dentro un Transformer, è governato dal meccanismo di attenzione. La ricompensa sui token, però, ottimizza il risultato (la parola), non il processo (dove il modello ha allocato la sua attenzione). Peggio: premiare solo certe forme testuali ad alta ricompensa induce un collasso di diversità, il modello si affeziona a superfici linguistiche vincenti e finisce per «barare» sulla struttura del discorso invece che imparare a guardare meglio.
L’attenzione come politica
L’idea centrale è un cambio di prospettiva su cosa sia la «politica» da ottimizzare. Di solito la politica è la distribuzione sul prossimo token: dato tutto ciò che c’è prima, quanto è probabile ogni parola. RAL sposta lo sguardo dentro il modello e tratta come politica la distribuzione di attenzione stessa: per ogni token generato, come si ripartisce il peso su tutto ciò che lo precede — le istruzioni, l’input visivo, il ragionamento già prodotto.
Concretamente: si prendono i pesi di attenzione dell’ultimo strato del Transformer, mediati su tutte le teste, e si normalizzano in una distribuzione di probabilità sulle posizioni precedenti. Se $\alpha_{t,i}$ è quanto il token in posizione $t$ guarda il token in posizione $i$, la politica di attenzione del token $t$ è semplicemente
$$p_\theta^t(i) = \frac{\alpha_{t,i}}{\sum_{j=1}^{t-1}\alpha_{t,j}}, \qquad i \in [1, t-1].$$
Questa distribuzione dice, per ogni parola che il modello sta scrivendo, quanto sta pescando da ciascun pezzo del contesto. È la traccia numerica del suo sguardo.
Premiare dove si guarda
Se lo sguardo è una politica, allora si può fare reinforcement learning direttamente su di esso. Qui entra la mossa più elegante del paper. Invece di spingere le probabilità dei token, si costruisce una perdita che tira la distribuzione di attenzione verso quella delle risposte riuscite e la allontana da quella delle risposte fallite:
$$L_{\mathrm{AttnRL}} = \mathbb{E}_t\!\left[A_t \cdot D\!\left(p_\theta^t \,\|\, p_{\mathrm{old}}^t\right)\right]$$
dove $D$ è una divergenza simmetrica e limitata — gli autori usano la divergenza di Jensen-Shannon — e $A_t$ è il vantaggio, calcolato alla maniera di GRPO, cioè come quanto una risposta è migliore o peggiore della media del suo gruppo. Il segno del vantaggio fa tutto il lavoro: se $A_t > 0$ (risposta buona), minimizzare la perdita avvicina l’attenzione attuale a quella che ha funzionato; se $A_t < 0$ (risposta scadente), la stessa perdita spinge l'attenzione via da quel pattern sbagliato. È l’istruttore che dice «bravo, hai guardato lì» oppure «no, non stavi guardando dove serviva».
Un dettaglio non banale: la divergenza si calcola per singolo token, non mediata sull’intera risposta. Questo evita il gradiente evanescente che affligge le sequenze lunghe, dove un segnale mediato su centinaia di parole si diluisce fino a sparire. Anche l’ultimo token di una risposta lunga riceve così una correzione sullo sguardo.
RAL non sostituisce l’addestramento sui token: lo affianca. L’obiettivo finale è la somma dei due, con un peso $\lambda_{\mathrm{attn}}$ che bilancia quanto contano l’output esplicito e l’esplorazione interna dell’attenzione, cioè $L_{\mathrm{total}} = L_{\mathrm{RL}} + \lambda_{\mathrm{attn}}\, L_{\mathrm{AttnRL}}$. Il modello resta libero di scegliere le parole, ma con lo sguardo sotto supervisione.
Lo stesso segnale di ricompensa può muovere due leve diverse. I metodi classici come GRPO aggiornano le probabilità dei token da produrre. RAL lascia intatto quel canale e ne aggiunge un secondo: aggiorna la distribuzione di attenzione, cioè quanto peso il modello mette su ciascun pezzo del contesto e dell’input visivo.
I numeri, senza arrotondamenti
Gli esperimenti partono da Qwen-2.5-VL-7B come modello di base, con l’encoder visivo e il proiettore congelati: si aggiorna solo il backbone linguistico. L’addestramento usa il dataset Video-R1, in due fasi — un fine-tuning supervisionato sul sottoinsieme da 165mila esempi con ragionamento, poi la fase RL su 51,2mila istanze per una sola epoca. Non è un esperimento leggero: la sola fase RL richiede circa 120 ore su un cluster di otto GPU NVIDIA H100. I pesi di attenzione vanno estratti forzando l’implementazione «eager» dell’attenzione, un dettaglio a cui torneremo.
Sui benchmark, RAL batte GRPO su tutti e otto i dataset di immagini e su sei dei sette dataset video. I guadagni che gli autori evidenziano sono onesti nel loro ordine di grandezza: sulla percezione fine di V* e sul punteggio MME (dove il miglioramento è di 94,1 punti verificabili in tabella), su ChartQA e VizWiz. Il punto che gli autori sottolineano non è tanto la vetta assoluta quanto la uniformità: mentre GRPO a volte migliora un benchmark peggiorando il modello di base su un altro, RAL non degrada mai le capacità di partenza e le supera su ogni metrica di immagine. Nell’unico caso in cui GRPO resta davanti — VideoMMMU, conoscenza esperta — il margine è minimo e gli autori lo dichiarano senza girarci intorno.
Un’ablazione è particolarmente interessante. Sul benchmark V*, che usa immagini ad alta risoluzione, il vantaggio di RAL su GRPO cresce con la densità visiva: da +1,6 punti con un budget di 512 token per immagine fino a +6,3 punti a 2048 token. Più c’è da guardare, più conta imparare dove guardare.
Quando lo sguardo basta da solo
La verifica più radicale è RAL-zero: si rimuove del tutto la catena di ragionamento testuale e si allena il modello a rispondere in modo diretto, senza «pensare ad alta voce». In questa configurazione il segnale che rimane è quasi solo quello sull’attenzione. Eppure RAL-zero supera il modello di base su cinque benchmark video su sette e batte perfino GRPO completo su cinque, con risultati di punta su NExTQA, VideoMME e LVBench. È il risultato che dà forza alla tesi: lo spazio delle politiche di attenzione è largamente inesplorato, e agire lì sblocca capacità percettive anche senza una parola di ragionamento verbalizzato.
La stessa idea si estende alla distillazione. Invece di far imitare a un modello studente solo le probabilità di output di un maestro più grande (qui Qwen-2.5-VL-32B), gli autori fanno allineare anche le distribuzioni di attenzione — trasferendo non solo cosa il maestro risponde, ma dove guarda. Aggiungere questa distillazione dell’attenzione migliora sette benchmark di immagini su otto rispetto alla distillazione standard. Trasmettere lo sguardo, non solo la risposta, si rivela un segnale più ricco.
I limiti dichiarati
Il paper è onesto sui confini della proposta. RAL è un complemento, non un sostituto: vive dentro l’obiettivo combinato con GRPO, non lo rimpiazza. Richiede accesso ai pesi interni del modello — è una tecnica per chi addestra modelli aperti, non per chi consuma un’API chiusa. La semplificazione di prendere solo l’ultimo strato e mediare su tutte le teste è pratica ma grezza: l’attenzione è distribuita su decine di strati e teste con ruoli diversi, e comprimerla in una singola distribuzione lascia sul tavolo informazione. E c’è il costo dell’infrastruttura: per leggere i pesi bisogna usare l’attenzione «eager», rinunciando alle implementazioni fuse e più rapide, il che rende l’addestramento più oneroso di quanto le 120 ore su otto H100 già suggeriscano. Infine, tutto è validato su una sola famiglia di modelli e su compiti di question answering visivo: se la ricetta regga altrove resta da vedere.
Perché conta
Al di là dei benchmark, il contributo interessante di questo lavoro è concettuale. Per anni il reinforcement learning sui modelli linguistici ha trattato l’output — la sequenza di parole — come l’unico oggetto su cui agire, lasciando l’interno del modello come una scatola da guidare solo indirettamente. RAL prova a ottimizzare un pezzo di quel dentro: eleva la distribuzione di attenzione a bersaglio di prima classe, un luogo dove il credito e la colpa si possono assegnare in modo più diretto. Gli stessi autori indicano dove potrebbe portare — il routing degli esperti nei modelli sparsi, la fusione cross-modale — come altri meccanismi interni da premiare invece di limitarsi a osservarli.
Torna la lezione dell’istruttore di guida. Correggere il risultato è facile ma tardivo; correggere lo sguardo è più difficile ma coglie la causa. Che si possa insegnare a un modello dove guardare, e non solo cosa dire, è un modo diverso di pensare a cosa significhi «allineare» una macchina: meno una questione di parole giuste, più una questione di attenzione ben riposta.
Il paper
Bangzheng Li, Jianmo Ni, Chen Qu, Ian Miao, Liu Yang, Xingyu Fu, Muhao Chen, Derek Zhiyuan Cheng, Reinforced Attention Learning, arXiv:2602.04884, febbraio 2026 (UC Davis, Princeton University, Google, Google DeepMind).
I commenti sono riservati agli iscritti.
Accedi per commentare