Immaginate due fotografie appese l’una accanto all’altra. Nella prima, una tazza è in equilibrio sul bordo del tavolo; nella seconda è in mille pezzi sul pavimento. In mezzo manca tutto: nessuno ha scritto sotto gli scatti «la tazza è caduta». Eppure chiunque, guardandoli, ricostruisce l’azione mancante senza sforzo. È un gesto che facciamo di continuo — dedurre cosa è successo tra un «prima» e un «dopo» — e per compierlo ci serve un modello, anche solo implicito, di come funziona il mondo: gli oggetti cadono, il vetro si rompe, il caffè si versa.
Un paper di febbraio 2026 firmato da un gruppo dell’Università di Edimburgo, con Nvidia, Groninga e Cambridge, affronta esattamente questa capacità nei modelli linguistici e visione-linguaggio. Si intitola Self-Improving World Modelling with Latent Actions e propone un metodo, SWIRL, per insegnare a un modello a prevedere come cambia il mondo senza mai dirgli quale azione ha causato il cambiamento.
Il collo di bottiglia è nelle etichette
Con «world modelling interno» gli autori intendono la comprensione latente che un modello ha delle dinamiche di un ambiente: sa prevedere la transizione da uno stato a quello successivo sotto una certa azione. È una competenza che serve a ragionare e pianificare, e che riduce le allucinazioni — le previsioni che contraddicono le regolarità del mondo. Lavori recenti mostrano che addestrare un modello a prevedere l’esito di una chiamata a uno strumento o l’output di un pezzo di codice ne migliora sensibilmente le capacità.
Il problema è come costruire questi modelli. L’approccio standard richiede traiettorie etichettate: sequenze in cui ogni transizione tra due stati è annotata con l’azione specifica che l’ha prodotta. In ambienti chiusi — i log di una chiamata API, l’esecuzione di codice — quelle etichette esistono già. Ma per il mondo aperto, annotare a mano ogni transizione è, scrivono gli autori, «proibitivamente costoso e intrattabile». C’è anche un secondo ostacolo, più sottile: la stessa transizione tra due stati può spesso essere spiegata da più azioni valide. Le foto della tazza rotta potrebbero raccontare una caduta, una spinta, un urto. Questa ambiguità delle dinamiche inverse rende fragile l’apprendimento puramente supervisionato quando i dati scarseggiano.
La domanda di SWIRL è allora: e se l’azione, invece di essere un’etichetta da fornire, fosse una variabile latente che il modello deduce da solo? Il materiale di addestramento si ridurrebbe a semplici sequenze di stati — coppie «prima/dopo» estratte, ad esempio, da video non annotati. Molto più facili da raccogliere in quantità.
Due modelli che si fanno da maestro a vicenda
Il metodo scompone il problema in due componenti che sono l’una il rovescio dell’altra. Il primo è il Forward World Model (FWM): dato lo stato attuale e un’azione, immagina lo stato successivo. In formula, il modello impara $P_\theta(y \mid x, z)$, dove $x$ è lo stato di partenza, $z$ l’azione e $y$ lo stato successivo. È il modello che, dicendogli «la tazza viene spinta», disegna la tazza a terra.
Il secondo è l’Inverse Dynamics Model (IDM): guarda il «prima» e il «dopo» e indovina l’azione che li collega, cioè $Q_\phi(z \mid x, y)$. È il modello che, viste le due foto, scrive la didascalia mancante: «è caduta».
L’intuizione di SWIRL è metterli in un ciclo dove ciascuno fa da esaminatore dell’altro, senza che nessun umano fornisca la risposta giusta. Il meccanismo alterna due fasi. Nella prima, l’IDM viene congelato e propone un’azione plausibile per una coppia di stati; il FWM la usa per generare diverse ipotesi di «dopo»; poi lo stesso IDM valuta quanto quelle previsioni siano coerenti, assegnando come premio la probabilità che riesce a riattribuire all’azione di partenza:
$$r_k = \log Q_\phi(z \mid x, \hat{y}_k)$$
In pratica, una previsione del futuro è considerata buona solo se, guardandola, l’IDM riesce a ricostruire l’azione che l’avrebbe prodotta. Nella seconda fase i ruoli si invertono: il FWM viene congelato e diventa il giudice, mentre l’IDM propone azioni candidate; ogni azione è premiata in base a quanto rende probabile lo stato realmente osservato, $r_k = \log P_\theta(y \mid x, z)$. L’ottimizzazione, in entrambe le fasi, è affidata a GRPO, lo stesso algoritmo di reinforcement learning reso popolare da DeepSeek-R1: si campionano più tentativi e si premiano quelli migliori del gruppo.
SWIRL parte da coppie di stati «prima/dopo» in cui l’azione intermedia non è annotata. Due modelli si scambiano i ruoli di studente ed esaminatore: uno immagina il futuro data un’azione, l’altro deduce l’azione dai due stati, e ciascuno fornisce all’altro il segnale di premio.
Perché il ciclo tiene: informazione e verosimiglianza
La parte più elegante del paper è la giustificazione teorica di questo scambio, che altrimenti rischierebbe di sembrare un trucco. Gli autori dimostrano che ottimizzare il FWM nella prima fase equivale a massimizzare un limite inferiore sull’informazione mutua condizionata $I(Z; \hat{Y} \mid X)$ tra l’azione latente e il futuro previsto: in parole povere, il FWM è spinto a generare futuri distinguibili, che conservino quanta più informazione possibile su quale azione li abbia causati. Se per due azioni diverse il modello immaginasse lo stesso identico «dopo», quel futuro non direbbe nulla sull’azione, e verrebbe penalizzato.
La seconda fase, invece, corrisponde a massimizzare l’Evidence Lower Bound (ELBO) della verosimiglianza degli stati osservati: l’IDM è spinto a proporre azioni plausibili, che spieghino bene le transizioni reali. Le due fasi insieme formano quella che gli autori chiamano una salita per coordinate: si migliora un pezzo tenendo fermo l’altro, poi si inverte, e si ripete. Nessuna azione vera viene mai usata come supervisione.
I numeri, senza arrotondare per eccesso
Gli esperimenti coprono quattro tipi di ambiente. Sul versante visione-linguaggio il modello base è Liquid, un VLM da 7 miliardi di parametri; sul versante testuale è Qwen-2.5-3B-Instruct. Il segnale di addestramento arriva da video non annotati (fra cui VidGen-1M, con 30 mila video campionati per iterazione) da cui si estraggono coppie di fotogrammi.
Confrontato con la sua base messa a punto in modo supervisionato (SFT), SWIRL guadagna in modo consistente. Su AURORA-Bench, dove il compito è prevedere l’immagine successiva data un’azione, il punteggio medio giudicato da GPT-4o sale da 4,36 a 5,06, circa il 16 per cento in più. Su ByteMorph, che misura dinamiche non rigide, la variante iterativa passa da 43,38 a 53,77 (un +26 per cento), fino a un +28 per cento con la configurazione a pesi condivisi. Sui compiti testuali, il salto più netto è su StableToolBench, dove il modello deve simulare l’esito di chiamate API: la media passa da 12,85 a 14,61 BLEU, circa il 14 per cento, superando anche modelli aperti molto più grandi come Qwen-2.5-32B.
C’è poi la prova più severa, la previsione a lungo orizzonte di WorldPredictionBench, in cui il modello deve immaginare fino a sei stati futuri in sequenza usando le proprie previsioni come contesto. Qui l’SFT crolla man mano che l’orizzonte si allunga — dal punteggio 3,09 al primo passo a 0,97 al sesto — mentre SWIRL mantiene una coerenza più alta, con un +14 per cento circa al sesto passo e un guadagno complessivo intorno al 16 per cento. Gli autori sono onesti nel notare che, su questo benchmark, iterare più volte non aiuta: il risultato migliore si ottiene già alla prima iterazione.
Una previsione del futuro è considerata buona solo se, guardandola, il modello inverso riesce a ricostruire l’azione che l’avrebbe prodotta.
Dove il metodo si incrina
Il paper non nasconde i limiti. Il primo riguarda la condivisione dei pesi: far coincidere FWM e IDM in un solo modello ($\theta = \phi$) risparmia memoria ma introduce instabilità, con un calo di prestazioni alla terza iterazione. Gli autori lo attribuiscono all’interferenza tra gradienti di due obiettivi eterogenei — generare immagini da una parte, dedurre azioni linguistiche dall’altra — e riconoscono che servono meccanismi di unificazione più robusti.
Il secondo limite è nei dati stessi: sui movimenti di camera (zoom, panoramiche) il guadagno è modesto, perché i video «in the wild» usati nell’addestramento sono in gran parte statici e offrono poco su cui imparare quel tipo di dinamica. Il progresso si concentra invece sui movimenti di oggetti e persone e sulle interazioni. C’è poi un dettaglio pratico non banale: SWIRL ha comunque bisogno di una fase iniziale supervisionata, non per insegnare le azioni, ma solo per dare al modello generalista l’interfaccia minima con cui produrre stati e azioni validi.
Infine, gli autori dedicano un raro spazio esplicito alle conseguenze. Un ciclo che si auto-migliora su dati grezzi e non curati rischia di interiorizzare e amplificare i bias del web e dei video; e le stesse capacità che aiutano a prevedere dinamiche visive o interazioni con pagine HTML abbassano la barriera per generare deepfake o costruire agenti capaci di aggirare i controlli web. La loro raccomandazione è integrare filtri di sicurezza nel meccanismo di premio.
Perché conta
La posta in gioco di SWIRL non è un punto di benchmark in più, ma la fonte del segnale di addestramento. Finché insegnare a un modello a «capire come cambia il mondo» ha richiesto traiettorie annotate azione per azione, questa competenza è rimasta confinata agli ambienti dove le etichette arrivano gratis — codice, chiamate a strumenti. Trasformare l’azione in una variabile latente, dedotta dal modello stesso, sposta il carburante dai dataset annotati a mano alle sequenze di stati che si trovano ovunque, a partire dai video. È lo stesso movimento che ha reso scalabili i modelli linguistici quando hanno smesso di aver bisogno di testo etichettato e hanno cominciato a imparare prevedendo la parola successiva. Se quel movimento funziona anche qui, la capacità di anticipare le conseguenze delle azioni — la base silenziosa di ogni pianificazione — potrebbe smettere di essere il collo di bottiglia.
Il paper
Yifu Qiu, Zheng Zhao, Waylon Li, Yftah Ziser, Anna Korhonen, Shay B. Cohen, Edoardo M. Ponti, Self-Improving World Modelling with Latent Actions, preprint, febbraio 2026. Disponibile su arXiv: arxiv.org/abs/2602.06130. Codice e modelli annunciati su github.com/yfqiu-nlp/swirl.
I commenti sono riservati agli iscritti.
Accedi per commentare