Pensate a com’era il vostro telefono qualche anno fa. C’era un’app per tradurre, un’altra per riassumere un testo, una terza per correggere la grammatica, una quarta per rispondere alle mail. Ogni compito, il suo strumento dedicato. Oggi basta chiedere a un solo assistente: la stessa richiesta, in linguaggio naturale, ottiene tutte quelle cose senza cambiare programma. È la transizione che il natural language processing ha vissuto negli ultimi anni, dai modelli su misura per un compito ai grandi modelli linguistici generalisti. Un gruppo di ricercatori di Google DeepMind sostiene che la computer vision stia per fare lo stesso salto, e che a portarcela non sarà un modello pensato per la classificazione o il riconoscimento, ma un generatore di video: Veo 3.
Cosa sostituisce, e perché conta
Per capire la posta in gioco serve sapere com’è fatta la visione artificiale oggi. Assomiglia a una cassetta degli attrezzi con una chiave diversa per ogni serratura: Segment Anything per separare gli oggetti in un’immagine, le varianti di YOLO per rilevarli, modelli specializzati per riconoscere i bordi. Ognuno è eccellente nel suo mestiere e quasi inutile fuori da esso. Trasferire uno di questi modelli a un compito nuovo senza riaddestrarlo è raro.
La tesi del paper è che gli stessi «ingredienti primitivi» che hanno trasformato l’NLP — addestrare grandi modelli generativi su dati di scala web, con l’unico obiettivo di continuare una sequenza — valgono anche per i modelli video di oggi. Se prevedere il token successivo ha insegnato agli LLM a tradurre, riassumere e programmare senza che nessuno glielo chiedesse esplicitamente, forse prevedere il fotogramma successivo può insegnare a un modello video a percepire, modellare e manipolare il mondo visivo. Gli autori chiamano questa capacità apprendimento zero-shot: risolvere un compito solo descrivendolo a parole, senza fine-tuning e senza aggiungere teste specializzate al modello.
Il metodo: si chiede, e basta
La procedura è volutamente minimale. Per ogni compito si fornisce a Veo un’immagine di partenza (che il modello usa come primo fotogramma) e un’istruzione testuale; il modello genera un video 16:9 a 720p, 24 fotogrammi al secondo, della durata di 8 secondi. Nessun addestramento aggiuntivo. Le prove passano dalla API di Google Cloud Vertex AI, che a monte include un riscrittore di prompt basato su un LLM: gli autori sono onesti nel dire che per alcuni compiti la soluzione potrebbe arrivare da lì e non dal video, e trattano l’intero sistema come una scatola nera. Per isolare la capacità del modello video hanno però verificato che un LLM da solo (Gemini 2.5 Pro) non risolve in modo affidabile i compiti chiave, come la navigazione o i labirinti, a partire dalla sola immagine.
Il paper organizza le abilità osservate in quattro livelli gerarchici, ognuno costruito sul precedente: percezione (capire cosa c’è nell’immagine), modellazione (farsi un modello di come funziona quel mondo), manipolazione (alterarlo in modo coerente) e ragionamento (concatenare più passi nello spazio e nel tempo). Risolvere un labirinto, per esempio, richiede tutti e quattro: percepire le pareti, modellare cosa è muro e cosa è corridoio, muovere un oggetto, e pianificare il percorso.
La gerarchia con cui il paper legge le abilità di Veo 3: la percezione è la base, il ragionamento la cima. Nessuno di questi compiti fa parte dell’addestramento esplicito di un modello video.
Chain-of-frames: pensare un fotogramma alla volta
L’idea concettualmente più interessante è il parallelo tra ragionamento linguistico e ragionamento visivo. Negli LLM il chain-of-thought — costringere il modello a scrivere i passaggi intermedi, un token dopo l’altro — ha sbloccato la capacità di risolvere problemi complessi. Un video, per costruzione, si dispiega un fotogramma dopo l’altro. Gli autori chiamano questo processo chain-of-frames (CoF): applicare i cambiamenti passo dopo passo lungo le due dimensioni del mondo reale, tempo e spazio, esattamente come il chain-of-thought li applica lungo la sequenza dei simboli. Un labirinto risolto disegnando fotogramma per fotogramma il percorso di un cerchietto rosso verso il traguardo verde è, in questa lettura, una catena di pensiero resa visibile.
Per i numeri che contano, il paper affianca alle dimostrazioni qualitative una valutazione quantitativa su sette compiti. La segmentazione, per esempio, si misura con l’Intersection over Union: quanto la maschera prodotta si sovrappone a quella corretta, in rapporto alla loro unione.
$$\mathrm{IoU} = \frac{|A \cap B|}{|A \cup B|}$$
dove $A$ è la regione predetta dal modello e $B$ quella annotata a mano; il valore va da $0$ (nessuna sovrapposizione) a $1$ (coincidenza perfetta), e si riporta la media su tutte le immagini. L’altra metrica ricorrente è la $\text{pass@}k$: la frazione di compiti risolti concedendo al modello fino a $k$ tentativi. Distingue la competenza dalla fortuna del singolo campione, ed è cruciale qui perché ogni generazione parte da un seme casuale diverso.
I risultati, senza arrotondamenti generosi
Il lavoro è tutt’altro che un aneddoto: analizza 18.384 video generati su 62 compiti qualitativi e 7 quantitativi. Sul rilevamento dei bordi Veo 3 arriva a $0{,}77$ di pass@10, sotto lo stato dell’arte specializzato ($0{,}90$) ma notevole per un modello che non è stato addestrato a farlo — e in diversi casi i suoi contorni sono più dettagliati di quelli annotati. Sulla segmentazione senza categorie predefinite raggiunge un’IoU media di $0{,}74$ (miglior fotogramma, pass@10), comparabile allo $0{,}73$ del modello di image editing Nano Banana usato come riferimento. Curiosità istruttiva: con uno sfondo verde va meglio che con uno bianco ($0{,}74$ contro $0{,}66$), forse perché il web è pieno di green screen.
Nell’estrazione di oggetti — allineare in fila tutti gli animali di una scena — Veo 3 tocca il 93% di pass@10, mentre il predecessore Veo 2 resta al livello del caso. Ed è proprio il confronto tra le due versioni il dato più eloquente. Sul labirinto $5\times5$ Veo 3 risolve il 78% dei casi in dieci tentativi, contro il 14% di Veo 2. Sulla simmetria visiva supera nettamente sia Veo 2 sia Nano Banana. Considerando che Veo 2 è stato annunciato a dicembre 2024 e Veo 3 a maggio 2025, è un salto enorme in circa sei mesi.
La domanda non è se Veo 3 batta i modelli specializzati oggi — non lo fa. È se la curva tra Veo 2 e Veo 3 continuerà a salire come è salita quella degli LLM.
Dove il modello inciampa
Gli autori non nascondono i limiti, ed è la parte più utile del paper. Sulle analogie visive Veo 3 completa bene le trasformazioni di colore e di dimensione, ma su riflessione e rotazione scende sotto il livello del caso ($0{,}33$): non è ignoranza casuale, è un bias sistematico. Su molti compiti resta sotto lo stato dell’arte dei modelli dedicati — gli autori lo riassumono con l’immagine del «tuttofare, maestro di poco». La performance è inoltre estremamente sensibile al prompt: sullo stesso compito di simmetria, la differenza di pass@1 tra il prompt migliore e il peggiore è di 40 punti percentuali sulle forme e di 64 su pattern casuali. E c’è il convitato di pietra del riscrittore di prompt LLM dentro la API, che rende difficile attribuire con certezza ogni successo al solo modello video.
Resta poi il costo. Generare un video è oggi molto più oneroso che far girare un modello specializzato di pochi milioni di parametri. Gli autori si appoggiano a una stima di Epoch AI secondo cui, a parità di prestazioni, il costo di inferenza dei grandi modelli linguistici cala di un fattore compreso tra 9 e 900 volte l’anno — lo stesso argomento che si faceva su GPT-3, «troppo grande per essere messo in produzione», prima che diventasse ordinaria amministrazione. È una scommessa sulla traiettoria economica, non una prova.
Un «momento GPT-3» per la vista?
La cornice onesta con cui leggere questo lavoro è quella che gli stessi autori suggeriscono: Veo 3 sta ai compiti visivi come un modello linguistico pre-addestrato sta al linguaggio prima dell’instruction tuning e dell’allineamento. Grezzo, incostante, ma già capace di cose per cui nessuno l’ha addestrato. I risultati riportati, avvertono, sono un limite inferiore delle capacità reali: cambiando prompt e immagine di partenza si trovano quasi sempre soluzioni migliori, e il fatto che la pass@10 superi sistematicamente la pass@1 senza segni di plateau lascia spazio a tecniche di inference-time scaling e post-training con verificatori automatici.
È un paper di posizione più che una dimostrazione definitiva, e va letto per quello che è: la scommessa argomentata di un gruppo di Google DeepMind — con Veo, un modello di casa — sul fatto che la visione artificiale stia vivendo il suo «momento GPT-3», con i modelli video nel ruolo che gli LLM hanno avuto per il linguaggio. Se abbiano ragione lo diranno i costi e l’affidabilità dei prossimi due o tre anni, non la retorica. Ma la direzione — dai tanti modelli su misura all’unico modello generalista che si limita a rispondere a una richiesta — è la stessa che abbiamo già visto una volta, e vale la pena tenerla d’occhio.
Il paper
Thaddäus Wiedemer, Yuxuan Li, Paul Vicol, Shixiang Shane Gu, Nick Matarese, Kevin Swersky, Been Kim, Priyank Jaini, Robert Geirhos, Video models are zero-shot learners and reasoners, Google DeepMind, 2025. Disponibile su arXiv: arxiv.org/abs/2509.20328.
I commenti sono riservati agli iscritti.
Accedi per commentare