Un bambino impara a versare l’acqua in un bicchiere molto prima di sapere descrivere la fisica di quel gesto. Guarda un adulto farlo, prova, rovescia, riprova, e a furia di guardare e correggere si costruisce in testa una specie di simulatore: se inclino il polso così l’acqua esce a quella velocità, se stringo troppo il bicchiere di plastica si deforma. Non è una regola scritta, è una previsione. Quel «simulatore delle conseguenze» che ci portiamo dietro senza accorgercene, in robotica ha un nome: world model, modello del mondo. E la domanda che un gruppo del laboratorio FAIR di Meta e della New York University — con Yann LeCun tra gli autori — si è posto è come costruirne uno per la parte più ostica della manipolazione: le dita.
Il problema non è la mano, sono i dati
Quasi tutti i robot manipolatori di oggi usano una pinza a due dita, la cosiddetta parallel-jaw: apre, chiude, afferra. Semplice e robusta, ma incapace di gran parte di ciò che facciamo con le mani, dal maneggiare un utensile al ruotare un oggetto tra le dita. Le mani robotiche antropomorfe, a più dita, promettono quella destrezza. Il problema è che per addestrarle servono dati, e dati di mani robotiche destre che eseguono compiti reali non esistono su larga scala: raccoglierli in teleoperazione è lento e costoso.
La strada battuta finora è il behavior cloning: si mostra al robot un’osservazione e gli si insegna a produrre direttamente l’azione corrispondente, imitando una dimostrazione. Funziona finché il mondo somiglia a quello visto in addestramento, ma generalizza male al compito nuovo e all’oggetto mai visto. DexWM prende un’altra direzione, e parte da un’osservazione quasi ovvia: di mani umane destre che fanno cose esistono montagne di video. Bastano telecamere egocentriche — quelle che riprendono dal punto di vista di chi agisce — e c’è materiale per anni. Se un modello riesce a imparare da lì la fisica del contatto mano-oggetto, quel sapere si può poi trasferire a una mano robotica.
Prevedere lo stato, non i pixel
Il cuore di DexWM è un predittore. Data la situazione attuale e un’azione della mano, prevede come sarà la situazione un istante dopo. La finezza sta nel fatto che non prevede l’immagine pixel per pixel — sarebbe uno spreco, e il colore di un oggetto conta poco per la sua manipolazione — ma uno stato latente: una descrizione compressa e ricca di significato prodotta da DINOv2, un encoder visivo pre-addestrato che viene tenuto congelato. Ogni immagine diventa un insieme di vettori, uno per zona dell’immagine, che catturano forma e struttura più che apparenza. Formalmente, chiamando $s$ lo stato latente, $a$ l’azione e $f_\theta$ il predittore, l’obiettivo è imparare
$$\hat{s}_{k_2} = f_\theta\big(s_{k_1},\, a_{k_1 \to k_2}\big) = f_\theta\big(E_\phi(I_{k_1}),\, a_{k_1 \to k_2}\big),$$
dove $E_\phi$ è l’encoder che trasforma l’immagine $I$ in stato latente e $\hat{s}_{k_2}$ è lo stato previsto dopo aver eseguito l’azione. Ripetendo il calcolo — si dà in pasto al modello lo stato appena previsto insieme all’azione successiva — si simula un’intera traiettoria nello spazio latente, come srotolare mentalmente un gesto prima di compierlo.
Resta la domanda più delicata: come si rappresenta un’azione fatta con le dita? Descriverla a parole («afferra la tazza») è troppo vago; indicare solo la posizione del polso, come facevano lavori precedenti, perde tutta la destrezza. DexWM usa i keypoint della mano. Seguendo la parametrizzazione MANO, ogni mano è descritta da 21 punti caratteristici in tre dimensioni — nocche, falangi, polso — e l’azione è semplicemente lo spostamento di quei punti da un fotogramma al successivo, sommato al movimento della telecamera. Due mani fanno 42 punti; con le tre componenti della traslazione e le tre della rotazione della camera si arriva a un vettore azione compatto:
$$a_{k_1 \to k_2} = \big[\,(H_{k_2} – H_{k_1})^\top,\; \delta t_{k_1 \to k_2}^\top,\; \delta q_{k_1 \to k_2}^\top\,\big]^\top \in \mathbb{R}^{44 \times 3}.$$
È una rappresentazione unificata che vale sia per la mano umana nei video sia per la mano robotica: per i dati di robot con pinza a due dita, che non hanno dita vere, i keypoint mancanti vengono riempiti con punti fittizi. Così video umani e video robot parlano la stessa lingua.
Video umani e robot diventano stati latenti tramite un encoder congelato; il predittore impara come un’azione della mano trasforma lo stato. A quel punto il modello non serve a imitare, ma a pianificare: si cerca la sequenza di azioni che avvicina lo stato attuale a quello desiderato.
Un dettaglio che cambia tutto: le dita sono piccole
Qui il paper racconta un problema concreto e la sua soluzione. Addestrare il modello solo a prevedere lo stato latente futuro non basta per la destrezza fine. Il motivo è banale: in un’immagine la mano occupa una porzione piccola, e un modello che minimizza l’errore medio sull’intera scena può permettersi di sbagliare le dita e cavarsela lo stesso. Ma sbagliare le dita, nella manipolazione, è esattamente ciò che non si può fare.
La contromisura è una perdita ausiliaria, la hand consistency loss: una seconda rete prevede dove finiscono polpastrelli e polso — come mappe di calore sull’immagine — e il modello viene penalizzato quando li sbaglia. L’addestramento combina i due obiettivi,
$$L = L_{\text{state}} + \lambda\, L_{\text{HC}},$$
con un peso $\lambda = 100$ che dà molta importanza alla coerenza delle mani. L’effetto si misura: con questa perdita, la percentuale di keypoint previsti correttamente entro venti pixel (la metrica PCK@20) a quattro secondi di previsione sale da 26 a 60. Trentaquattro punti guadagnati costringendo il modello a guardare le dita.
I numeri, senza arrotondare per eccesso
L’addestramento usa oltre 900 ore di video: 829 ore del dataset EgoDex, mani umane riprese in prima persona, più un centinaio di ore di DROID, manipolazione robotica con pinze a due dita, aggiunte per ridurre il divario tra corpo umano e corpo robot. Solo alla fine si mettono circa quattro ore di dati esplorativi raccolti in simulazione (RoboCasa) con il braccio Franka Panda e la mano Allegro, per calibrare il modello sull’anatomia del robot. Nessuna dimostrazione del compito, nessun addestramento sul robot reale.
Il modello non produce azioni direttamente: viene usato come modello di transizione dentro una pianificazione a orizzonte finito, dove il metodo Cross-Entropy (CEM) cerca la sequenza di azioni che porta allo stato-obiettivo, indicato da un’immagine. Nelle prove in simulazione DexWM raggiunge il 72% di successo nel compito di raggiungimento, il 28% nel posizionamento e il 58% nell’afferrare, contro il 16%, l’8% e lo 0% della Diffusion Policy, il metodo di riferimento per l’imitazione. Il salto rispetto alla stessa DexWM addestrata senza i video umani (18%, 8%, 14%) dice quanto pesi quel pre-addestramento umano.
Il risultato più citabile arriva dal mondo reale: sul braccio Franka con mano Allegro, senza alcun ritocco su dati reali, DexWM afferra l’oggetto in 10 tentativi su 12, circa l’83%. La Diffusion Policy, nelle stesse condizioni, fallisce sistematicamente. Va detto con onestà quanto è piccolo il campione — dodici prove, un solo tipo di compito — e che nel confronto in «circuito aperto» un altro world model, PEVA, batte leggermente DexWM su una metrica di somiglianza percettiva globale: solo che quella metrica non guarda le dita, e DexWM la supera dove conta, cioè sulla posizione precisa della mano, di oltre cinque punti in media. Un promemoria di quanto sia facile scegliere la metrica che fa fare bella figura.
Cosa non fa (ancora)
Gli autori sono espliciti sui limiti, e vale la pena riportarli. Pianificare traiettorie lunghe da zero con un world model resta difficile: già un banale prendi-e-posa richiede di spezzare il compito in sotto-obiettivi. La ricerca con il metodo Cross-Entropy è lenta e poco efficiente, e pianificatori basati sul gradiente sono indicati come strada da esplorare. Infine, l’obiettivo va fornito come immagine: estendere il tutto a obiettivi descritti a parole è lasciato al lavoro futuro. Sono i tre punti su cui misurare i prossimi paper della stessa linea.
Perché guardare in questa direzione
DexWM è un tassello di una scommessa più ampia, quella che LeCun porta avanti da anni: costruire agenti che imparano un modello del mondo osservando, invece di essere addestrati a rispondere a comandi. La novità pratica non è tanto la mano robotica quanto la fonte dei dati. Se per insegnare la destrezza si può attingere all’oceano di video di mani umane che già esiste — cucine, laboratori, officine riprese in prima persona — allora il collo di bottiglia della robotica, la scarsità di dimostrazioni robotiche costose, si aggira invece di affrontarlo di petto. Il bambino che impara a versare l’acqua guardando non ha bisogno che qualcuno gli tenga le mani: gli basta osservare e simulare. È un’idea vecchia quanto l’apprendimento, applicata a un braccio meccanico con una lezione di misura: prima di agire, prevedi.
Il paper
Raktim Gautam Goswami, Amir Bar, David Fan, Tsung-Yen Yang, Gaoyue Zhou, Prashanth Krishnamurthy, Michael Rabbat, Farshad Khorrami, Yann LeCun, World Models Can Leverage Human Videos for Dexterous Manipulation, FAIR at Meta e New York University, dicembre 2025. Disponibile su arXiv: arxiv.org/abs/2512.13644.
I commenti sono riservati agli iscritti.
Accedi per commentare