Chi ha provato a cancellare qualcuno da una fotografia conosce il momento preciso in cui il trucco si rompe. La persona sparisce, sì, ma la sua ombra resta stampata di traverso sul selciato, oppure il suo riflesso continua a galleggiare nella pozzanghera accanto. In una foto ferma la si aggiusta a mano, con pazienza. In un video il problema si moltiplica: l’ombra si allunga, il riflesso ondeggia, e ogni fotogramma va corretto senza che l’occhio noti il salto. È esattamente questo buco che Object-WIPER, un lavoro di ricercatori della University of Texas at Dallas e di Adobe Research, prova a chiudere.
Non l’oggetto, ma la traccia che lascia
Rimuovere oggetti dai video non è un capriccio da effetti speciali. Serve nella produzione cinematografica, quando un microfono a giraffa o un membro della troupe entrano per sbaglio nell’inquadratura; serve per la privacy, quando un filmato di sorveglianza va ripulito da un passante; serve nella creazione di contenuti. Il problema è noto da decenni, e finora era stato affrontato in due modi, entrambi con un difetto.
La prima famiglia di metodi — l’inpainting classico, poi le reti convoluzionali e ricorrenti — riempie solo la sagoma dell’oggetto, quella che l’utente ha marcato. Ignora del tutto gli effetti collegati: l’ombra e il riflesso restano lì, orfani, a tradire la cancellazione. La seconda famiglia, più recente, addestra modelli di diffusione apposta per rimuovere anche gli effetti: funzionano meglio, ma esigono un prezzo alto. Metodi come ROSE arrivano a generare grandi quantità di dati sintetici con motori 3D, seguiti da un addestramento lungo e costoso. Object-WIPER prende un’altra strada, dichiarata già nel titolo: training-free. Nessun nuovo addestramento, nessun dataset da costruire. Prende un modello text-to-video già preaddestrato — nel loro caso Hunyuan-Video — e lo usa così com’è.
La differenza che conta: un metodo che toglie la sagoma ma lascia il riflesso tradisce sempre il ritocco. L’obiettivo è far sparire l’oggetto e la sua traccia in un colpo solo.
Chiedere al modello dove sta guardando
L’idea di fondo è quasi un gioco di prestigio. Un generatore text-to-video, per produrre un’anatra su uno stagno, ha dovuto imparare durante il preaddestramento che quell’anatra proietta un riflesso sull’acqua. Quella conoscenza è già dentro il modello. Object-WIPER non gli insegna niente di nuovo: gli chiede semplicemente dove guarda quando pensa all’anatra e al suo riflesso, e usa quella risposta come mappa di ciò che va rimosso.
Il meccanismo tecnico è l’attenzione, il cuore dei transformer. I modelli usati — architetture MMDiT che mescolano token di testo e di immagine nello stesso spazio — permettono di misurare quanto ogni porzione visiva è «agganciata» a una parola. Si parte dalla cross-attention testo→immagine: date le parole che descrivono l’oggetto e il suo effetto (per esempio «duck» e «reflection»), si misura quali token visivi rispondono di più.
$$A^{\tilde{T}\to I} = \mathrm{softmax}\!\left(\frac{Q_{\tilde{T}}\,K_I^{\top}}{\sqrt{d}}\right)$$
Mediando su queste parole si ottiene una mappa di rilevanza, e una semplice soglia (metodo di Otsu) la trasforma in una prima maschera. È come passare un evidenziatore sull’inquadratura: colora bene i contorni, ma lascia dei buchi interni dove alcuni token dell’oggetto rispondono in modo più debole. Qui interviene il secondo passaggio, la self-attention visiva $A^{I\to I} = \mathrm{softmax}(Q_I K_I^{\top}/\sqrt{d})$: i buchi che appartengono davvero all’oggetto sono quelli che «guardano» molto verso le zone già trovate. Riempirli dà una maschera densa e completa dell’effetto associato, che viene unita alla sagoma disegnata dall’utente. È questo il punto in cui Object-WIPER si stacca dal concorrente più vicino, Omnimatte-zero, che per lo stesso scopo si appoggiava a un modello esterno di tracciamento dei punti, fragile con oggetti veloci o traslucidi.
Riavvolgere il video nel rumore
Localizzata la regione, resta da svuotarla e riempirla in modo credibile. Il metodo riavvolge il video fino a ricondurlo a rumore (l’inversione tipica dei modelli di diffusione, qui con il sampler RF-Solver), salvando lungo il percorso i valori dello sfondo. Poi reinizializza la zona mascherata con rumore gaussiano puro — cancellando ogni prior sull’oggetto — e riparte in avanti, ricopiando i valori dello sfondo salvati per non stravolgere la scena.
Due accorgimenti fanno la differenza. Il primo è la maschera adattiva nel tempo: gli autori osservano che, man mano che il video viene spinto verso il rumore, l'»impronta» dell’oggetto nello spazio dei token si allarga. Una maschera fissa lascia allora trapelare pezzi dell’oggetto durante la ricostruzione; aggiornarla passo dopo passo evita la fuga. Il secondo è l’attention scaling: nelle prime fasi della ricostruzione, quando si forma la struttura globale, la zona vuota viene spinta ad attingere informazione dallo sfondo circostante anziché dai residui dell’oggetto. Nelle fasi finali il modello procede naturale, fondendo la toppa con il resto.
Una metrica per non barare
C’è un problema più sottile, ed è come si misura il successo. Le metriche classiche — il PSNR sullo sfondo, i punteggi di qualità video — sono facili da ingannare. Gli autori lo mostrano con un esempio spiazzante: un sistema che non rimuove niente e si limita a ricodificare il video (una ricostruzione VAE) ottiene un PSNR sullo sfondo di 34,05, più alto di quello di ogni metodo che l’oggetto lo rimuove davvero. Una metrica che premia l’inerzia non serve a valutare una rimozione.
Da qui nasce TokSim, la metrica proposta, calcolata sui token visivi di DINOv3. Premia tre cose insieme: la coerenza temporale della regione tra fotogrammi vicini ($\lambda$), la dissimilarità tra l’oggetto nel video originale e in quello ripulito — l’oggetto deve davvero essere sparito ($1-\eta$) — e la buona fusione con lo sfondo attorno ($\tau$).
$$\mathrm{TokSim} = \frac{100}{F}\sum_{k}\sum_{z} \lambda_z^{k}\,\big(1-\eta_z^{k}\big)\,\tau_z^{k}$$
I numeri, letti con onestà
Sul benchmark DAVIS, Object-WIPER ottiene una TokSim di 32,80, superando il migliore dei metodi addestrati apposta, Gen-Prop (30,52), e il migliore dei training-free, Attentive-Eraser (30,82). Sul nuovo benchmark degli autori, WIPER-Bench, il divario è simile: 33,09 contro il 30,02 di ROSE. Il fatto notevole è proprio questo: un metodo che non addestra nulla batte, sulla metrica pensata per il compito, metodi costruiti con dati e ore di training dedicati.
La lealtà del paper sta nel non fermarsi qui. Sulle metriche tradizionali Object-WIPER non vince: il suo PSNR sullo sfondo su DAVIS è 23,02, contro i 34,01 di Propainter. Gli autori lo ammettono e argomentano che quel numero è viziato — ricordiamo la ricostruzione-fantasma a 34,05 — ma resta una tensione dichiarata: la metrica su cui il metodo trionfa è anche quella che gli autori hanno introdotto. Per irrobustire il dato hanno chiesto a persone reali. In uno studio con valutatori umani, Object-WIPER è stato preferito il 96,67% delle volte per la qualità video, il 90,67% per la rimozione dell’oggetto e il 77,33% per la conservazione dello sfondo. E TokSim concorda con il giudizio umano nell’83,64% dei confronti. È interessante che la preferenza più bassa, quella sullo sfondo, sia coerente col PSNR più modesto: la debolezza è la stessa, vista da due angoli.
Dove il metodo si ferma
I limiti sono messi in chiaro. Essendo training-free, la capacità di preservare lo sfondo è ereditata di peso dal modello base: se RF-Solver non ricostruisce bene, Object-WIPER non può fare miracoli. Alcuni confronti mancano — con Omnimatte-zero, di cui non esiste codice pubblico, e con Gen-Prop, i cui risultati gli autori hanno potuto ottenere solo su DAVIS. WIPER-Bench, per quanto reale e vario (60 video da Pexels e YouTube, con maschere generate da SAM2, che coprono ombre, riflessi su acqua, specchi e oggetti traslucidi), è fatto di clip da due secondi: la tenuta su video lunghi resta da dimostrare. E la dipendenza totale dal generatore preaddestrato significa ereditarne anche i difetti, gli artefatti e i bias.
Vale però la pena guardare oltre il singolo risultato. Rendere la rimozione di un oggetto — e della sua ombra, del suo riflesso — pulita e senza addestramento abbassa una barriera concreta per chi monta video. Ma «senza traccia» è anche la parte che dovrebbe farci riflettere. Cancellare una persona e la sua ombra da un filmato in modo che nessuno se ne accorga è comodo per proteggere la privacy e altrettanto comodo per manipolare una scena. Il paper è un contributo tecnico misurato e onesto; la domanda su come useremo questa facilità, quella, resta tutta nostra.
Il paper
Saksham Singh Kushwaha, Sayan Nag, Yapeng Tian, Kuldeep Kulkarni, Object-WIPER: Training-Free Object and Associated Effect Removal in Videos, arXiv:2601.06391v2 [cs.CV], febbraio 2026. University of Texas at Dallas e Adobe Research.
I commenti sono riservati agli iscritti.
Accedi per commentare