Nel video understanding la parola «open» va spesso letta con la lente: pesi pubblici, sì, ma codice di training, strategia e dataset restano chiusi. È uno dei tre limiti che gli autori di VideoChat3 imputano ai modelli attuali, insieme alla scarsa generalizzazione fuori dal proprio dominio e ai costi computazionali che il video — per sua natura — moltiplica.
VideoChat3, pubblicato il 16 luglio, si presenta come video-MLLM completamente aperto: codice, strategia di training e dataset inclusi. È la parte più rilevante dell’annuncio: la riproducibilità è il collo di bottiglia reale della ricerca video, dove ripetere un esperimento altrui è spesso impossibile proprio perché mancano le ricette.
Sul fronte dell’efficienza il modello introduce due accorgimenti: un Inflated 3D Vision Transformer (I3D-ViT) e una risoluzione adattiva dei frame, per non spendere lo stesso calcolo su ogni fotogramma a prescindere dal contenuto.
Il paper ha raccolto 117 voti su Hugging Face Daily Papers. Le prestazioni dichiarate — generalità sui diversi tipi di video, efficienza — sono claim degli autori, con i benchmark nel paper: la differenza, questa volta, è che chiunque può provare a rifare i conti. Ed è esattamente il punto.
I commenti sono riservati agli iscritti.
Accedi per commentare