LLaVA (2024): dare gli occhi a un modello linguistico

Un modello linguistico, per quanto capace, è cieco. Vive in un mondo fatto solo di parole: date-gli un’immagine e non sa che farsene, perché non c’è nessuna parola dentro un file JPEG, solo numeri che descrivono pixel. Nell’aprile del 2023 quattro ricercatori — Haotian Liu, Chunyuan Li, Qingyang Wu e Yong Jae Lee — pubblicano un paper che affronta questo problema con una risposta quasi imbarazzante nella sua semplicità. Si intitola Visual Instruction Tuning, e il modello che presenta si chiama LLaVA: Large Language and Vision Assistant.

La domanda a cui rispondono è concreta: come si dà la vista a un modello che sa solo leggere? La tentazione, all’epoca, era addestrare da zero un enorme modello multimodale, mescolando testo e immagini fin dall’inizio — un’impresa costosissima. LLaVA prende la strada opposta. Tiene due componenti già esistenti e bravi ciascuno nel proprio mestiere — un modello che vede e uno che parla — e si concentra tutto sul pezzo che li mette in comunicazione.

Un ponte tra chi vede e chi parla

I due componenti presi in prestito sono noti. Da un lato un encoder visivo, CLIP nella variante ViT-L/14, addestrato da OpenAI a mettere in relazione immagini e testo: dategli una foto e ne restituisce una rappresentazione numerica ricca, che cattura «cosa c’è» nell’immagine. Dall’altro un modello linguistico, Vicuna, capace di conversare. Il problema è che i due parlano lingue diverse: i numeri che escono da CLIP non sono i numeri che Vicuna si aspetta in ingresso.

Qui entra il pezzo che dà il titolo a questo articolo, e che nel paper è quasi una nota a margine: una proiezione. È un singolo strato lineare — nella prima versione, una semplice moltiplicazione per una matrice — che prende i vettori prodotti da CLIP e li traduce nello spazio in cui vive Vicuna. Dopo la proiezione, un’immagine diventa una manciata di «gettoni» indistinguibili, per il modello linguistico, da normali parole. Il modello, letteralmente, legge l’immagine come se fosse testo.

Il pezzo che fa il lavoro sporco è anche il più semplice: una proiezione che traduce le immagini nella lingua del modello, e gliele fa leggere come parole.

La pipeline di LLaVA. Encoder visivo e modello linguistico esistevano già; l’unico componente nuovo è il proiettore in terracotta, che traduce le rappresentazioni dell’immagine nella lingua dell’LLM. Fatto questo, il modello linguistico «legge» l’immagine come una sequenza di parole.

I dati che GPT-4 ha scritto per sé

C’è un secondo problema, oltre all’architettura: per insegnare al modello a seguire istruzioni sulle immagini — «descrivi questa foto», «cosa c’è di strano qui?», «quante persone vedi?» — servono esempi di quel tipo di conversazione. E all’epoca non esistevano in quantità. La soluzione degli autori è la parte più ingegnosa del lavoro: hanno usato GPT-4, un modello che non vede, per generare i dati di addestramento di un modello che deve vedere.

Il trucco funziona così. Molte immagini pubbliche hanno già annotazioni testuali: didascalie, elenchi di oggetti con le loro coordinate. Fornendo a GPT-4 quelle descrizioni scritte — non le immagini, che non saprebbe leggere — gli autori gli hanno chiesto di inventare conversazioni plausibili su quelle scene: domande, risposte dettagliate, ragionamenti. Il risultato è un dataset di circa 158.000 esempi di istruzioni visive, generato senza che alcun essere umano scrivesse a mano le migliaia di dialoghi necessari. È come far descrivere un quadro a un critico bendato, a cui però qualcuno legge ad alta voce l’inventario esatto di ciò che il dipinto contiene: il critico non vede, ma ci scrive sopra una conversazione sensata.

Due fasi, e un modello che ragiona quasi come GPT-4

L’addestramento avviene in due tempi. Nella prima fase si allinea soltanto il ponte: l’encoder visivo e il modello linguistico restano congelati, e si aggiusta solo la matrice di proiezione, finché le immagini tradotte non «atterrano» nel posto giusto dello spazio linguistico. Nella seconda fase si sblocca anche il modello linguistico e si rifinisce il tutto sui dati di istruzioni visive, perché impari non solo a vedere ma a rispondere nel modo giusto.

I risultati riportati nel paper sono notevoli per un metodo così leggero. Su un insieme di prove costruito dagli autori, LLaVA ottiene un punteggio pari all’85,1% di quello di GPT-4, usato come riferimento. E combinato con GPT-4, il metodo raggiunge un nuovo stato dell’arte sul benchmark scientifico ScienceQA, con un’accuratezza del 92,53%. Non male per un modello addestrato, come scrivono, su circa ottantamila immagini uniche — una frazione minuscola rispetto ai dataset colossali dei modelli multimodali costruiti da zero.

Il seguito del 2024: fare di più con quasi niente

La storia però non finisce nel 2023. A ottobre di quell’anno gli stessi autori pubblicano Improved Baselines with Visual Instruction Tuning — la versione poi rivista nel 2024 e nota come LLaVA-1.5 — con una tesi che vale la pena citare per intero: quel ponte a strato singolo era «sorprendentemente potente ed efficiente nei dati». In altre parole, non serviva stravolgere l’idea; bastava sistemarne i dettagli.

Le modifiche sono poche e mirate. Il proiettore lineare diventa un piccolo strato a due passaggi (un MLP), un po’ più espressivo. L’encoder passa a una risoluzione più alta (CLIP a 336 pixel), così il modello vede immagini meno sgranate. E ai dati di conversazione si aggiungono dataset di domande e risposte visive di tipo accademico, con istruzioni che chiedono risposte in un formato preciso. Il risultato è un modello che stabilisce lo stato dell’arte su undici benchmark, addestrato su circa 1,2 milioni di dati tutti pubblici, in circa un giorno su un singolo nodo con otto acceleratori. La lezione è la stessa di molti buoni lavori: prima di aggiungere complessità, verifica quanto lontano ti porta la versione semplice fatta bene.

Perché riguarda voi

LLaVA conta per una ragione che va oltre i suoi numeri. Ha mostrato che la multimodalità — dare a un modello la capacità di vedere — non è per forza un privilegio di chi ha budget da centinaia di milioni. Riusando componenti aperti e concentrando lo sforzo su un ponte leggero, un gruppo di ricerca accademico è arrivato vicino ai modelli di frontiera. Da lì è nato buona parte dell’ecosistema di assistenti visivi aperti che oggi si possono far girare senza dipendere da un unico fornitore.

C’è anche un modo di pensare che conviene portarsi via. Molti sistemi di intelligenza artificiale che vi sembrano monolitici sono in realtà pezzi separati, ciascuno bravo nel suo, tenuti insieme da un componente-traduttore. Capire dov’è quel ponte — cosa collega, cosa traduce — è spesso la chiave per capire come funziona davvero un sistema, e dove può rompersi. In LLaVA il ponte è una proiezione. Nel prossimo modello che leggerete, sarà qualcos’altro: ma quasi sempre ci sarà.

Il paper

Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee, Visual Instruction Tuning, 2023 (NeurIPS 2023). Su arXiv: arxiv.org/abs/2304.08485. Il seguito: Haotian Liu, Chunyuan Li, Yuheng Li, Yong Jae Lee, Improved Baselines with Visual Instruction Tuning (LLaVA-1.5), 2023–2024 (CVPR 2024), su arXiv: arxiv.org/abs/2310.03744.