Immaginate di spiegare una ricetta a un amico e di chiedergli poi di riscriverla con parole sue. Se giudicaste la sua versione contando quante parole coincidono con la vostra, un sinonimo diventerebbe un errore e una frase riformulata un disastro, anche quando il piatto verrebbe identico. È un metro sbagliato: quello che conta non è la sovrapposizione delle parole, ma se ha afferrato l’idea. Eppure è esattamente così che alleniamo i modelli linguistici. A ogni passo chiediamo loro di indovinare la parola successiva esatta, e li premiamo o puniamo sulla base di quella singola parola. Un paper di settembre 2025, firmato da Yann LeCun, Randall Balestriero e Hai Huang, prova a cambiare il metro di giudizio: invece di misurare l’errore sulle parole, misurarlo nello spazio delle idee.
Due modi opposti di allenare una rete
Per capire la proposta serve un passo indietro, verso un divario che oggi separa due mondi vicini. Nella visione artificiale, negli ultimi anni, ha vinto una famiglia di metodi chiamati JEPA — Joint Embedding Predictive Architectures, di cui LeCun è il principale sostenitore. L’idea è addestrare una rete non a ricostruire l’immagine pixel per pixel, ma a predire la rappresentazione interna di una vista a partire da quella di un’altra: due foto dello stesso edificio in momenti diversi della giornata devono finire vicine nello spazio astratto della rete. Si allena il modello a cogliere ciò che accomuna le due viste, non a riprodurre i dettagli superficiali di una. Gli autori riportano che, nella visione, questi obiettivi nello spazio degli embedding si sono rivelati nettamente superiori alle loro controparti basate sulla ricostruzione.
Nel linguaggio, invece, domina ancora l’approccio opposto. I modelli linguistici di oggi vengono addestrati e valutati sulla loro capacità di generare testo nello spazio di partenza, token per token: la classica next-token prediction. È un obiettivo di ricostruzione. La stessa cosa che nella visione ha perso terreno resta lo standard indiscusso del testo. Da qui la domanda del paper, disarmante nella sua semplicità: il linguaggio può imparare qualche trucco dalla visione? La scarsità di LLM in stile JEPA, notano gli autori, è la prova di quanto sia difficile disegnare obiettivi del genere per il testo. LLM-JEPA è il loro primo tentativo di colmare quel divario.
Due viste della stessa cosa
Il trucco dei JEPA nella visione è avere due viste dello stesso oggetto. Nel testo questo sembra impossibile: una frase è una frase. Il contributo centrale del paper è notare che alcuni dati hanno naturalmente due viste. Un’issue scritta in inglese su GitHub e il diff di codice che la risolve sono due descrizioni della stessa funzionalità: una in linguaggio naturale, una in codice. Una descrizione a parole di un’espressione regolare e la regex corrispondente sono la stessa cosa detta in due lingue. Una domanda in italiano e la query SQL che le risponde, idem.
Sono esattamente i dati su cui il paper concentra gli esperimenti: NL-RX (descrizione → espressione regolare), Spider (domanda → SQL), GSM8K (problema di matematica → soluzione). In ognuno c’è una coppia (Testo, Codice) che rappresenta la stessa conoscenza da due angolazioni. Trattare quelle coppie come due viste, scrivono gli autori, è ciò che permette di usare un obiettivo JEPA su un LLM, affiancandolo — senza sostituirlo — al normale compito generativo di produrre il codice a partire dal testo.
Il meccanismo: predire nello spazio degli embedding
Nella pratica LLM-JEPA somma due obiettivi. Il primo è quello di sempre: la cross-entropy tra il token predetto e quello vero, che tiene in vita la capacità di generare testo. Scritto in modo compatto, il modello continua a minimizzare
$$\mathcal{L}_{\text{LLM}} = \text{XEnt}\big(\text{Classifier}(\text{Enc}(\text{Text}_{1:\ell-1})),\ \text{Text}_\ell\big),$$
cioè l’errore nel prevedere la parola $\ell$ date le precedenti. Il secondo termine è quello nuovo, in stile JEPA: si prende la rappresentazione interna del Testo, la si fa passare per un piccolo predittore, e si chiede che il risultato sia vicino alla rappresentazione interna del Codice. La perdita completa è
$$\mathcal{L}_{\text{LLM-JEPA}} = \underbrace{\sum_{\ell=2}^{L}\mathcal{L}_{\text{LLM}}(\text{Text}_{1:\ell-1},\text{Text}_\ell)}_{\text{capacità generativa}} \;+\; \lambda\,\underbrace{d\big(\text{Pred}(\text{Enc}(\text{Text})),\ \text{Enc}(\text{Code})\big)}_{\text{capacità di astrazione (JEPA)}},$$
dove $\lambda \ge 0$ regola il peso relativo dei due termini e $d$ è una distanza. Tre scelte tengono in piedi la costruzione, e sono la parte ingegnosa. L’encoder non è una rete a parte: è lo stesso LLM, e come rappresentazione di una sequenza si usa lo stato nascosto dell’ultimo token nell’ultimo livello — la stessa scorciatoia già usata quando si «sonda» un modello. La metrica $d$ è la similarità del coseno, come si fa ormai di prassi nella visione. Il predittore, infine, riusa i pesi del modello stesso: si accodano al prompt alcuni token speciali [PRED], e si prende l’embedding dell’ultimo come predizione. Con $k$ token predittori si ha più spazio di elaborazione; con $k=0$ il predittore è banale, $\text{Pred}(x)=x$. Niente reti aggiuntive da progettare, niente pesi in più da addestrare.
Testo e Codice sono due viste della stessa conoscenza. Lo stesso LLM le codifica in due punti; il predittore sposta il punto del Testo verso quello del Codice, e la distanza da minimizzare è il termine JEPA. Il compito generativo di sempre continua a girare accanto.
Un dettaglio di costo non da poco: per ottenere le due rappresentazioni servono due passaggi in avanti aggiuntivi, uno per il Testo e uno per il Codice, oltre a quello generativo. È un costo che grava sull’addestramento, ma — sottolineano gli autori — non sull’inferenza: il modello finito si usa esattamente come un LLM normale.
I numeri, senza arrotondare per eccesso
Il primo risultato che il paper tiene a isolare è che il termine JEPA non si minimizza da solo. Allenando con la sola next-token prediction, la distanza tra le rappresentazioni resta alta: va aggiunta esplicitamente. In un esperimento di riferimento su NL-RX-SYNTH, dove le due perdite generative sono quasi identiche, l’accuratezza passa dal 51,95% del modello standard al 71,10% con LLM-JEPA. Poiché la parte generativa è la stessa, la differenza non può che venire dal termine JEPA.
Il miglioramento è consistente in fine-tuning su Llama-3.2-1B: sulle espressioni regolari di NL-RX-SYNTH si va da 57,3% a 71,5%, su GSM8K da 32,4% a 36,4%, su Spider da 47,5% a 50,6%. Tiene anche cambiando famiglia di modelli — Gemma 2, OpenELM, OLMo — con il caso più vistoso su OpenELM-1.1B, che sale da 12,1% a 25,4%. Onestà vuole però che si dica anche dove il guadagno è minimo: su OLMo-2-1B, già forte su quel compito, si passa da 87,09% a 87,52%, un progresso reale ma marginale. Nel pre-addestramento da zero di un Llama-3.2-1B su NL-RX-SYNTH, l’accuratezza sale da 54,4% a 60,6%, con un p-value di $2{,}94\times10^{-4}$: statisticamente solido, ma su un modello piccolo e un dataset ristretto.
La spiegazione più elegante di perché funzioni arriva da un’analisi geometrica. Gli autori cercano la migliore trasformazione lineare che porta le codifiche del Testo su quelle del Codice, misurando l’errore residuo
$$\min_{X}\ \big\lVert\, \text{Enc}(\text{Text})\,X – \text{Enc}(\text{Code}) \,\big\rVert^2.$$
Nel modello base l’errore è dell’ordine di 3900; dopo il fine-tuning standard resta sopra 3000; con LLM-JEPA crolla a circa 4. Detto altrimenti: l’obiettivo JEPA piega lo spazio delle rappresentazioni finché il legame tra le due viste diventa quasi una semplice mappa lineare. Il modello smette di trattare «il testo» e «il codice» come due mondi separati e li allinea. In più, LLM-JEPA si dimostra più robusto all’overfitting — dove il fine-tuning classico inizia a peggiorare con le epoche, la variante JEPA continua a migliorare — e regge bene anche con LoRA: a rango 512, con circa il 22% dei parametri addestrabili, raggiunge l’accuratezza del fine-tuning completo.
Quello che il paper non nasconde
I limiti sono dichiarati con precisione, ed è giusto riportarli. Il primo è il costo: quei due passaggi in avanti extra fanno triplicare il calcolo in fase di addestramento. Gli autori indicano già la via d’uscita — mascherare la matrice di self-attention per ottenere entrambe le viste in un solo passaggio — ma è lavoro futuro. Il secondo limite è più profondo: il metodo richiede coppie di viste «non banali», come testo e codice. Sui dataset che le offrono naturalmente funziona; su un testo qualunque, no. Manca ancora l’equivalente linguistico della data augmentation della visione, quel meccanismo che nelle immagini genera viste alternative a piacere. Un’ablazione mostra anche che il termine generativo resta indispensabile: azzerandolo, il modello produce solo output vuoti. Il JEPA qui è un regolarizzatore che affianca la generazione, non la rimpiazza. Infine, la scala: il grosso degli esperimenti gira attorno al miliardo o due di parametri — con qualche prova fino a 7 e 8 miliardi, dove peraltro il modello più grande fatica a chiudere le espressioni regolari — e la parte più promettente, il pre-addestramento, è ammessa come preliminare.
Perché vale la pena seguirlo
C’è un’ironia che rende questo lavoro più interessante della somma dei suoi numeri. Yann LeCun è da anni la voce più netta nel sostenere che i modelli autoregressivi, quelli che generano una parola dopo l’altra, siano un vicolo cieco verso l’intelligenza, e che il futuro stia nel predire rappresentazioni astratte anziché simboli. Qui, invece di contrapporre JEPA agli LLM, li mette insieme: prende l’obiettivo che difende per la visione e lo innesta sull’architettura che critica, migliorandola senza toglierle nulla. Non è la rivoluzione annunciata, ed è saggio non venderla come tale — è un primo ponte tra due modi di allenare le reti che finora si ignoravano. Ma è un ponte che regge il peso di qualche esperimento controllato, con il codice pubblico e i numeri riportati per intero, incertezze comprese. Nel campo del linguaggio, dove ogni claim tende a gonfiarsi, un primo passo dichiarato come tale è già una notizia.
Il paper
Yann LeCun, Randall Balestriero, Hai Huang, LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures, preprint arXiv, settembre 2025. Disponibile su arXiv: arxiv.org/abs/2509.14252. Codice: github.com/rbalestr-lab/llm-jepa.
I commenti sono riservati agli iscritti.
Accedi per commentare