LeJEPA: il self-supervised learning senza trucchi euristici

Immaginate di affidare a qualcuno una montagna di fotografie con una sola consegna: raggruppa quelle che si somigliano, ma non ti dico quali sono le categorie. Esiste una soluzione tecnicamente ineccepibile e completamente inutile: dichiarare che si somigliano tutte, buttarle in un unico mucchio e considerare il lavoro finito. Le reti neurali che imparano senza etichette conoscono benissimo questa scorciatoia. Si chiama rappresentazione collassata: il modello mappa qualsiasi input quasi nello stesso punto, il compito di addestramento risulta formalmente soddisfatto, e ciò che si ottiene non serve a niente. Buona parte del mestiere del self-supervised learning, negli ultimi anni, è consistita nel costruire recinti per impedire alla rete di prendere quella scorciatoia. Quei recinti sono diventati una torre di espedienti. Un paper firmato da Randall Balestriero e Yann LeCun propone di buttare giù la torre e mettere al suo posto un solo principio, dimostrato.

La torre di trucchi

Per capire la posta in gioco serve inquadrare cosa si vuole sostituire. Il self-supervised learning è la promessa di addestrare modelli senza pagare milioni di etichette umane: si costruiscono coppie di «viste» semanticamente legate della stessa cosa — due ritagli di un’immagine, una versione mascherata e una intera, due fotogrammi vicini — e si chiede alla rete di rendere prevedibile l’una dall’altra. È lo schema delle Joint-Embedding Predictive Architectures (JEPA), il progetto che LeCun porta avanti da anni come via verso modelli capaci di rappresentare il mondo. Il problema è che il compito di predizione, da solo, ammette la scorciatoia del collasso. E per evitarla lo stato dell’arte ha accumulato accorgimenti: stop-gradient, reti insegnante-studente con medie mobili da regolare a mano, viste asimmetriche, strati di whitening, esempi negativi, register token, scheduler per ogni iperparametro. Gli stessi autori lo chiamano un gioco a acchiappa la talpa: ogni safeguard tappa un buco e ne apre un altro, l’addestramento resta fragile, sensibile all’architettura e ai dati, e la teoria arranca dietro alla pratica.

La tesi del paper è che tutto questo sia curabile alla radice. Se sapessimo quale forma devono avere le rappresentazioni per essere utili, potremmo imporla direttamente, invece di scongiurare il collasso con una collezione di espedienti. La domanda diventa allora sorprendentemente pulita: quale distribuzione dovrebbero seguire gli embedding di un modello per andare bene su qualunque compito a valle?

Perché una gaussiana isotropa

La risposta che gli autori dimostrano è netta: la gaussiana isotropa. «Isotropa» significa che la nuvola di embedding ha la stessa larghezza in ogni direzione, senza assi privilegiati. L’intuizione è che, non sapendo in anticipo quale compito arriverà, la configurazione più robusta è quella che non favorisce nessuna direzione dello spazio. Il paper lo rende rigoroso su due fronti. Con una sonda lineare — il modo più diffuso di valutare un encoder congelato — un embedding anisotropo, schiacciato lungo certi assi, peggiora sia il bias sia la varianza dello stimatore: i pesi appresi risultano più distorti e ballerini da un campione di addestramento all’altro. Con sonde non lineari, come il k-NN a raggio o i metodi kernel, gli autori dimostrano che tra tutte le distribuzioni a varianza totale fissata è precisamente la gaussiana isotropa a minimizzare l’errore quadratico integrato. Non «una qualunque distribuzione sferica»: proprio la gaussiana emerge come unico ottimo. Da qui il nome del metodo, LeJEPA — Latent-Euclidean JEPA.

Vale la pena fermarsi su questo punto, perché è la vera inversione di rotta. Fino a ieri la ricerca sui JEPA partiva da un metodo che funzionava e cercava a posteriori una spiegazione. Qui si parte da una proprietà provata come necessaria e si costruisce l’algoritmo per raggiungerla. Resta un problema pratico enorme: come si costringe una nuvola di punti in centinaia o migliaia di dimensioni ad assumere quella forma, durante l’addestramento, senza far esplodere i costi?

Controllare una nuvola guardandone le ombre

Verificare direttamente che una distribuzione ad alta dimensione sia una gaussiana isotropa è proibitivo: è la classica maledizione della dimensionalità. La mossa di LeJEPA — battezzata SIGReg, Sketched Isotropic Gaussian Regularization — è aggirare il problema con un’analogia geometrica. Per sapere se un oggetto tridimensionale è una sfera perfetta non serve ispezionarlo tutto: basta illuminarlo da molte angolazioni e controllare le ombre. Se ogni ombra è lo stesso cerchio, l’oggetto è una palla; se da una certa angolazione l’ombra si schiaccia in un’ellisse, avete trovato la direzione in cui non è rotondo.

SIGReg fa esattamente questo. Invece di esaminare la nuvola di embedding nella sua interezza, la proietta lungo molte direzioni casuali — le «fette» — e verifica che ciascuna proiezione unidimensionale assomigli a una campana gaussiana standard. Un teorema classico, quello di Cramér-Wold, garantisce che il gioco è lecito: se combaciano tutte le proiezioni, combaciano anche le distribuzioni complete. Per il confronto su ogni fetta gli autori non usano istogrammi o divergenze qualsiasi, ma la funzione caratteristica, cioè la trasformata di Fourier della densità. La sua stima empirica è una media di esponenziali complessi,

$$\hat{\varphi}(t) = \frac{1}{N}\sum_{n=1}^{N} e^{\,i\,t\,z_n},$$

ed è naturalmente derivabile e facilissima da calcolare su più GPU, perché è appunto una media. Il test scelto è quello di Epps-Pulley, che misura in norma L2 pesata la distanza tra la funzione caratteristica dei dati e quella della gaussiana bersaglio:

$$EP = N\!\int_{-\infty}^{\infty} \bigl|\hat{\varphi}(t) – \varphi_{\mathcal N}(t)\bigr|^2\, w(t)\, dt.$$

La ragione della scelta è tutta ingegneristica: rispetto ai test basati sui momenti (instabili, con gradienti che esplodono) o sulla funzione di ripartizione (che richiedono un ordinamento, non derivabile e mal parallelizzabile), Epps-Pulley ha perdita, gradiente e curvatura limitati, non introduce iperparametri e ha complessità lineare $\mathcal{O}(N)$ in tempo e memoria. Alla fine SIGReg impone in sostanza che gli embedding abbiano media nulla e covarianza identità, $\mathbb{E}[z]=0$ e $\mathrm{Cov}(z)=I$, cioè proprio la gaussiana isotropa cercata.

SIGReg non esamina la nuvola ad alta dimensione: la proietta su molte direzioni casuali e confronta ogni proiezione con una campana gaussiana. Le direzioni vengono ricampionate a ogni passo, così anche poche fette per volta finiscono per coprire tutto lo spazio.

Restano due dubbi legittimi: bastano davvero poche direzioni casuali in uno spazio a mille dimensioni? E non è un calcolo enorme? La risposta al primo è duplice. La regolarità matematica della gaussiana bersaglio fa sì che poche proiezioni vincolino molto; e soprattutto, poiché a ogni passo di discesa del gradiente le direzioni vengono ricampionate, il numero cumulativo di «fette» viste durante l’addestramento cresce nel tempo. Gli autori mostrano che perfino sedici direzioni ricampionate a ogni minibatch battono un insieme fisso di migliaia. Al secondo dubbio risponde la complessità lineare: l’intero regolarizzatore sta, letteralmente, in una cinquantina di righe di PyTorch.

I numeri, senza entusiasmo

Ma i risultati vanno letti onestamente, distinguendo ciò che LeJEPA fa meglio da ciò in cui semplicemente si allinea. Sul grande benchmark di riferimento, ImageNet-1k con valutazione lineare a backbone congelato, LeJEPA arriva al 79% con un ViT-H/14, e attorno al 77-78% con ViT-Large (0,3 miliardi di parametri) e ConvNeXtV2-Huge (0,6 miliardi). Sono numeri competitivi: il paper stesso parla di prestazioni che «eguagliano» lo stato dell’arte, non di un salto. Su immagini naturali, insomma, LeJEPA pareggia con DINOv2 e affini, non li stravince.

Il valore sta altrove. Un unico iperparametro, $\lambda$, con default consigliato 0,05; nessuno stop-gradient, nessuna rete insegnante-studente, nessuno scheduler; addestramenti stabili su oltre sessanta architetture — ResNet, ViT, ConvNeXt, MaxViT, Swin — fino a 1,8 miliardi di parametri. Su ImageNet-10 gli autori addestrano una cinquantina di modelli di otto famiglie diverse, tutti sotto i 20 milioni di parametri e presi così come sono dalla libreria timm, e ciascuno raggiunge tra il 91,5% e il 95% di accuratezza: nessun collasso, nessuna messa a punto per architettura. LeJEPA gira con batch piccoli come 128, il che alleggerisce i requisiti di memoria.

Due risultati meritano evidenza a parte. Il primo: la loss di addestramento di LeJEPA correla fortemente con la performance a valle — una correlazione di Spearman intorno all’85%, che sale fino al 99% applicando una semplice legge di scala legata a $\lambda$. Tradotto: si può scegliere e validare un modello guardando solo la loss, senza dati etichettati, cosa che con i JEPA recenti era impossibile perché la loss non diceva quasi nulla. Il secondo: sul dataset Galaxy10 — 11.000 immagini di morfologie galattiche, 10 classi, lontanissime dalle foto naturali — pre-addestrare LeJEPA direttamente sul dominio batte il transfer learning da modelli di frontiera come DINOv2 e DINOv3. Contro l’intuizione dominante, per cui in un dominio di nicchia conviene sempre riusare un grande modello generico, qui l’addestramento in-dominio vince, e funziona persino con dataset da mille campioni come flowers102. In un confronto diretto, un LeJEPA ViT-L da 304 milioni di parametri addestrato per 100 epoche regge o supera un I-JEPA ViT-H da 632 milioni addestrato per 300: un terzo del budget di calcolo.

Dove non arriva

L’onestà impone di segnare i confini. Tutta la validazione empirica è sulla visione — immagini e video; la teoria si dichiara agnostica al dominio, ma il testo, l’audio o la robotica restano da verificare. Il test di Epps-Pulley introduce un bias del gradiente dell’ordine di $\mathcal{O}(1/N)$: gli autori lo giudicano trascurabile perfino con batch da 16, ma esiste, e le alternative non distorte non sono esplorate in questo lavoro. Le reti insegnante-studente, dichiarate non necessarie, restano comunque capaci di regalare un piccolo miglioramento sui ViT — quindi gli espedienti del passato non erano inutili, solo non indispensabili per evitare il collasso. E la stessa VICReg si riottiene come caso particolare degenere di LeJEPA con un test diverso: gli autori lo dimostrano e insieme sconsigliano quella scorciatoia, perché il solo confronto sui momenti riapre la porta alle soluzioni degeneri. Infine i risultati teorici poggiano su ipotesi di regolarità: eleganti, ma pur sempre assunzioni.

Perché conta

La lezione di LeJEPA non è il punteggio su ImageNet, ed è giusto dirlo senza gonfiarlo. È metodologica. Per anni il self-supervised learning è stato una forma di alchimia riuscita: ricette che funzionavano senza che nessuno sapesse dire perché, tenute insieme da una torre di accorgimenti da bilanciare a mano. Balestriero e LeCun mostrano che, almeno per i JEPA, quella torre era rimpiazzabile da un teorema — la forma ottimale delle rappresentazioni — e da un regolarizzatore che la impone in modo dimostrabile, scalabile e in poche righe. È lo stesso movimento intellettuale che ammiriamo in altri momenti di svolta dell’AI: il progresso arriva togliendo complessità, non aggiungendola. Che poi il metodo, liberato dagli espedienti, permetta di pre-addestrare direttamente sul proprio dominio invece di importare un modello altrui, è la conseguenza pratica più interessante per chiunque lavori fuori dalle immagini di gatti e cani. Non è la fine della storia del self-supervised learning. È, semmai, il momento in cui prova a diventare ingegneria.

Il paper

Randall Balestriero (Brown University, Meta-FAIR) e Yann LeCun (New York University, Meta-FAIR), LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics, arXiv 2511.08544v2, 12 novembre 2025. Disponibile su arXiv: arxiv.org/abs/2511.08544.