Gli embedding: come le macchine trasformano le parole in geometria

Digitate «scarpe comode per camminare tanto» su un motore di ricerca interno di un e-commerce ben fatto, e tra i risultati compaiono sneaker ammortizzate che nella descrizione non contengono nessuna delle vostre parole. Nessun trucco, nessuna magia: da qualche parte, un algoritmo ha misurato la distanza tra la vostra frase e migliaia di descrizioni di prodotto, e ha scelto le più vicine. Vicine in che senso? In senso letterale, geometrico. È l’idea degli embedding, e vale la pena capirla bene, perché regge quasi tutto quello che oggi chiamiamo intelligenza artificiale linguistica.

I computer non leggono: contano

Un processore non ha nessuna nozione di «gatto». Per un computer, la parola gatto è una sequenza di byte, indistinguibile per natura da «gtato» o da «7##2q». Il problema è antico quanto l’informatica: come si fa a far maneggiare a una macchina qualcosa — il significato — che non è un numero?

La risposta ingenua è assegnare a ogni parola un codice: gatto = 1, cane = 2, lavatrice = 3. Funziona per archiviare, non per ragionare: in questo schema cane è «vicino» a gatto quanto lo è a lavatrice, perché i codici sono etichette arbitrarie. Non c’è nessuna struttura che dica alla macchina che gatti e cani si somigliano più di quanto entrambi somiglino a un elettrodomestico.

L’intuizione degli embedding è cambiare completamente rappresentazione: invece di un codice, a ogni parola si assegna un punto in uno spazio. Non uno spazio a due o tre dimensioni come quelli che sappiamo immaginare, ma a centinaia o migliaia di dimensioni. Ogni parola diventa una lista di numeri — le sue coordinate — e da quel momento il significato smette di essere una questione filosofica e diventa una questione di distanze.

Una mappa dove i sinonimi sono vicini di casa

L’analogia più onesta è quella della mappa. Su una cartina geografica, Milano e Monza sono vicine, Milano e Palermo sono lontane: la distanza sulla carta riflette una relazione reale. Un embedding fa la stessa cosa con i significati. In questo spazio, «gatto» e «cane» sono vicini di casa; «gatto» e «bulldozer» abitano in quartieri diversi; «felino» è praticamente sul pianerottolo di «gatto».

Come si costruisce una mappa del genere? Osservando come le parole vengono usate. Il principio, formulato dal linguista John Rupert Firth già negli anni Cinquanta, è che una parola si riconosce dalle compagnie che frequenta. «Gatto» e «cane» compaiono in contesti simili — accanto a «veterinario», «croccantini», «coda» — e quindi l’algoritmo, macinando miliardi di frasi, li spinge nella stessa zona dello spazio. Nessuno spiega alla macchina cosa sia un gatto: la macchina deduce la posizione di «gatto» dalle sue frequentazioni statistiche.

Il significato smette di essere una questione filosofica e diventa una questione di distanze.

Misurare la somiglianza: la similarità coseno

Una volta che le parole sono punti, serve un metro. Quello più usato si chiama similarità coseno, e nonostante il nome intimidatorio l’idea è alla portata di chiunque: invece di misurare quanto due punti distano, si misura quanto le loro direzioni concordano. Immaginate due frecce che partono dal centro della mappa: se puntano quasi nella stessa direzione, le parole si somigliano; se formano un angolo ampio, non c’entrano niente l’una con l’altra.

Il risultato è un numero tra −1 e 1. Vicino a 1: significati affini («auto» e «macchina»). Vicino a 0: nessuna relazione particolare («auto» e «meringa»). Guardare la direzione invece della distanza pura ha un vantaggio pratico: ignora quanto una parola è «intensa» o frequente e si concentra su di cosa parla. È il metro con cui, nel nostro esempio iniziale, la frase sulle scarpe comode viene confrontata con le descrizioni delle sneaker.

Re − uomo + donna ≈ regina (con riserva)

Nel 2013 un gruppo di ricercatori di Google pubblicò word2vec, un metodo efficiente per calcolare questi spazi, e un esempio ne decretò la fama: prendendo le coordinate di «re», sottraendo quelle di «uomo» e sommando quelle di «donna», si atterra vicino a «regina». Le relazioni tra significati — il genere, in questo caso — sembravano essere diventate direzioni nello spazio: la stessa freccia che porta da uomo a donna porta da re a regina.

È un risultato genuinamente notevole, ma va maneggiato con onestà. Primo: funziona bene su relazioni frequenti e regolari nei testi (genere, capitali e nazioni, plurali), molto peggio altrove; per molte analogie il «risultato» è corretto solo se si esclude d’ufficio la parola di partenza dai candidati. Secondo: quelle direzioni codificano anche i pregiudizi dei testi di addestramento. In spazi calcolati su grandi corpora si trovano associazioni sistematiche tra professioni e genere che nessuno ha programmato, ma che i dati contenevano. L’aritmetica delle parole è una finestra sulla struttura dello spazio, non una prova che la macchina «capisca».

Dal vocabolario fisso al significato in contesto

Word2vec e i suoi contemporanei avevano un limite strutturale: un solo punto per parola. Ma «calcio» nello sport, in chimica e in un’arma da fuoco sono tre cose diverse, e un embedding statico è costretto a schiacciarle in una posizione media che non rappresenta bene nessuna delle tre.

La generazione successiva — quella dei transformer, da cui discendono gli attuali modelli linguistici — produce embedding contestuali: la parola non ha più una casella fissa, ma riceve coordinate calcolate ogni volta, guardando la frase intera. «Il calcio è nel gruppo 2 della tavola periodica» e «il calcio di rigore» generano per la stessa parola due punti lontani. È la differenza tra una fotografia segnaletica e un ritratto fatto sul momento: il secondo tiene conto di dove ti trovi e con chi sei.

Dove li incontrate ogni giorno

Gli embedding sono il motore silenzioso di molte cose concrete:

• Ricerca semantica — trovare documenti per significato e non per parole esatte: la query e i documenti diventano punti, vince chi è più vicino.
• RAG — quando un assistente risponde citando i documenti aziendali, il recupero dei passaggi pertinenti è una ricerca di vicini nello spazio degli embedding.
• Raccomandazioni — «chi ha ascoltato questo ha ascoltato anche»: brani, film e prodotti vengono immersi nello stesso tipo di spazio, e consigliare significa guardare il vicinato.
• Deduplicazione e moderazione — riconoscere che due testi dicono la stessa cosa con parole diverse è, di nuovo, misurare una distanza.

Lo spazio degli embedding, schiacciato in due dimensioni: parole simili formano quartieri, e alcune relazioni — come il genere — diventano direzioni ripetibili.

Perché vi riguarda

Se usate un assistente AI, un motore di ricerca moderno o un servizio di streaming, gli embedding stanno già decidendo cosa vedete. Capire che sotto c’è una geometria — punti, direzioni, distanze — vi dà due strumenti concreti. Il primo è il realismo: quando un sistema «capisce» la vostra richiesta, sta misurando vicinanze apprese dai testi, con tutti i limiti e i pregiudizi che quei testi contenevano. Il secondo è la diagnosi: quando un motore semantico o un RAG sbaglia, quasi sempre il guasto è lì, in un vicinato dello spazio che non corrisponde alle vostre aspettative. La geometria del significato non è perfetta. Ma è misurabile, e questo — per una macchina — cambia tutto.