Immaginate di dover tagliare una lunga pergamena in strisce riutilizzabili, con una regola: potete conservare solo un numero fisso di forme di striscia diverse, e ogni volta che ne inventate una nuova occupate uno dei pochi posti disponibili. Se decidete taglio per taglio, prendendo ogni volta la mossa che sembra migliore sul momento, finirete quasi certamente con un guardaroba di strisce mediocre: ottime all’inizio, sprecone alla fine. È esattamente così che lavora la tokenizzazione, il primo gesto invisibile di ogni modello linguistico — e da trent’anni lo fa proprio in quel modo goloso. Un lavoro di ETH Zurich e Kensho Technologies, uscito nel maggio 2026, prova a cambiare metodo: invece di decidere un taglio alla volta, risolve il guardaroba tutto insieme.
Il difetto nascosto di BPE
Prima di ogni modello c’è un tokenizzatore: prende una sequenza di byte e la spezza in token, i pezzi elementari che il modello poi manipola. La qualità di questa spezzettatura non è un dettaglio — diversi lavori mostrano che quanto bene un tokenizzatore comprime il testo si correla, almeno in parte, con le prestazioni finali del modello. Eppure lo standard di fatto, il byte-pair encoding (BPE), nasce nel 1994 come algoritmo di compressione ed è disarmante nella sua semplicità: guarda quale coppia di token è più frequente nel dataset, la fonde in un token nuovo, e ripete finché il vocabolario non raggiunge la dimensione voluta.
Il problema è quella parola, goloso (greedy): BPE fa scelte localmente ottime senza mai considerare il vocabolario nel suo insieme. Fondere la coppia più frequente adesso può costringere a creare token intermedi inutili dopo, e un po’ di potere di compressione se ne va. Unigram, l’altra famiglia diffusa, ha lo stesso limite di fondo. Negli anni sono arrivate molte toppe, ma quasi tutte sono ritocchi a BPE: nessuna guarda al problema da fuori. E c’è una ragione seria per accontentarsi di approssimazioni — trovare il tokenizzatore che comprime in modo ottimo è NP-difficile. Cercare la soluzione perfetta è, in generale, computazionalmente proibitivo.
Da problema combinatorio a geometria
Il contributo tecnico del paper è mostrare che la tokenizzazione si può affrontare con la programmazione matematica. Prima gli autori identificano un programma intero — un problema di ottimizzazione in cui le variabili sono decisioni sì/no, «questo token entra nel vocabolario oppure no» — equivalente a ciò che i tokenizzatori cercano di risolvere. Un programma intero è però anch’esso durissimo. La mossa chiave è il rilassamento convesso: si permette a ciascuna variabile, invece di valere solo 0 o 1, di assumere qualunque valore intermedio.
$$x \in \{0,1\} \;\longrightarrow\; x \in [0,1]$$
Con questa concessione il problema diventa un programma lineare, una classe per cui esistono risolutori efficienti e collaudati. Il prezzo è che la soluzione contiene token «parziali» — un token che entra nel vocabolario «per il 60%» non ha senso pratico — e vanno quindi ricondotti a un sì o a un no. Gli autori propongono tre semplici schemi di arrotondamento; dopo, costruire il tokenizzatore vero e proprio è banale. L’algoritmo che ne risulta si chiama ConvexTok. Sotto sta l’idea che la tokenizzazione è, in fondo, la scelta congiunta di un vocabolario $T$ e di una strategia di segmentazione: già solo con il vocabolario minimo $\{d, o, g, do, og\}$ la parola dog si può spezzare in $\langle do, g\rangle$, in $\langle d, og\rangle$ o in $\langle d, o, g\rangle$, e la scelta giusta dipende da tutto il resto.
La novità che conta: un certificato
Il risultato più elegante non è che ConvexTok comprima meglio — pure quello — ma che risolvere il programma lineare fornisce un limite inferiore sulla compressione raggiungibile da qualunque tokenizzatore su quel dataset. In altre parole, per la prima volta si può dire con rigore quanto un tokenizzatore sia lontano dal migliore possibile. E la sorpresa è quanto poco spazio ci sia: già alle dimensioni di vocabolario comuni, i tokenizzatori esaminati risultano entro l’1% dall’ottimo. Sapere che il tetto è a un passo cambia la conversazione: dice che, sul solo asse della compressione, non c’è quasi più margine da spremere.
I risultati, senza arrotondamenti per eccesso
Sul piano pratico il quadro è sfumato, e gli autori lo raccontano onestamente. ConvexTok migliora con costanza le metriche intrinseche di tokenizzazione e i bit-per-byte (BpB) raggiunti dai modelli linguistici; sui compiti a valle migliora anch’esso, ma in modo meno consistente. Contano anche quale schema di arrotondamento si usa: quello chiamato Bias domina sulle metriche intrinseche (tasso di compressione, utilizzo del vocabolario, entropia di Rényi), mentre lo schema deterministico Det è il migliore sui bit-per-byte e batte BPE sui compiti CORE spesso, anche se non sempre. C’è infine un punto a favore del vecchio metodo: BPE è più stabile di ConvexTok rispetto alla scelta del dataset di addestramento. Cambiando i dati, il tokenizzatore goloso ondeggia meno.
La posta in gioco
Vale la pena capire cosa questo lavoro sposta e cosa no. Non è la promessa di modelli molto più potenti: il margine di compressione recuperabile, dice il certificato, è minimo. Il valore è metodologico. Per trent’anni la tokenizzazione è stata un artigianato di euristiche golose, senza un metro per sapere quanto fossero buone. ConvexTok porta due cose nuove: un modo di ottimizzare il vocabolario nel suo insieme, non un taglio alla volta, e soprattutto un limite che trasforma una domanda vaga — «il mio tokenizzatore è buono?» — in un numero verificabile. A volte il contributo di un paper non è battere lo stato dell’arte, ma dirci esattamente quanto poco spazio resti per farlo.
Il paper
Jan Tempus, Philip Whittington, Craig W. Schmidt, Dennis Komm, Tiago Pimentel (ETH Zurich; Kensho Technologies), Tokenisation via Convex Relaxations, arXiv:2605.22821, 21 maggio 2026.
I commenti sono riservati agli iscritti.
Accedi per commentare