Non è la conoscenza, è l’abilità: lo stesso modello gioca peggio in certe lingue

Immaginate un giocatore di briscola a cui le regole vengano spiegate in una lingua che conosce meno bene. Ci aspettiamo che capisca più lentamente, magari che chieda di ripetere. Non ci aspettiamo che cominci a giocare una strategia peggiore: le carte sono le stesse, il tavolo è lo stesso, l’avversario è lo stesso. Il sapere è nella testa, non nella lingua in cui gliel’hanno detto.

Con i modelli linguistici questa aspettativa non regge, e un rapporto depositato il 26 agosto 2026 prova a dire di quanto. Si intitola Skill Issue: Are Skills Language-Invariant in LLMs? — dove skill non è la scheda di istruzioni che oggi si distribuisce agli agenti, ma la parola nel suo senso ordinario: abilità, saper fare. Lo firmano in sette: Bobby Cheng, Adam Gaber, Zhengyuan Liu, Catherine Arnett, Omer Goldman, Cheston Tan e Leshem Choshen.

Separare il sapere dal saper fare

Che i modelli accedano alla conoscenza in modo incoerente da una lingua all’altra è cosa acquisita: chiedi la stessa cosa in inglese e in un’altra lingua e ottieni risposte di qualità diversa, e spesso di contenuto diverso. La domanda nuova è un’altra: al di là di quello che sanno, differiscono anche in ciò che sanno fare?

La difficoltà è tutta nel misurarlo. I benchmark tradotti confondono almeno tre cose: quanto il modello sappia in quella lingua, quanto sia buona la traduzione del benchmark, e quanto il compito richieda conoscenza culturale che in quella lingua è più o meno presente. Se il punteggio scende, non si sa a quale delle tre attribuirlo. Ed è per questo che il divario fra lingue viene di solito raccontato come una questione di conoscenza: perché è l’unica dimensione che gli strumenti in uso riescono a isolare.

Il trucco: farlo giocare contro sé stesso

L’idea del paper è di quelle che una volta lette sembrano ovvie. Si prende un gioco testuale e si fanno affrontare due istanze dello stesso modello, ciascuna delle quali interagisce attraverso una lingua diversa. Il modello è lo stesso, l’avversario è lo stesso, le regole sono le stesse, lo spazio degli stati è lo stesso, le mosse disponibili sono le stesse. Resta una sola variabile libera, la lingua dell’interfaccia — e qualunque differenza nell’esito è, per costruzione, effetto suo.

È l’autopartita multilingue, e il suo pregio è che non c’è un punteggio da tradurre e non c’è conoscenza del mondo da possedere: chi vince, vince perché ha giocato meglio. Gli autori costruiscono un’estensione multilingue di TextArena, l’ambiente di giochi testuali per modelli linguistici, e valutano tre modelli a pesi aperti su otto lingue e sei giochi, scelti per coprire quattro tipi di abilità diverse: ragionamento spaziale, informazione imperfetta, allocazione di risorse, interazione ripetuta.

Il disegno dell’esperimento è tutto qui: due copie dello stesso modello, la stessa partita nel mezzo, e una sola cosa diversa fra i due lati. Quello che si misura non è solo chi vince, ma anche quante mosse illegali vengono tentate e con quali tendenze si gioca. E il risultato più utile è in fondo: la lingua dell’interfaccia e la lingua del ragionamento sono due leve distinte.

Quello che hanno trovato

Il risultato principale è secco: lo stesso modello mostra una forza di gioco marcatamente diversa a seconda della lingua, con variazione sistematica nei margini fra vittorie e sconfitte, nelle mosse non valide e nelle tendenze strategiche. Le analisi di dettaglio individuano fallimenti specifici per lingua nel ragionamento spaziale, nelle decisioni che dipendono dalle carte in mano e nella scelta della mossa ottimale.

La grandezza su cui conviene fermarsi è la seconda, le mosse non valide, perché è quella che non ammette interpretazioni caritatevoli. Un margine di vittoria più basso si può sempre raccontare come uno stile di gioco diverso, magari più prudente. Una mossa illegale no: vuol dire che, in quella lingua, il modello non stava tenendo insieme lo stato della partita e l’elenco di ciò che gli era concesso fare. Non è una sfumatura di qualità della prosa. È il gioco che gli sfugge di mano.

La leva pratica

La parte che chi costruisce cose può usare subito arriva alla fine dell’abstract: in alcune configurazioni, cambiare soltanto la lingua del ragionamento intermedio recupera buona parte della prestazione perduta. L’interfaccia resta quella che è — il gioco continua a essere presentato e giocato nella lingua di prima — e cambia solo la lingua in cui il modello svolge il proprio pensiero.

Da cui la conclusione strutturale degli autori: la lingua può agire su stadi diversi del processo decisionale. Non c’è un unico punto in cui la lingua entra e degrada tutto; ci sono almeno due leve, quella dell’interfaccia e quella del ragionamento, e si possono muovere separatamente. È un’informazione di progetto, non una curiosità: dice che la ricetta «fai ragionare in inglese e rispondi in italiano», che molti applicano per abitudine e per sentito dire, ha adesso una misura dietro, e ha anche un limite — buona parte, non tutta, e in alcune configurazioni, non in tutte.

Le lingue non spostano solo quello che il modello sa dire. Spostano quello che il modello riesce a fare.

I limiti

Il rapporto è un preprint del 26 agosto 2026, depositato in cs.CL e non ancora passato da revisione paritaria. I modelli sono tre e sono a pesi aperti: è la scelta che rende l’esperimento riproducibile, ed è anche quella che ne restringe la portata: dei sistemi chiusi di frontiera non si sa che cosa sia stato fatto in fase di rifinitura multilingue, e non si può dedurre da qui che il fenomeno abbia su di loro la stessa ampiezza.

Poi c’è il perimetro. Sei giochi sono un ritaglio ristretto del comportamento, scelto proprio perché è misurabile senza ambiguità; nulla garantisce che il divario si presenti nella stessa misura quando il compito è redigere, riassumere o rispondere. E l’autopartita misura una forza relativa: dice quale delle due istanze prevale, non quanto entrambe siano lontane dal gioco giusto. Un modello che in due lingue gioca ugualmente male darebbe un margine nullo.

Infine l’abstract, come sempre, dichiara le forme e non i valori: non elenca le otto lingue, non nomina i tre modelli, non riporta le tabelle. Tutto ciò che qui viene detto in cifre — tre, otto, sei — è quanto c’è scritto lì.

Perché conta, e conta a noi

Il capitolo del libro sui modelli multilingui si chiude con un bilancio che ogni lettore italiano dovrebbe conoscere: l’italiano sta in una posizione comoda ma non privilegiata, il trasferimento da una rifinitura inglese funziona meglio del previsto, e il divario che resta si fa sentire soprattutto dove pesa la morfologia. Quel bilancio riguarda la qualità: quanto bene il modello capisce e scrive.

Questo paper aggiunge una dimensione che quel bilancio non contempla, ed è quella che oggi conta di più, perché è quella su cui si stanno costruendo gli agenti. Se un modello, cambiando lingua, cambia le decisioni — mosse illegali, scelte non ottimali, tendenze strategiche diverse — allora un sistema che agisce (che chiama strumenti, compila moduli, decide un ordine di operazioni) collaudato in inglese e messo in produzione in italiano non sta correndo solo il rischio di scrivere peggio. Sta correndo il rischio di fare peggio, e questo è un rischio che nessuna valutazione di fluidità intercetta.

Gli autori lo dicono con parole loro: le discrepanze di abilità sono «un ostacolo maggiore e misurabile» sulla strada di modelli davvero multilingui. La parte interessante di quella frase è «misurabile». Fino a ieri era un sospetto diffuso e un aneddoto per chi lavora fuori dall’inglese; adesso c’è un modo di metterlo su un numero, e il modo è abbastanza semplice da poter essere rifatto — anche, volendo, con l’italiano dentro.

Il paper

Bobby Cheng, Adam Gaber, Zhengyuan Liu, Catherine Arnett, Omer Goldman, Cheston Tan, Leshem Choshen, Skill Issue: Are Skills Language-Invariant in LLMs?, 26 agosto 2026. Disponibile su arXiv: arxiv.org/abs/2608.25832.