Immaginate un esame in cui il professore vi chiede di risolvere la Torre di Hanoi con quindici dischi scrivendo a mano, uno per uno, tutti i passaggi. La regola per vincere quel rompicapo è semplice e la conoscete a memoria: spostate il disco più piccolo sempre nella stessa direzione, e a ogni turno fate l’unica altra mossa legale. Il problema è che quindici dischi richiedono trentaduemilasettecentosessantasette mosse. Arrivati a metà foglio, con il polso indolenzito, scrivete «lo schema continua allo stesso modo, ma per non dilungarmi mi fermo qui». Il professore prende la penna rossa e annota: non sa risolvere il problema. Ha appena confuso «ho finito la carta» con «non ho capito».
È più o meno l’accusa che C. Opus (Anthropic) e A. Lawsen (Open Philanthropy) muovono, in un commento di quattro pagine pubblicato su arXiv nel giugno 2025, a uno studio uscito poco prima e molto discusso. Il titolo del commento è un gioco di specchi voluto — The Illusion of the Illusion of Thinking — e risponde punto per punto a The Illusion of Thinking di Shojaee e colleghi. Quello studio aveva fatto rumore: sosteneva di aver trovato un limite di fondo nei cosiddetti Large Reasoning Models, i modelli linguistici addestrati a «ragionare» passo dopo passo prima di rispondere.
Cosa viene contestato
La tesi dello studio originale è netta. Messi alla prova su rompicapi di pianificazione — Torre di Hanoi, attraversamenti del fiume, Blocks World — i modelli di ragionamento mostrerebbero un «collasso di accuratezza»: oltre una certa soglia di complessità la loro precisione precipita a zero, di colpo. Non un calo graduale, ma un muro. La conclusione suggerita è che dietro l’apparenza di ragionamento non ci sia un vero processo di problem solving, ma qualcosa che si sgretola appena il problema si fa serio.
Il commento non nega i numeri. Ne contesta l’interpretazione. La tesi, in una riga: quel collasso riflette i limiti di come è stato costruito l’esperimento, non un limite del ragionamento dei modelli. E porta tre prove concrete.
Primo difetto: il muro dei token
Il primo problema è aritmetico. Il protocollo dello studio chiede al modello di elencare per esteso l’intera sequenza di mosse. Ma la Torre di Hanoi con N dischi richiede $2^N-1$ mosse, un numero che raddoppia a ogni disco aggiunto. Se contiamo circa cinque token per mossa, la lunghezza della risposta cresce in modo esplosivo:
$$T(N) \approx 5\,(2^{N}-1)^{2} + C$$
Ogni modello ha però un tetto massimo di token che può produrre. Nello studio erano 64.000 per Claude-3.7-Sonnet e DeepSeek-R1, 100.000 per o3-mini. Rovesciando la formula si ricava la taglia massima di rompicapo che ci sta dentro:
$$N_{\max} \approx \left\lfloor \log_2\!\sqrt{L_{\max}/5}\,\right\rfloor$$
Il conto dà 7-8 dischi per Claude-3.7-Sonnet e DeepSeek-R1, 8 per o3-mini. Esattamente le soglie oltre le quali lo studio originale registra il «collasso». Non è una coincidenza: il modello non fallisce, finisce lo spazio per rispondere. E lo sa. Una replica documentata online ha catturato output in cui il modello scrive nero su bianco «lo schema continua, ma per non rendere la risposta troppo lunga mi fermo qui». Chi valuta in automatico, contando se l’elenco delle mosse è completo, legge quella frase come un fallimento di ragionamento. È il professore con la penna rossa.
Chiedere l’elenco completo delle mosse (curva terracotta) fa esplodere la lunghezza della risposta, che sfonda il tetto di token intorno a otto dischi: è lì che compare il «collasso». Chiedere invece una funzione che generi la soluzione (linea teal) resta sempre ben al di sotto del budget. Grafico schematico, non in scala.
Da questa osservazione il commento ricava un corollario statistico. Se si valuta una soluzione carattere per carattere, senza margine di correzione, la probabilità di eseguire tutto alla perfezione è
$$P(\text{tutto corretto}) = p^{\,T}$$
dove $p$ è l’accuratezza per token e $T$ il numero totale di token. Con una risposta da diecimila token, un’accuratezza per token di 0,9999 dà meno del 37% di probabilità di successo; con 0,999 si scende sotto lo 0,005%. È un argomento che in letteratura viene usato per sostenere un limite intrinseco allo scaling dei modelli — ma, notano gli autori, presuppone che il modello non sappia riconoscere e aggirare i propri vincoli. Che è esattamente ciò che i modelli, fermandosi da soli, dimostrano di saper fare.
Secondo difetto: penalizzare chi riconosce l’impossibile
Il secondo problema è più imbarazzante, perché non è questione di interpretazione ma di aritmetica sbagliata a monte. Nel test dell’attraversamento del fiume, lo studio prova istanze con sei o più attori ($N \ge 6$) usando una barca da tre posti. Peccato che sia un risultato matematico consolidato che il rompicapo dei missionari e cannibali, con una barca di capacità tre, non abbia soluzione per $N > 5$. Sono problemi impossibili.
Il modello che, di fronte a un’istanza irrisolvibile, si rifiuta di produrre una soluzione, prende zero. Ma quello zero non misura un fallimento di ragionamento: misura il fatto che il modello ha correttamente riconosciuto che la soluzione non esiste. È come dare zero a un risolutore di vincoli perché risponde «insoddisfacibile» a una formula che è davvero insoddisfacibile. Il punteggio automatico, cieco alla risolvibilità del problema, trasforma la risposta giusta in un errore.
La prova del nove: cambiare la domanda
Le prime due critiche smontano l’esperimento; la terza prova a rifarlo meglio. Se il collasso dipende dal formato della risposta e non dalla capacità di ragionare, allora basta cambiare formato per farlo sparire. Invece di chiedere l’elenco delle mosse, gli autori hanno chiesto ai modelli di scrivere una funzione che generi la soluzione:
Risolvi la Torre di Hanoi con 15 dischi. Restituisci una funzione Lua che, quando viene chiamata, stampi la soluzione.
Quindici dischi: la stessa taglia su cui lo studio originale registrava un fallimento totale. Con questa richiesta, i modelli testati — Claude-3.7-Sonnet, Claude Opus 4, OpenAI o3, Google Gemini 2.5 — hanno raggiunto un’accuratezza molto alta, completando in meno di 5.000 token. Le funzioni prodotte implementano correttamente l’algoritmo ricorsivo. Il ragionamento, insomma, era intatto: mancava solo lo spazio per trascriverlo a mano. Cambiata la domanda, il muro non c’è più.
Lunghezza non vuol dire difficoltà
Resta un ultimo nodo, il più concettuale. Lo studio ordina i rompicapi per «profondità compositiva», cioè per numero minimo di mosse, e la usa come misura di complessità. Ma il numero di mosse dice poco sulla difficoltà di ragionamento. La Torre di Hanoi richiede una quantità di mosse che cresce in modo esponenziale, eppure ogni singola mossa si decide in modo banale: c’è sempre una sola scelta sensata, nessuna ricerca. L’attraversamento del fiume richiede pochissime mosse, ma ognuna impone di soddisfare vincoli e di esplorare alternative — è un problema NP-difficile; Blocks World è addirittura PSPACE. È per questo, osservano gli autori, che un modello può eseguire più di cento mosse di Hanoi e poi inciampare su un attraversamento da cinque mosse. Contare le mosse misura quanto è lunga la risposta, non quanto è duro il problema.
I limiti di questa replica
Il commento è onesto sui propri confini, e va letto per quello che è. Non è uno studio completo: gli stessi autori scrivono che, per vincoli di budget, non hanno potuto condurre abbastanza prove per un campione statisticamente robusto, e rimandano la validazione piena a lavori futuri. I loro esperimenti sono definiti «preliminari». La replica con la funzione Lua dimostra che i modelli sanno esprimere l’algoritmo, ma su un rompicapo — Hanoi — la cui logica per mossa è, per loro stessa ammissione, triviale. Non prova che i modelli di ragionamento siano privi di limiti: prova, più modestamente, che quel particolare esperimento non è la sede giusta per cercarli. Anche il tono è programmaticamente ironico: tra i ringraziamenti compaiono, accanto ai colleghi umani, «o3 e Gemini 2.5», e il primo firmatario porta il nome di un modello.
Perché conta
Al di là del battibecco tra due paper, la lezione è metodologica e riguarda chiunque legga titoli sul «vero volto» dei modelli. Misurare la capacità di ragionamento di un sistema è difficile, e un benchmark mal progettato può produrre numeri spettacolari che dicono tutt’altro da ciò che sembrano. Un tetto di token scambiato per un limite cognitivo; un problema impossibile scambiato per un fallimento; la lunghezza di una risposta scambiata per la sua difficoltà. Tre errori diversi, un’unica morale, che gli autori consegnano nella riga di chiusura: la domanda non è se questi modelli sappiano ragionare, ma se le nostre valutazioni sappiano distinguere il ragionamento dalla battitura.
Il paper
C. Opus, A. Lawsen, The Illusion of the Illusion of Thinking: A Comment on Shojaee et al. (2025), arXiv, 10 giugno 2025. Disponibile su arXiv: arxiv.org/abs/2506.09250.
I commenti sono riservati agli iscritti.
Accedi per commentare