Chain-of-Thought Prompting (2022): ragionare per iscritto

«La mensa aveva 23 mele. Ne usa 20 per il pranzo e ne ricompra 6. Quante mele ha adesso?» Poniamo questa domanda a un grande modello linguistico e chiediamogli solo il numero finale: c’è una buona probabilità che risponda «27» con la sicurezza di chi non ha dubbi. La risposta giusta è 9. Il modello non è incapace di sottrarre: gli abbiamo chiesto di sparare il risultato in un colpo solo, senza passare per i conti. Nel gennaio 2022 un gruppo di ricercatori di Google Brain mostra che basta cambiare una cosa nel modo in cui formuliamo la richiesta perché quel «27» diventi «9». La cosa da cambiare è quasi banale: chiedere al modello di ragionare per iscritto, un passaggio alla volta, prima di dare la risposta.

Il trucco: mostrare il lavoro, non solo il risultato

Il metodo si chiama chain-of-thought prompting, prompting a catena di pensiero, e la sua meccanica è disarmante. Nel few-shot prompting si mettono davanti al modello alcuni esempi risolti prima di porgli la domanda vera. Di solito quegli esempi sono coppie secche: problema, risposta. L’idea del paper è di ingrassare gli esempi, inserendo tra il problema e la risposta i passaggi intermedi del ragionamento — «partiamo da 23, ne togliamo 20, restano 3, ne aggiungiamo 6, fanno 9». Il modello, imitando la forma degli esempi, comincia a produrre anche lui la catena di passaggi prima di concludere.

È la differenza tra lo studente che alla lavagna scrive solo il risultato e quello a cui il professore chiede di «mostrare il procedimento». Non gli stiamo insegnando la matematica: gli stiamo imponendo di rallentare, di scomporre il problema in pezzi affrontabili uno per uno. Ogni passaggio scritto diventa un appiglio per il successivo, e l’errore che nasce dal saltare tutto in una volta ha meno spazio per annidarsi. Notevole è quanto poco serva: nel paper gli autori ottengono i loro risultati con appena otto esempi risolti in questo modo, scritti a mano, senza addestramento aggiuntivo né modifica dei pesi del modello.

Un’abilità che compare solo con la scala

Qui arriva l’osservazione più interessante, e la meno scontata. La catena di pensiero non aiuta sempre. Sui modelli piccoli non solo non migliora le prestazioni: spesso le peggiora. Un modello da pochi miliardi di parametri, invitato a ragionare per iscritto, produce catene fluide e grammaticalmente impeccabili che però non stanno in piedi — passaggi plausibili in superficie e sbagliati nella sostanza, che portano dritti alla risposta errata con un contorno di finta logica.

Il beneficio emerge solo oltre una certa taglia, nell’ordine del centinaio di miliardi di parametri. Gli autori lo descrivono come un’abilità emergente: non cresce gradualmente con la dimensione del modello, ma appare più o meno di colpo superata una soglia, come l’acqua che non si scalda «un po’ di più» a cento gradi ma cambia di stato. Sotto la soglia, ragionare per iscritto è rumore; sopra, è il gesto che sblocca la capacità di risolvere problemi a più passaggi. È un risultato che dice qualcosa di scomodo e affascinante insieme: certe competenze non si progettano, si aspettano.

Non stiamo insegnando al modello a ragionare. Gli stiamo dando il permesso di farlo ad alta voce — e scopriamo che, oltre una certa taglia, quel permesso basta.

Lo schema: due strade per lo stesso problema

Vale la pena fissare l’immagine. In alto la strada corta: dalla domanda dritti alla risposta, con l’errore in agguato. In basso la strada lunga: la domanda si scompone in passaggi espliciti, e ogni passaggio prepara il terreno al successivo fino alla risposta.

La stessa domanda percorsa in due modi: dritti alla risposta (in alto, con l’errore che passa) oppure attraverso i passaggi di ragionamento resi espliciti (in basso), dove ogni conto intermedio regge il successivo fino al risultato corretto.

Cosa ha misurato il paper

Gli autori — Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le e Denny Zhou — non si fermano all’aneddoto. Testano la tecnica su tre famiglie di compiti: aritmetica (problemi di matematica raccontati a parole), ragionamento di senso comune e ragionamento simbolico, su tre diversi grandi modelli linguistici. Il risultato più citato riguarda GSM8K, un benchmark di problemi matematici da scuola: un modello da 540 miliardi di parametri, guidato con appena otto esempi in forma di catena di pensiero, raggiunge lo stato dell’arte del momento su quel benchmark, superando persino un GPT-3 addestrato apposta e affiancato da un verificatore dedicato.

È un dettaglio che merita di essere sottolineato, perché ribalta un’aspettativa: qui non si è addestrato nulla. Nessun nuovo dato etichettato, nessun aggiornamento dei pesi, nessuna fase di fine-tuning. Solo una manciata di esempi scritti meglio, messi nel prompt. Lo stesso modello che sbagliava, con le stesse capacità congelate, comincia a risolvere problemi che prima gli sfuggivano — perché gli abbiamo cambiato la richiesta, non il cervello.

Perché non è (soltanto) magia

Vale la pena l’onestà intellettuale. La catena di pensiero rende il ragionamento del modello leggibile, ma leggibile non vuol dire fedele: la spiegazione scritta è una narrazione plausibile del percorso, non necessariamente il processo reale che ha prodotto la risposta. Un modello può arrivare alla conclusione giusta con passaggi sbagliati, o produrre una catena impeccabile e poi sbagliare comunque il totale. La catena aumenta la probabilità di risposte corrette sui problemi a più passaggi; non è una garanzia, e non trasforma il modello in un dimostratore rigoroso.

C’è poi il vincolo della scala, che è anche un vincolo di accesso: se il beneficio compare solo oltre il centinaio di miliardi di parametri, chi lavora con modelli piccoli non lo raccoglie gratis. Il panorama è cambiato dal 2022 — sono arrivate varianti che eliciano il ragionamento con un semplice «ragioniamo passo per passo», tecniche di auto-consistenza che campionano più catene e votano, e modelli addestrati esplicitamente a ragionare a lungo. Ma tutte discendono, in un modo o nell’altro, dall’osservazione di questo paper: dare al modello lo spazio per pensare per iscritto cambia quello che sa fare.

Perché vi riguarda

Se usate un assistente conversazionale per qualcosa di più di una battuta, avete già in mano la leva. Un problema che richiede più passaggi — un calcolo, una deduzione, una decisione con vincoli — quasi sempre si risolve meglio se chiedete esplicitamente al modello di spiegare il ragionamento prima di concludere, invece di pretendere subito la risposta secca. È la differenza pratica tra un output brillante e uno affidabile. E funziona anche al contrario: leggere la catena vi permette di individuare dove il modello devia, cosa che una risposta nuda vi nasconde. In un’epoca in cui deleghiamo sempre più decisioni a questi sistemi, sapere che il modo di chiedere pesa quanto ciò che chiediamo non è un tecnicismo — è alfabetizzazione di base.

Il paper originale

Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., Zhou, D. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903. Disponibile su arxiv.org/abs/2201.11903.