Prompt engineering: cosa funziona davvero (con le prove)

Cerca «prompt engineering» e in dieci minuti raccogli una collezione di consigli che si contraddicono a vicenda. Prometti una mancia di 200 dollari al modello e risponderà meglio. Digli che il compito è «molto importante per la tua carriera». Assegnagli il ruolo di «esperto mondiale di livello Nobel». Sii cortese, oppure sii brusco. Minaccialo. Ogni consiglio arriva con il suo aneddoto entusiasta e il suo screenshot. Nessuno arriva con un dubbio.

Il problema è che quasi tutti questi trucchi vengono giudicati sullo stesso metro: «ha funzionato quella volta che l’ho provato». È il metro peggiore possibile, perché i modelli sono stocastici — la stessa domanda dà risposte diverse — e perché ciò che aiuta su un modello può non fare niente su un altro, o sulla versione successiva dello stesso. Mettiamo allora le tecniche in fila non per quanto sono popolari, ma per quanto sono solide le prove che le sostengono.

Le stesse tecniche, ordinate per solidità delle prove: in alto quelle che reggono a test rigorosi, in basso il folklore che vive di aneddoti. Il contorno tratteggiato segnala effetti incerti o dipendenti dal modello.

Prove solide: le cose noiose che funzionano

In cima alla scala ci sono tre tecniche poco spettacolari e molto affidabili. La prima è mostrare esempi. Un modello a cui affianchi due o tre esempi di input e output corretti — il cosiddetto few-shot — impara al volo il formato e lo stile che vuoi, senza alcun addestramento. Fu proprio questa capacità di «imparare dagli esempi nel prompt» a definire la generazione di modelli che ha aperto l’era attuale. È l’equivalente di mostrare a un nuovo collega tre pratiche già compilate invece di spiegargli a parole come si compila il modulo: capisce prima e sbaglia meno.

La seconda è dire con precisione che forma vuoi. «Rispondi in JSON con i campi nome e anno«, «elenca al massimo cinque punti», «non aggiungere premesse»: vincolare il formato riduce drasticamente le risposte fuori bersaglio. Non è un trucco psicologico, è togliere ambiguità. La terza, di cui abbiamo parlato altrove, è la catena di pensiero: chiedere al modello di ragionare passo per passo prima di concludere, sui compiti che richiedono più passaggi. Nessuna di queste tre fa notizia. Tutte e tre funzionano in modo ripetibile.

Indizi promettenti: funziona, ma con asterisco

Un gradino sotto stanno le tecniche sostenute da prove reali ma con dei limiti. La self-consistency è la più elegante: invece di prendere per buona la prima catena di ragionamento, ne generi diverse (facendo variare un po’ le risposte) e tieni la conclusione che ricorre di più, come una piccola giuria che vota a maggioranza. Migliora l’accuratezza sui problemi di ragionamento, ma costa: stai pagando cinque o dieci risposte per averne una. La decomposizione — spezzare un problema complesso in sotto-problemi affrontati uno alla volta — segue la stessa logica ed è utile quando il compito è davvero articolato.

In questa fascia mettiamo, con onestà, anche il role prompt: assegnare al modello un ruolo («sei un revisore di codice», «sei un traduttore giuridico»). Su alcuni compiti aiuta a fissare tono e vocabolario; l’evidenza sistematica, però, dice che l’effetto è piccolo e incostante, e che gonfiare il ruolo — «sei il massimo esperto planetario» — non aggiunge quasi nulla rispetto a una semplice indicazione di dominio. Dare un contesto è utile; recitare una parte grandiosa lo è molto meno.

Folklore: gli aneddoti che non reggono

In fondo alla scala c’è la parte più virale e meno solida. Le mance immaginarie, le minacce, gli appelli emotivi («è importantissimo per me»), la cortesia esagerata: tutti trucchi che circolano con la certezza dell’aneddoto e crollano appena li metti alla prova su molti esempi e più di un modello. Qualche studio ha riportato piccoli guadagni da stimoli emotivi, ma sono effetti fragili, che non si replicano in modo affidabile e spesso rientrano nel rumore statistico. Su un modello danno l’impressione di funzionare, sul successivo scompaiono.

Se un trucco funziona solo quando lo provi una volta e lo racconti, non è una tecnica: è un aneddoto travestito.

Il motivo per cui questo folklore prospera è comprensibile. Vediamo il modello come un interlocutore umano, e con gli umani lusinghe, urgenza e cortesia funzionano. Ma il modello non ha una carriera da salvare né una mancia da incassare: ha solo statistiche su come di solito continua un testo. A volte una frase drammatica sposta per caso quelle statistiche nella direzione giusta; non è un pulsante affidabile, è una monetina lanciata bene una volta.

Il vero mestiere: misurare, non collezionare

C’è una tecnica che vale più di tutte le altre messe insieme, e non è una frase magica da incollare nel prompt: è tenere un piccolo insieme di esempi di prova. Dieci, venti, cinquanta casi rappresentativi del tuo compito, con la risposta giusta accanto. Ogni volta che cambi il prompt, lo fai girare su tutti e conti quante risposte migliorano e quante peggiorano. È l’unico modo per distinguere un miglioramento vero da un’impressione fortunata.

Questo ribalta il senso di «prompt engineering». Non è collezionare formule segrete, è fare piccoli esperimenti controllati. È la differenza tra il rimedio della nonna e il trial clinico: entrambi partono da un’intuizione, ma solo uno la mette alla prova prima di venderla come cura. Con un set di prova, «questa versione funziona meglio» smette di essere una sensazione e diventa un numero — e i numeri, a differenza degli aneddoti, si trasferiscono da un modello all’altro.

Perché ti riguarda

Chiunque usi un modello per un lavoro serio — scrivere codice, estrarre dati, redigere testi ripetitivi — spreca tempo prezioso se insegue trucchi da social. La roba che funziona è deludentemente semplice: dai esempi, chiedi un formato preciso, concedi spazio al ragionamento quando serve, e verifica su casi reali invece di fidarti della prima impressione. Tutto il resto — mance, minacce, ruoli altisonanti — nel migliore dei casi non fa danni, nel peggiore ti fa credere di avere un controllo che non hai.

La cosa liberatoria è che non serve una parola d’ordine segreta per parlare bene ai modelli. Servono le stesse virtù di chi scrive buone istruzioni per un collega: chiarezza, esempi, e l’umiltà di controllare se hanno capito. Il prompt engineering più efficace, alla fine, assomiglia meno alla magia e più al metodo.