Fine-tuning, RAG o prompt? L’albero di decisione

La scena si ripete in quasi tutte le aziende che provano a costruire qualcosa con un modello linguistico. Il chatbot interno risponde male alle domande sui prodotti, oppure si inventa i dettagli, oppure usa un tono che non è quello dell’azienda. A un certo punto della riunione qualcuno pronuncia la parola che chiude ogni discussione: «facciamo fine-tuning». Riaddestriamo il modello sui nostri dati, così impara una volta per tutte. Suona logico, quasi ovvio. Nella maggioranza dei casi è la risposta sbagliata, e ce ne si accorge solo dopo aver bruciato settimane di lavoro e una fetta di budget.

Il guaio è che tre interventi molto diversi vengono trattati come se fossero intercambiabili. Riscrivere il prompt, agganciare al modello un archivio di documenti — la tecnica nota come RAG, retrieval-augmented generation — e fare fine-tuning risolvono problemi distinti. Confonderli è come rispondere «cambiamo il motore» a chiunque si lamenti dell’auto, che il difetto sia una gomma a terra, il serbatoio vuoto o lo specchietto storto. Prima della cura serve la diagnosi.

Tre strumenti, tre problemi diversi

Il modo più rapido per orientarsi è chiedersi che tipo di cosa manca al modello. Immagina un nuovo assunto, in gamba ma appena arrivato in ufficio.

Il prompt è il foglietto di istruzioni che gli lasci sulla scrivania: «rispondi in italiano, sii conciso, se non sai una cosa dillo invece di inventare». Cambia come si comporta in questo momento, senza toccare quello che sa. È lo strumento più economico e immediato, e va sempre provato per primo. Sorprendentemente spesso, un prompt scritto con cura risolve il problema che si era attribuito a una carenza profonda del modello.

Il RAG è dargli le chiavi dell’archivio. Il modello, da solo, non conosce i tuoi documenti interni, il listino aggiornato di ieri, la circolare arrivata stamattina. Con il RAG, prima di rispondere, il sistema cerca i documenti pertinenti e glieli mette davanti agli occhi dentro il prompt. Serve quando il problema è di conoscenza: fatti specifici, recenti o riservati che il modello non poteva aver visto quando è stato addestrato.

Il fine-tuning è mandarlo a un corso che ne cambia i riflessi. Non gli insegni fatti nuovi in modo affidabile — gli insegni un modo di fare: un formato di output rigido e ripetuto, uno stile molto particolare, un compito ristretto da svolgere sempre allo stesso modo. Cambia il comportamento di default, quello che il modello adotta senza che glielo si ricordi ogni volta nel prompt.

Il prompt cambia come risponde adesso; il RAG cambia cosa sa; il fine-tuning cambia chi è. In quest’ordine di costo, e in quest’ordine di priorità.

L’albero di decisione

Messe in fila, queste tre domande formano un percorso quasi meccanico. Non è una legge di natura, ma è la sequenza che fa risparmiare più tempo alla maggior parte dei progetti: si scende un gradino alla volta, e ci si ferma al primo che risolve.

Si scende, non si salta. Prima si esclude la mancanza di conoscenza (RAG), poi la necessità di un comportamento costante (fine-tuning); se non è né l’una né l’altra, quasi sempre basta lavorare sul prompt.

L’errore che fanno quasi tutti

C’è un fraintendimento che vale la pena isolare, perché è la causa numero uno dei progetti falliti: usare il fine-tuning per iniettare conoscenza. «Abbiamo diecimila documenti aziendali, facciamo fine-tuning così il modello li impara a memoria.» Non funziona quasi mai come si spera. Il fine-tuning plasma lo stile e il comportamento, ma è un modo pessimo e inaffidabile di far ricordare fatti precisi: il modello assorbe il tono dei tuoi documenti, non i loro contenuti verificabili, e continua a inventare quando gli chiedi una cifra specifica.

È la stessa differenza che passa tra mandare un dipendente a un corso di scrittura e dargli accesso all’archivio. Dopo il corso scriverà meglio, ma se gli chiedi il fatturato del terzo trimestre dovrà comunque andare a cercarlo nel raccoglitore. Per i fatti serve il raccoglitore, cioè il RAG. Per lo stile serve il corso, cioè il fine-tuning. Pretendere che il corso sostituisca il raccoglitore è l’errore che costa di più, perché lo scopri solo alla fine, quando il modello riaddestrato risponde con sicurezza e sbaglia i numeri.

Non sono strade alternative

L’albero di decisione fa sembrare i tre strumenti mutuamente esclusivi, ma è una semplificazione utile solo per decidere da dove partire. Nei sistemi maturi convivono. Un assistente costruito bene li usa spesso tutti e tre insieme: un prompt curato che fissa le regole di comportamento, il RAG che a ogni domanda recupera i documenti giusti, e — a volte, solo se serve davvero — un fine-tuning leggero che gli dà un formato di risposta impeccabile e sempre uguale.

La regola pratica è aggiungerli in ordine di costo. Il prompt non richiede infrastruttura e lo cambi in un minuto. Il RAG obbliga a indicizzare i documenti e a mantenere un sistema di ricerca, ma non tocca il modello. Il fine-tuning pretende dati di addestramento curati, una pipeline, e va rifatto ogni volta che il modello di base cambia versione. Salire di gradino ha senso solo quando quello sotto ha dimostrato di non bastare — non prima, per una specie di scaramanzia tecnologica che scambia lo strumento più complicato per quello più serio.

Perché ti riguarda

Se in questi mesi ti capita di sederti in una di quelle riunioni, questo albero ti fa risparmiare la scelta più cara. La domanda giusta non è «quale tecnica è più potente», ma «che tipo di cosa manca al mio modello: istruzioni, conoscenza o abitudini». Rispondere a quella prima di aprire il portafoglio è quasi tutto il mestiere: il resto è esecuzione.

E se non costruisci nulla di tutto questo, il criterio resta utile lo stesso, come lente per leggere gli annunci del settore. Quando un’azienda dichiara di aver «addestrato l’AI sui propri dati», vale la pena chiedersi in silenzio quale dei tre problemi stesse davvero risolvendo — perché molto spesso, dietro quella frase che suona ambiziosa, c’è semplicemente un buon prompt e un archivio ben indicizzato.