C’è uno studente che tutti conosciamo. Prende trenta e lode a ogni esame, ricorda le formule a memoria, non sbaglia un quiz. Poi lo mettete in laboratorio davanti a un problema aperto — una molecola che non si comporta come dovrebbe, un dato che non torna — e si blocca. Non perché gli manchi il sapere, ma perché fare ricerca è un mestiere diverso dal superare esami: chiede di formulare un’ipotesi, provarla, leggere un risultato imperfetto e correggere il tiro. Gli autori di questo paper lo dicono senza giri di parole: prendere il massimo dei voti nei corsi non fa di nessuno un bravo ricercatore. La domanda che si pongono è se lo stesso valga per i modelli linguistici.
È una domanda che pesa, perché sui grandi modelli si sente ripetere che siamo alle porte di una «superintelligenza scientifica». Un gruppo molto ampio di ricercatori — decine di laboratori, da Cornell al Politecnico federale di Losanna, coordinati dall’azienda Deep Principle — ha deciso di misurarla invece di raccontarla. Il risultato è SDE, Scientific Discovery Evaluation, un metodo per valutare gli LLM non su quiz astratti ma su scenari di ricerca veri.
Perché i quiz di scienza non bastano
I benchmark che usiamo di solito per dire «questo modello è bravo in scienza» — GPQA, MMMU, l’esame Humanity’s Last Exam — sono raccolte di domande a risposta chiusa, spesso scollegate da qualsiasi progetto reale. Il paper li chiama decontestualizzati: misurano quanto un modello ricorda, non quanto sa fare. È la pagella dello studente modello. Il problema è che la scoperta scientifica non funziona per domande isolate: procede a cicli, per tentativi ed errori, integrando prove parziali. Un modello può sapere tutto sulla risonanza magnetica nucleare e non riuscire comunque a dedurre la struttura di una molecola da uno spettro reale.
Per colmare lo scarto, gli autori hanno costruito il loro banco di prova al contrario rispetto ai benchmark tradizionali. Invece di raccogliere domande a caso, in ogni disciplina un gruppo di esperti ha prima definito i progetti di ricerca che li interessano davvero, poi li ha scomposti in scenari ricorrenti (predire il prodotto di una reazione, dedurre lo stato di ossidazione di un complesso metallico, progettare una strategia CRISPR), e solo alla fine da ogni scenario ha estratto le domande. Ogni domanda resta così agganciata a un pezzo di ricerca concreto. Il totale: quattro domini — biologia, chimica, scienza dei materiali e fisica — 43 scenari e 1.125 domande vagliate una a una da un panel.
Nei quiz classici la domanda vive da sola e il modello vola alto. In SDE la stessa domanda è incastonata in uno scenario, dentro un progetto, dentro un dominio: ancorata a una ricerca reale, il punteggio scende. Lo scarto è la distanza tra sapere e scoprire.
Due livelli: rispondere e condurre
Il banco di prova lavora su due piani. Il primo è la domanda: si misura la percentuale di risposte corrette in ogni scenario, cioè
$$\mathrm{acc} = \frac{\text{numero di risposte corrette}}{\text{numero di domande dello scenario}}$$
È la stessa aritmetica di sempre, ma le domande sono diverse. Il secondo piano è più ambizioso ed è il vero contributo del lavoro: la valutazione a livello di progetto. Qui il modello non risponde a un quesito, ma viene messo dentro il ciclo della scoperta. Con uno strumento chiamato sde-harness, l’LLM propone un’ipotesi, un simulatore la mette alla prova, il modello legge il risultato e raffina l’ipotesi — e così via, per decine o centinaia di iterazioni. È la differenza tra una domanda d’esame orale e la conduzione di una tesi: bisogna tenere il filo tra un giro e l’altro, integrare le prove intermedie, decidere quando insistere su una strada e quando abbandonarla. Otto progetti coprono i quattro domini, dalla progettazione di proteine alla scoperta di equazioni fisiche a partire dai dati.
I numeri, senza sconti
Il primo risultato è netto. Sui quiz decontestualizzati i modelli di punta arrivano a 0,86 su GPQA-Diamond e 0,84 su MMMU-Pro. Sulle domande SDE, ancorate alla ricerca, gli stessi modelli scendono: 0,71 in biologia (claude-opus-4.1), 0,60 in chimica (claude-sonnet-4.5), 0,75 nei materiali e 0,60 in fisica (gpt-5). Un divario sistematico, non un incidente.
Dentro ogni dominio, poi, le prestazioni oscillano in modo drammatico. gpt-5 pianifica una retrosintesi con un punteggio di 0,85, ma quando deve dedurre una struttura molecolare da uno spettro NMR crolla a 0,23. Lo stesso modello, nella stessa disciplina: bravissimo in uno scenario, quasi inutile in un altro. È esattamente il tipo di dettaglio che i benchmark a grana grossa nascondono — e che conta, perché una scoperta si inceppa sull’anello più debole della catena.
Il «ragionamento» — i modelli che pensano passo passo prima di rispondere — aiuta, e su questo il paper è onesto in entrambe le direzioni. Chiedere a un modello DeepSeek se una molecola rispetta la regola del cinque di Lipinski, che stima la biodisponibilità orale di un farmaco, porta l’accuratezza da 0,65 a 1,00 quando si accende la modalità di ragionamento. Ma il beneficio si esaurisce presto. Passando lo sforzo di ragionamento di gpt-5 da «medio» ad «alto», i punteggi restano quasi fermi: 0,70 contro 0,69 in biologia, 0,74 contro 0,75 nei materiali. Lo stesso vale per la taglia del modello: gpt-5 migliora poco su o3, e con il ragionamento neutralizzato il salto da gpt-4o a gpt-5 è trascurabile. In diciotto mesi, per i compiti di scoperta, i modelli di base sembrano essersi assestati. Gonfiare i parametri e il tempo di calcolo — la ricetta che ha fatto volare la programmazione e la matematica — qui rende sempre meno.
Prendere il massimo dei voti agli esami non fa di uno studente un bravo ricercatore. Il paper mostra che per i modelli vale la stessa regola.
C’è un risultato che dovrebbe far riflettere chi conta sull’idea di combinare più modelli per coprire le lacune. Confrontando i quattro migliori di fornitori diversi — gpt-5, grok-4, deepseek-R1, claude-sonnet-4.5 — i loro profili di errore sono fortemente correlati: in chimica e fisica ogni coppia mostra un coefficiente di correlazione $r > 0{,}8$. Salgono e cadono sugli stessi scenari, e spesso sbagliano esattamente le stesse domande. Sulla sintesi dei MOF, i quattro modelli commettono lo stesso errore su quattro domande su ventidue. Se tutti condividono le stesse debolezze — verosimilmente ereditate da dati di addestramento simili — allora mettere ai voti le loro risposte non serve a molto: sbaglieranno in coro. Per rendere visibile questo muro, gli autori hanno isolato SDE-hard, un sottoinsieme di 86 domande (le due più difficili per scenario) su cui tutti i modelli restano sotto 0,12. L’unico a staccarsi è gpt-5-pro, che indovina 9 domande dove tutti gli altri falliscono — al prezzo, però, di un costo dodici volte più alto.
La sorpresa: scoprire senza sapere tutto
La parte più interessante arriva quando i due livelli non coincidono. Ci si aspetterebbe che un modello debole su uno scenario sia debole anche nel progetto corrispondente. Non sempre. Nessun modello è bravo a rispondere sulle proprietà dei complessi di metalli di transizione — stati di ossidazione, di spin, potenziali redox. Eppure, messi a cercare complessi con alta polarizzabilità dentro uno spazio di $1{,}37 \times 10^{6}$ candidati, gpt-5, deepseek-R1 e claude-sonnet-4.5 trovano l’ottimo entro 100 proposte, in meno di dieci iterazioni. Come è possibile scoprire senza sapere? La conoscenza esatta delle relazioni struttura-proprietà, suggerisce il paper, non è un prerequisito rigido: conta di più la capacità di fiutare la direzione giusta e di lasciare spazio all’esplorazione fortunata, alla serendipità.
Il rovescio della medaglia è altrettanto istruttivo. Sulle domande di retrosintesi i modelli vanno benissimo, ma quando devono generare un percorso di sintesi a più passaggi inciampano: producono reazioni non valide, falliscono i controlli di correttezza chimica e non battono i metodi tradizionali. E qui succede l’ironia più affilata: il migliore su questo progetto è gpt-4o, un modello più vecchio e senza ragionamento, davanti al suo successore gpt-5. Sui percorsi di sintesi lunghi, che richiedono pianificazione rigorosa e verifiche a ogni passo, il ragionamento avanzato non ha aiutato affatto. Sulla regressione simbolica — ricostruire l’equazione che governa un sistema dinamico a partire dai dati — è invece l’opposto: i modelli con ragionamento convergono più in fretta e battono PySR, uno strumento specializzato allo stato dell’arte, soprattutto fuori distribuzione. Nessun modello, comunque, vince su tutti e otto i progetti. La leadership ruota. Ed è proprio questo a smontare la parola «superintelligenza»: chi eccelle ovunque, oggi, non esiste.
Cosa il paper non pretende di dire
Gli autori sono i primi a mettere i paletti. SDE copre quattro discipline, otto progetti e 43 scenari scelti da un gruppo pur ampio ma finito di esperti: riflette i loro interessi e la loro geografia, e lascia fuori scienze della terra, scienze sociali e ingegneria. Le valutazioni girano su API commerciali, che i fornitori modificano di continuo con test A/B: due esecuzioni identiche possono dare numeri diversi, e la riproducibilità perfetta richiederebbe modelli eseguiti in locale. Il costo elevato ha inoltre ristretto la fase a livello di progetto a pochi modelli. Sono limiti dichiarati, non nascosti — ed è parte del valore del lavoro: un benchmark che sa dove finisce la propria autorità.
Quel che resta è un cambio di prospettiva utile a chiunque usi questi strumenti per lavorare, non per stupirsi. Il messaggio non è che gli LLM siano inutili nella scienza: al contrario, in diversi progetti si sono mostrati promettenti, a volte perfino dove i punteggi delle singole domande erano bassi. Il messaggio è che «sa rispondere» e «sa scoprire» sono due competenze distinte, e che confonderle porta ad aspettative sbagliate. SDE funziona come una tabella di consultazione: dice, scenario per scenario, dove un modello è affidabile e dove è meglio non fidarsi. In un momento in cui è facile proiettare sui modelli una scienza che non fanno ancora, misurare con onestà quello che sanno e non sanno fare è, forse, la cosa più scientifica di tutte.
Il paper
Zhangde Song, Jieyu Lu, Yuanqi Du, Botao Yu et al. (Deep Principle e collaboratori), Evaluating Large Language Models in Scientific Discovery, arXiv:2512.15567, dicembre 2025. Disponibile su arXiv: arxiv.org/abs/2512.15567.
I commenti sono riservati agli iscritti.
Accedi per commentare