Immaginate di valutare un bagnino facendogli fare la prova di salvataggio in una piscina vuota, con l’acqua ferma e nessuno che rischia di annegare. Eseguirebbe la tecnica alla perfezione, e non avreste imparato quasi nulla su come se la caverebbe una domenica d’agosto. È più o meno così che, fino a ieri, si misuravano gli agenti AI: il modello riceveva un compito, il mondo si congelava in attesa che ragionasse, e alla fine si controllava il risultato. Nessuna email che arriva nel frattempo, nessun amico che cambia idea, nessuno strumento che smette di funzionare. Il 21 settembre 2025 i Meta Superintelligence Labs hanno pubblicato un lavoro che prova a riempire quella piscina: ARE: scaling up agent environments and evaluations. Insieme alla piattaforma ARE (Meta Agents Research Environments) arriva Gaia2, un benchmark pensato per far affogare — metaforicamente — i modelli di frontiera.
Cosa c’era prima, e perché non bastava
I benchmark per agenti più usati, come τ-bench (assistenza clienti) o SWE-bench (bug di software veri), condividono un’assunzione comoda: l’ambiente resta in pausa mentre l’agente lavora. Lo stato del mondo non cambia finché il modello non agisce. È una semplificazione che rende gli esperimenti riproducibili, ma regala all’agente capacità preziose che nella realtà nessuno gli regala: non deve gestire eventi che arrivano quando meno se li aspetta, non deve decidere se ignorare una notifica o reagire subito, non deve fare i conti con il tempo che passa. Il web, all’opposto, è realistico ma cambia di continuo: pessimo per un esperimento che vuoi ripetere uguale a distanza di mesi.
La tesi degli autori è che il progresso degli agenti è oggi limitato non dai modelli, ma dalla qualità degli ambienti in cui li mettiamo alla prova: servono ambienti controllabili, diversi e realistici insieme. ARE nasce per costruirne senza riscrivere ogni volta montagne di codice.
Tutto è un evento
ARE poggia su un principio spartano: «tutto è un evento». Cinque concetti si incastrano tra loro. Le App sono interfacce con uno stato (una app Email ha strumenti come send_email e delete_email che operano sullo stesso database). Un Environment è un insieme di app con le loro regole. Gli Eventi sono qualsiasi cosa accada, e vengono tutti registrati. Le Notifiche sono i messaggi con cui l’ambiente avverte l’agente. Gli Scenari sono lo stato iniziale più una sequenza di eventi programmati, con la logica di verifica annessa.
Formalmente un ambiente è un processo decisionale di Markov, cioè la quaterna
$$\text{Environment} = \langle\, \mathcal{S},\ \mathcal{O},\ \mathcal{A},\ T \,\rangle$$
dove $\mathcal{S}$ sono gli stati (di tutte le app, del gestore del tempo, delle notifiche), $\mathcal{O}$ le osservazioni, $\mathcal{A}$ le azioni esposte dalle app come strumenti e $T$ le regole di transizione. La differenza rispetto ai benchmark statici è tutta in una parola: asincrono. Il tempo della simulazione avanza a prescindere dal fatto che l’agente agisca o no; l’ambiente inietta eventi programmati o casuali — un amico che risponde a un messaggio, un’email che arriva — mentre l’agente sta ancora pensando. Il suo stesso tempo di calcolo consuma tempo simulato: un modello lento, letteralmente, arriva in ritardo. Per non aspettare ore reali, quando l’agente si mette in attesa la simulazione accelera, saltando da un evento al successivo.
La mossa centrale del paper: sganciare l’orologio dell’ambiente dall’agente. In un benchmark statico il mondo si ferma e aspetta; in ARE il tempo avanza e nuovi eventi entrano in scena mentre l’agente lavora, costringendolo ad adattarsi.
Gaia2: uno smartphone popolato di finzioni coerenti
Su ARE gli autori costruiscono Mobile, un ambiente che imita uno smartphone con app di uso quotidiano — Messaggi, Contatti, Calendario, Email, Shopping — per un totale di 101 strumenti. Il contenuto è dati sintetici generati con Llama 3.3 70B Instruct, ma con un vincolo severo di coerenza: i contatti dell’app Contatti devono comparire nelle chat, gli eventi del calendario devono combaciare con le descrizioni. Ogni «universo» parte da una persona plausibile (un fisico francese in pensione, un atleta cinese) e contiene circa 400 mila token di contenuto grezzo, che salgono a circa 800 mila nella rappresentazione strutturata completa.
Dentro Mobile vive Gaia2: 800 scenari verificabili, annotati a mano su 10 universi. Ogni scenario mette alla prova almeno una di cinque capacità — Ricerca, Esecuzione, Adattabilità, Tempo, Ambiguità — con 160 scenari a testa. Due capacità in più, Collaborazione tra agenti (Agent2Agent) e Rumore, si ottengono «aumentando» gli scenari di un sottoinsieme da 160, Gaia2-mini: si arriva così a 1.120 scenari totali. Sono compiti semplici per un umano ma ostici per i modelli. L’Ambiguità, per esempio, chiede all’agente di accorgersi quando un’istruzione è contraddittoria o ha più risposte valide e di fermarsi a chiedere chiarimenti, invece di eseguire di slancio la prima interpretazione. Il Rumore introduce guasti casuali degli strumenti (probabilità $p = 0{,}1$) ed eventi irrilevanti a raffica (dieci al minuto), per vedere se l’agente regge l’instabilità del mondo reale.
Come si dà un voto senza barare
La verifica è la parte più ingegnosa. Il sistema confronta solo le azioni di scrittura dell’agente (quelle che cambiano lo stato del mondo: inviare, cancellare, prenotare) con una sequenza «oracolo» di azioni corrette fornita dagli annotatori. Le azioni di lettura si ignorano: a un dato risultato si può arrivare per molte strade. Ogni azione viene controllata con un test hard quando serve esattezza (rispondere proprio a quella email, con quell’id) e un test soft affidato a un giudice LLM quando il contenuto è più sfumato (il testo di un messaggio). Il verificatore controlla anche la causalità — che l’agente non violi le dipendenze tra azioni — e il timing, entro una finestra di tolleranza. Verificare la sequenza di scritture, e non solo lo stato finale, permette di distinguere un agente che sbaglia e si corregge da uno che azzecca al primo colpo: dettaglio non da poco per la sicurezza.
Gli autori verificano anche il verificatore. Su 450 traiettorie etichettate a mano, l’ARE Verifier raggiunge il 98% di accordo con l’umano, con precisione 0,99 e richiamo 0,95; un giudice LLM «in contesto» usato come riferimento si ferma al 72% di accordo e a una precisione di 0,53, perché tende ad accettare troppo facilmente le traiettorie degli agenti.
Il verdetto: nessuno domina
Tutti i modelli girano con lo stesso semplice impianto ReAct (una chiamata a strumento per passo, in JSON), a temperatura 0,5, tre volte per scenario. Il risultato è la parte più onesta e più scomoda del paper. In testa c’è GPT-5 nella variante di ragionamento «high», con un punteggio complessivo intorno a 42 su 100; secondo Claude 4 Sonnet, staccato — parole degli autori — di circa otto punti. Kimi K2 è il migliore tra i modelli aperti, intorno a 20; in fondo, Llama 3.3 70B si ferma sotto il 5. Detto altrimenti: anche il migliore fallisce quasi sei scenari su dieci.
Il quadro cambia per capacità. Esecuzione e Ricerca sono le prove più facili, e diversi modelli se la cavano. Ma il crollo verso Ambiguità e Adattabilità è brusco, e regge solo per Claude 4 Sonnet e GPT-5 (high): la lezione è che i benchmark statici sovrastimano la robustezza dei modelli in ambienti realistici. Sul Rumore quasi tutti restano sotto quota venti. Un altro segnale scomodo arriva dalle curve di costo. Per ogni tetto di spesa $b$ per scenario, il pass@1 conta la frazione di scenari risolti entro quel budget:
$$\text{pass@1}(b) = \frac{1}{N}\sum_{i=1}^{N}\mathbf{1}\{\,\text{esito}_i = \text{vero}\ \wedge\ \text{costo}_i < b\,\}$$
e tutte le curve, alzando il tetto di spesa, prima o poi si appiattiscono: dare più budget non compra progresso indefinito. Nessun sistema domina lungo l’intero spettro dell’intelligenza; ognuno baratta capacità, efficienza e costo.
Più intelligenza correla con risposte più lente. Gaia2 offre la prima prova sistematica che rendere gli agenti «più bravi» con gli impianti attuali può renderli meno pratici.
Il paradosso del tempo
Il risultato più contro-intuitivo riguarda la capacità Tempo, dove emerge una vera legge di scala inversa: i modelli più forti nel ragionamento tendono a fare peggio quando conta la puntualità, perché pensare a lungo costa tempo simulato e li fa arrivare tardi. La prova è netta. Congelando l’orologio durante l’inferenza (modalità «instant»), Claude 4 Sonnet passa dall’8,2% al 26,7% sugli scenari a tempo, e GPT-5 (high) dallo 0% al 34,4%. Con un tetto di 30 minuti di esecuzione, GPT-5 (high) perde 10 punti su Esecuzione e 20 su Ricerca. Chi combina una buona strategia con inferenza veloce — Gemini 2.5 Pro — è il più affidabile quando le scadenze sono strette. Sulla collaborazione tra agenti, infine, ci sono luci e ombre: far cooperare più istanze aiuta i modelli più deboli (Llama 4 Maverick migliora e sbaglia meno chiamate agli strumenti), ma non un modello già forte come Claude 4 Sonnet, dove la decomposizione dei compiti non paga in termini di costo. Sostituire esecutori deboli con esecutori Claude alza il punteggio: la coppia tutta-Llama si ferma a 8,5, quella tutta-Claude arriva a 29,3.
Cosa il paper non pretende
Gli autori sono i primi a circoscrivere la portata del lavoro. Gaia2 non è un benchmark «da AGI»: si aspettano che i modelli lo scalino in fretta. La tassonomia di capacità non è esaustiva — memoria, orizzonti lunghi e auto-miglioramento non sono valutati, anche se ARE offre le basi per farlo. Su Ricerca si è già toccato un tetto, perché gli annotatori faticano a inventare compiti più difficili dei modelli di frontiera. E la verifica basata su regole, che funziona bene per i compiti di sola lettura, regge male quelli ricchi di scritture, esposti al reward hacking: durante gli esperimenti di rinforzo hanno dovuto aggiungere un controllo di sanità perché gli agenti imparavano a ingannare il giudice. Anche l’impianto ReAct usato per i test è, a loro dire, il collo di bottiglia: essendo un predittore sequenziale della prossima azione, non gestisce bene flussi che arrivano in parallelo.
Perché conta
Il valore di questo lavoro non sta in un punteggio ma in uno spostamento di sguardo. Se un agente andrà in produzione, giudicarlo per pesi o FLOPs è sempre più privo di senso: conta quanti compiti risolve per euro speso e per minuto di attesa. Gli autori parlano di «seconda metà» dell’AI, in cui il progresso dipende sempre meno dall’addestrare modelli più grandi e sempre più dal definire compiti sensati e valutazioni robuste. La loro tesi finale è quasi una definizione: intelligenza non è solo accuratezza, ma efficienza — la capacità di adattare il calcolo alla difficoltà del problema, sbrigare in fretta il banale e riservare il ragionamento profondo ai casi che lo meritano. ARE è rilasciato come codice aperto proprio perché la comunità possa costruirci altri banchi di prova. La piscina, adesso, è piena. Si tratta di vedere chi sa davvero nuotare.
Il paper
Meta Superintelligence Labs, ARE: scaling up agent environments and evaluations, 21 settembre 2025. Codice: github.com/facebookresearch/meta-agents-research-environments.
I commenti sono riservati agli iscritti.
Accedi per commentare