Immaginate di dettare a un collega una richiesta banale: «prendi i dati da questo foglio di calcolo e compilaci il modulo online del fornitore». Il collega non conosce nessuna scorciatoia segreta. Guarda lo schermo, individua il primo campo, ci porta sopra il cursore, clicca, digita, passa al successivo. È esattamente ciò che, dall’ottobre 2024, Anthropic ha insegnato a fare a Claude. La funzione si chiama computer use, ed è arrivata in beta pubblica sull’API insieme a una versione aggiornata di Claude 3.5 Sonnet. L’idea, spogliata dell’entusiasmo dell’annuncio, è tanto semplice quanto scomoda: invece di collegare il modello a un software tramite un’interfaccia costruita apposta, gli si dà lo stesso strumento che usiamo noi. Uno schermo da guardare e un puntatore da muovere.
Un anello che si ripete: guarda, ragiona, agisce
Sotto il cofano non c’è magia, c’è un ciclo. Il modello riceve una schermata — una normale immagine dello schermo — e la interpreta come farebbe con una qualsiasi foto: qui c’è un pulsante, lì un campo di testo, in alto la barra degli indirizzi. Sulla base di ciò che vede e dell’obiettivo che gli è stato dato, decide l’azione successiva e la esprime in termini concreti: «sposta il cursore alle coordinate (512, 340) e clicca», oppure «digita questo testo». L’azione viene eseguita sul computer reale, lo schermo cambia, e al modello arriva una nuova schermata. Poi tutto ricomincia. Non c’è un piano perfetto stabilito in partenza: c’è un tirocinante che guarda, prova, verifica il risultato e corregge il tiro un passo alla volta.
Il modello non vede il codice del software né una sua descrizione strutturata: vede un’immagine, decide un’azione in pixel, e osserva l’effetto. Il ciclo si ripete finché il compito è finito — o finché qualcosa va storto.
Il problema vero si chiama grounding
Descrivere l’idea è facile, farla funzionare no. La difficoltà non sta nel «capire» che va compilato un modulo: i modelli linguistici ci arrivano da tempo. Sta nel tradurre quella comprensione in un gesto preciso sullo schermo. Sapere che bisogna premere il pulsante «Invia» è un conto; sapere che quel pulsante occupa esattamente quei pixel, e non i dodici accanto, è un altro. Gli specialisti la chiamano GUI grounding: l’ancoraggio tra il concetto e la sua posizione visiva. È come guidare qualcuno al telefono in una stanza che vede solo lui — «più a destra, no, troppo, torna indietro» — con l’aggravante che ogni sito web, ogni applicazione, ogni sistema operativo dispone i propri elementi in modo diverso. Un’icona spostata di poco, una finestra che si apre inaspettata, un menu a tendina che copre il bersaglio: bastano dettagli così a far fallire l’intera sequenza.
A questo si aggiungono i gesti che per noi sono automatici e per un modello no. Anthropic stessa avverte che «scorrere, trascinare, ingrandire» sono azioni che a Claude riescono con difficoltà. Non sono capricci: sono operazioni che richiedono un controllo motorio continuo, non un singolo click a coordinate fisse, e mettono a nudo il limite di un’agente che percepisce il mondo per fotogrammi separati.
I numeri, senza arrotondarli per eccesso
Il metro di misura più citato è OSWorld, un banco di prova accademico pubblicato nel 2024 da un gruppo guidato da Tianbao Xie: 369 compiti reali svolti dentro macchine virtuali con veri browser, editor di testo, file da spostare tra applicazioni. Ogni compito ha uno script che controlla in modo oggettivo se il risultato finale è corretto. È un ambiente onesto, perché non premia le risposte plausibili ma solo i fatti compiuti.
Su OSWorld, nella categoria più severa — quella in cui l’agente riceve soltanto lo screenshot, senza scorciatoie sulla struttura della pagina — Claude 3.5 Sonnet ha raggiunto il 14,9%, contro il 7,8% del miglior sistema precedente. Concedendogli più passi per completare ogni compito, si sale al 22,0%. Sono i numeri dell’annuncio ufficiale, e vanno letti con la lente giusta. Un essere umano, sullo stesso banco di prova, porta a termine oltre il 72% dei compiti. Detto altrimenti: nella condizione più realistica, la funzione fallisce quattro compiti su cinque. Non è un fallimento del progetto — è un fermo-immagine di una tecnologia agli inizi. Ma raccontarla come «gli agenti ora usano il computer al posto nostro» sarebbe disonesto verso i numeri.
Non è un maggiordomo digitale che sbriga le vostre commissioni. È un tirocinante alle prime armi che guarda lo schermo, prova, sbaglia spesso e ogni tanto azzecca.
Anthropic non nasconde la cosa: descrive computer use come ancora «goffa e soggetta a errori», e consiglia agli sviluppatori di partire da compiti a basso rischio. È una franchezza che vale la pena notare, perché il divario tra la demo che gira liscia e l’uso quotidiano che inciampa è proprio ciò che separa un annuncio da un prodotto maturo.
Perché non basta un’API
Viene naturale chiedersi perché prendersi tutta questa fatica. Se un software espone un’API — un’interfaccia pensata per essere usata da altri programmi — collegarcisi è più affidabile che muovere un cursore a tentoni. La risposta è che la stragrande maggioranza del software non ha un’API pubblica, o ne ha una che copre solo una fetta delle sue funzioni. Il gestionale interno dell’azienda, il vecchio portale della pubblica amministrazione, l’applicativo desktop senza documentazione: per tutti questi l’unico ingresso disponibile è quello che usa un impiegato, cioè lo schermo. Costruire un’integrazione dedicata per ciascuno è un lavoro infinito; insegnare a un modello a usare l’interfaccia grafica universale è la scommessa opposta. Una sola porta d’ingresso — quella davanti, la stessa per tutti — invece di una chiave diversa per ogni casa.
È anche il motivo per cui questo filone di ricerca — gli agenti GUI — è esploso nello stesso periodo ben oltre Anthropic, con benchmark come lo stesso OSWorld a fare da arbitro comune. La promessa condivisa è che l’automazione non richieda più il permesso e la collaborazione di chi ha scritto il software: se un umano può farlo cliccando, in teoria può farlo anche un agente.
Cosa aspettarsi, e cosa no
Per chi programma, computer use non è ancora la leva da mettere in produzione su compiti critici, ma è un ottimo terreno per prototipi a basso rischio e per capire dove sbatte la testa un agente lasciato libero su un’interfaccia reale. Conviene trattarlo come un collaboratore inaffidabile: supervisione, permessi ristretti, nessuna azione irreversibile senza conferma. Per chi osserva l’AI da fuori, il segnale interessante non è il 14,9% di oggi, ma la direzione. La prima versione di una tecnologia serve raramente a fare il lavoro; serve a dimostrare che il lavoro è possibile, e a fissare un numero da migliorare. Il divario con la prestazione umana è enorme, ed è esattamente questo che lo rende una storia da seguire: non un traguardo tagliato, ma una corsa appena partita, con un cronometro pubblico che chiunque può leggere.
Vale la pena tenerlo a mente la prossima volta che un titolo annuncerà che «gli agenti hanno imparato a usare il computer». Hanno imparato a provarci. È già molto — ed è molto meno di quanto la frase lasci intendere.
Il paper e le fonti
Computer use non è un articolo scientifico peer-reviewed, ma il rilascio di una funzione: la fonte primaria è l’annuncio di Anthropic «Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku» (22 ottobre 2024), disponibile su anthropic.com/news/3-5-models-and-computer-use, accompagnato dall’addendum alla model card. Il banco di prova citato per i numeri è invece un lavoro accademico: Tianbao Xie et al., OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments, NeurIPS 2024 (Datasets and Benchmarks Track), arxiv.org/abs/2404.07972. I dati di prestazione riportati (14,9% e 22,0% per Claude, 7,8% per il sistema precedente, oltre 72% per gli umani) provengono da queste due fonti; verificate sempre gli aggiornamenti, perché su un banco di prova pubblico i punteggi invecchiano in fretta.
I commenti sono riservati agli iscritti.
Accedi per commentare