Agenti per l'uso del computer: Benchmark e Architettura
Gli agenti per l'uso del computer operano su desktop reali e applicazioni web. I loro design, limiti e compromessi sono spesso poco chiari. Analizziamo come funzionano i sistemi principali, come apprendono e come le loro architetture differiscono. Facciamo anche riferimento a un benchmark focalizzato sul grounding dell'UI su 100 screenshot desktop, attraverso 4 tipi di attività e 5 esecuzioni per campione. Isola la qualità della percezione visiva e mostra perché i models visione-linguaggio robusti contano anche per gli agenti composti.
Risultati del benchmark di grounding dell'UI
Per i dettagli sulla metodologia del benchmark, leggi i dettagli del benchmark.
- I models Qwen3-VL raggiungono un'accuratezza di circa il 90%, con un basso errore (≈7–9 px).
- I models specializzati in UI come UI-TARS performano peggio (accuratezza di circa il 38%) e mostrano alta varianza e grandi errori, specialmente su interfacce dipendenti dallo stato e dense.
- Le UI dipendenti dallo stato e dense sono i casi più difficili per la maggior parte dei models.
I migliori agenti per l'uso del computer
Vedi la sezione funzionalità per le caratteristiche nella tabella, ed esamina la sezione approcci architetturali per i dettagli sull'architettura degli agenti per l'uso del computer.
OpenAI Computer Use Preview
L'anteprima di computer use di OpenAI è un model specializzato creato per comprendere ed eseguire compiti informatici tramite l'API Responses. Si concentra su input e output di testo, con input di immagini opzionale, ma non supporta audio o video.
Anthropic Claude Computer Use
Claude Computer Use è una funzionalità beta che consente a Claude di interagire con un ambiente desktop o a finestre, come farebbe una persona. Funziona vedendo lo schermo, muovendo il mouse e digitando sulla tastiera.
Claude non può agire da solo senza la configurazione di uno sviluppatore. Non accede automaticamente al tuo computer reale; interagisce con il sandbox che fornisci.
Open Interpreter (OS Mode)
Open Interpreter è un agente terminale open-source. Esegue codice e interagisce con il sistema operativo. Open Interpreter viene eseguito sulla macchina locale, quindi raggiunge direttamente file locali, programmi e il browser. Un utente fornisce istruzioni in linguaggio semplice e l'agente le trasforma in codice. Prima di eseguire qualsiasi codice, Open Interpreter mostra il comando pianificato e attende l'approvazione.
Simular Agent S/S3
Simular Agent S3 è un agente per l'uso del computer che funziona osservando gli schermi, pianificando azioni e controllando il mouse e la tastiera per completare compiti complessi. Fa parte del framework Agent S, aperto, per l'interazione autonoma con l'interfaccia grafica.
Best-of-N comportamentale (bBoN) è un metodo fondamentale che consente ad Agent S3 di generare più sequenze di azioni possibili ("rollouts"), invece di una singola esecuzione. Trasforma ogni rollout in una narrazione comportamentale, che è un semplice riassunto di ciò che è accaduto. Un passaggio di giudizio separato sceglie quindi l'esecuzione migliore.
Cua IA
Cua IA è un framework open-source che consente di costruire, eseguire e testare agenti IA per l'uso del computer su ambienti desktop, unendo vision models, reasoning models e ambienti OS in sandbox in un unico sistema. Cua può eseguire agenti nel cloud utilizzando sandbox remoti. Ti permette anche di eseguirli localmente se desideri maggiore controllo o privacy.
Cua ti aiuta anche a generare screenshot dell'UI e log delle azioni dell'agente. Puoi registrare interazioni multi-step, creare dati di addestramento ed eseguire benchmark per vedere quanto bene performano gli agenti.
Claude Cowork
Claude Cowork porta il design agentico di Claude Code a persone che non scrivono codice. Viene eseguito nell'app desktop Claude, in una scheda accanto a Chat e Code. Un utente lo indirizza verso una cartella e Claude legge, modifica e crea file lì per completare un compito.
Cowork segue un ordine chiaro: prima il connettore, poi il browser, infine lo schermo. Utilizza un connettore MCP come Slack o Google Drive quando ne esiste uno. Ripiega su Claude in Chrome per le pagine web senza API. Controlla lo schermo direttamente quando nessun'altra via funziona. Il controllo dello schermo è un'anteprima di ricerca e chiede il permesso prima di ogni app.
Cowork può suddividere un compito tra sotto-agenti che vengono eseguiti in parallelo, quindi unire i risultati. Può anche eseguire attività pianificate a cadenza prestabilita, come una bozza settimanale di stato salvata in una cartella.
Portata e limiti:
- Disponibile su macOS e Windows nei piani a pagamento, dopo un'anteprima di ricerca a gennaio 2026.
- Sonnet 4.6 è il model predefinito. Opus rimane selezionabile per compiti più difficili.
- Le sessioni rimangono sulla macchina locale. La condivisione della chat, la condivisione degli artefatti e la Memoria non funzionano in Cowork.
- Un singolo thread persistente su iOS e Android può assegnare lavoro al desktop, che deve rimanere attivo.
OSWorld benchmark
Risultati per l'IA agentica per l'uso del computer
Disclaimer: Lo stesso model può apparire a classifiche diverse perché OSWorld elenca i risultati per configurazione di valutazione completa (agent framework, model di grounding o pianificazione, impostazione Best-of-N, numero di esecuzioni e limite di passi), e anche piccoli cambiamenti in queste impostazioni sono trattati come voci separate con risultati di performance diversi.
Metodologia
Il benchmark include 369 compiti del mondo reale (o 361 escludendo i compiti di Google Drive che richiedono una configurazione manuale). I compiti coprono applicazioni web e desktop, operazioni sui file del sistema operativo e flussi di lavoro multi-app. Ogni compito parte da uno stato iniziale riproducibile ed è abbinato a uno script di valutazione personalizzato basato sull'esecuzione, garantendo un punteggio affidabile.
Processo di valutazione
Gli agenti interagiscono con un ambiente OS in tempo reale. Il successo è misurato da ciò che l'agente fa effettivamente, non dagli output testuali. Gli ambienti supportano l'esecuzione parallela e headless, consentendo test scalabili.
Ambito del benchmark
OSWorld supporta compiti aperti su applicazioni arbitrarie, input multimodali, flussi di lavoro tra applicazioni e stati iniziali intermedi. Rispetto ai benchmark precedenti, offre una copertura più ampia e condizioni più realistiche.
Linee di base e analisi
Il benchmark valuta models generali, models specializzati e framework agentici attraverso famiglie di LLM e VLM. I risultati mostrano un ampio divario tra le performance umane (~72%) e gli agenti attuali, evidenziando le sfide nel grounding dell'interfaccia grafica e nella conoscenza operativa. OSWorld consente anche un'analisi dettagliata per tipi di compiti, complessità dell'UI, input e sistemi operativi.
Due approcci architetturali ai computer use models
Oggi, la maggior parte degli agenti per l'uso del computer ricade in uno di due modelli di design:
- Agenti End-to-End (E2E)
- Agenti Composti
Entrambi mirano a completare compiti su un computer. Differiscono nel modo in cui dividono percezione, ragionamento e azione.
Agenti End-to-End (E2E)
Gli agenti end-to-end utilizzano un unico vision-language model per gestire l'intero ciclo. Il model riceve uno screenshot e una descrizione del compito. Quindi produce direttamente l'azione successiva.
Non c'è un confine chiaro tra vedere, ragionare e agire. Questi processi vengono appresi insieme all'interno dello stesso model.
Come funzionano gli agenti E2E
Screenshot + Compito → Rappresentazione Unificata → Azione
Il model ragiona direttamente su pixel e testo. Non costruisce un elenco esplicito di pulsanti o campi. Invece, apprende associazioni tra modelli visivi e azioni durante l'addestramento.
Punti di forza
- Design del sistema più semplice
- Meno punti di integrazione in cui possono verificarsi errori
- Spesso più stabili su compiti lunghi
Limitazioni
- Visibilità limitata sul perché un'azione è stata scelta
- Più difficile da debuggare quando qualcosa va storto
- Minore controllo sui passaggi di ragionamento intermedi
Implicazioni pratiche
Poiché la percezione e la pianificazione sono strettamente collegate, è meno probabile che piccoli errori visivi si trasformino in fallimenti completi. Quando un'azione non funziona, l'agente può rivalutare lo schermo aggiornato e adattarsi.
Compromesso: È difficile ispezionare le decisioni intermedie o isolare la fonte dei fallimenti.
Agenti composti
Gli agenti composti dividono il ciclo di interazione in fasi separate. Ogni fase è gestita da un model o sottosistema diverso.
Come funzionano gli agenti IA composti
Una tipica pipeline si presenta così:
- Grounding: Rileva gli elementi dell'interfaccia utente grafica dallo screenshot
- Pianificazione: Decidi cosa fare dopo
- Esecuzione: Esegui i compiti sul sistema
Questo design rende ogni passaggio esplicito.
Punti di forza
- Chiara separazione delle responsabilità
- Più facile ispezionare gli output intermedi
- Più adatto per la ricerca e gli esperimenti controllati
Limitazioni
- Maggiore complessità del sistema
- Gli errori possono propagarsi tra i componenti
- Spesso meno affidabili in ambienti desktop reali
Implicazioni pratiche
Gli agenti composti si basano su rappresentazioni strutturate dello schermo, come pulsanti rilevati o campi di testo. Ciò migliora la trasparenza ma aggiunge fragilità. Se il grounding è impreciso, è probabile che le decisioni di pianificazione falliscano.
Compromesso: I compiti lunghi sono particolarmente impegnativi. Piccole discrepanze tra lo stato percepito e quello reale dello schermo possono accumularsi.
Blocchi costitutivi fondamentali degli agenti che usano il computer (CUA)
I moderni agenti per l'uso del computer sono costruiti utilizzando tre componenti principali:
1. Vision-language models (VLM)
Singoli VLM costituiscono il nucleo della maggior parte degli agenti end-to-end. Elaborano screenshot e istruzioni insieme e producono azioni direttamente.
Screenshot + Compito → Spazio Visione-Linguaggio Congiunto → Azione
Il model codifica input visivi e testuali in uno spazio interno condiviso. In questo spazio, apprende come i modelli visivi si relazionano alle azioni senza etichette esplicite.
Non c'è un passaggio di grounding separato. La comprensione dell'UI e la pianificazione dei compiti avvengono implicitamente e simultaneamente.
Implicazioni pratiche: I VLM singoli riducono la complessità architetturale e limitano la propagazione degli errori. Favoriscono robustezza e semplicità rispetto a trasparenza e controllo granulare.
2. Grounding models
I grounding models si concentrano esclusivamente sulla percezione e svolgono un ruolo cruciale negli agenti composti. Il loro compito è tradurre screenshot grezzi in descrizioni strutturate dell'interfaccia del computer. Non ragionano sugli obiettivi né selezionano le azioni.
Screenshot → Grounding Model → Rappresentazione Strutturata dell'UI
Gli output spesso includono:
- Elementi dell'UI rilevati
- Posizioni spaziali (bounding box)
- Etichette semantiche (pulsante, campo di input, testo)
- Testo estratto
Questa rappresentazione viene passata a un planning model.
Punti di forza
- Percezione chiara e ispezionabile
- Più facile registrare e analizzare i fallimenti
- Maggiore trasparenza
Limitazioni
- Gli errori si propagano a valle
- Sensibili ai cambiamenti visivi e ai layout dinamici
- Difficile mantenere la coerenza su molti passaggi
Implicazioni pratiche: Il grounding è spesso l'anello più debole nei sistemi composti. Elementi mancanti o obsoleti possono fuorviare i planning models e causare fallimenti ripetuti.
Benchmark di grounding dell'UI: Perché la qualità della visione è importante
Per isolare il ruolo della percezione visiva, facciamo riferimento a un benchmark focalizzato sul grounding dell'UI che valuta quanto bene i models identificano l'esatta posizione in pixel di un elemento dell'UI a partire da un'istruzione in linguaggio naturale.
Configurazione del benchmark
- 100 screenshot desktop
- 4 tipi di compiti: semplice, relazionale, dipendente dallo stato, UI densa
- 5 esecuzioni per campione per misurare la coerenza
- Risoluzione fissa: 2560×1440
Per un dataset e una metodologia più dettagliati, visita AIMultiple UI Grounding su HuggingFace.
In sintesi
Il grounding accurato dell'UI rimane un importante collo di bottiglia. Le evidenze attuali mostrano che una percezione visiva robusta e una comprensione implicita dell'UI contano più di una specializzazione ristretta sull'UI, specialmente per agenti affidabili per l'uso del computer che operano su desktop reali.
Planning models
I planning models determinano i passaggi successivi. Lavorano con dati strutturati dell'UI, obiettivi del compito e cronologia delle interazioni. Non elaborano immagini grezze. Questi models svolgono un ruolo cruciale nell'architettura degli agenti composti.
UI Strutturata + Obiettivo del Compito → Planning Model → Azione Successiva
I planning models possono:
- Suddividere i compiti in passaggi
- Tracciare i progressi
- Applicare regole o euristiche
- Registrare il ragionamento in modo esplicito
Sfide nella pratica
- Elevata sensibilità agli errori di input
Un grounding errato porta a piani difettosi. - Deriva dello stato nel tempo
I cambiamenti dell'UI possono invalidare le ipotesi precedenti. - Recupero limitato dai fallimenti
Senza un forte feedback, i planner possono andare in loop o bloccarsi. - Disallineamenti nell'esecuzione
Errori di temporizzazione, focus o coordinazione possono interrompere i piani.
Implicazioni pratiche: I planning models aggiungono struttura e trasparenza, ma la loro efficacia dipende fortemente da una percezione accurata e da un'esecuzione affidabile.
Aggiungi come fonte preferitaSpiegazione delle caratteristiche chiave degli agenti per l'uso del computer
Ambiente di esecuzione
Definisce dove viene eseguito l'agente per l'uso del computer e come controlla il sistema operativo (VM cloud, macchina locale o runtime basato su container).
Accesso al sistema locale
Questo mostra se l'agente può leggere o scrivere file sulla macchina reale dell'utente, non in un sandbox remoto. L'accesso locale è utile per i flussi di lavoro personali ma solleva maggiori preoccupazioni di sicurezza.
Come gli agenti raggiungono il computer: schermo vs terminale
L'uso del computer ora si divide lungo una seconda linea: come l'agente raggiunge il sistema.
Gli agenti screen-grounding leggono lo schermo come un'immagine. Individuano pulsanti e campi, quindi fanno clic e digitano a coordinate specifiche. OpenAI Computer Use, Claude Computer Use, Simular Agent S3 e UI-TARS funzionano in questo modo. Il punto di forza è un'ampia portata, poiché l'agente può pilotare qualsiasi app che una persona può vedere. Il punto debole è il grounding. Un elemento letto male interrompe il passaggio e i compiti lunghi vanno alla deriva quando lo schermo cambia.
Gli agenti terminal-and-connector saltano lo schermo quando esiste un percorso più pulito. Eseguono comandi shell, chiamano API attraverso connettori e modificano file direttamente. OpenClaw, Open Interpreter e Claude Cowork si collocano qui. Cowork dichiara l'ordine in modo chiaro: prima il connettore, poi il browser, infine lo schermo. Il punto di forza è l'affidabilità, perché un comando o una chiamata API non dipendono dal rilevamento dei pixel. Il punto debole è la copertura, poiché un'app senza API o riga di comando necessita ancora del controllo dello schermo.
Molti sistemi ora mescolano entrambi. Preferiscono connettori e comandi per velocità e accuratezza, quindi ripiegano sul grounding dello schermo per le app che non espongono altre interfacce.
Qual è il compromesso complessivo tra agenti E2E e composti?
Gli agenti end-to-end sono attualmente più affidabili per l'uso diretto su personal computer. Il loro design unificato riduce i problemi di coordinazione e i punti di fallimento.
Gli agenti composti non sono intrinsecamente più deboli. Offrono maggiore flessibilità, personalizzazione e interpretabilità. Tuttavia, richiedono un grounding più forte, una gestione dello stato più attenta e un'integrazione accurata per funzionare bene in ambienti reali.
Il compromesso fondamentale non è la capacità, ma robustezza contro controllo.
Cosa sono gli agenti per l'uso del computer?
Gli agenti per l'uso del computer sono sistemi progettati per utilizzare un computer in modo simile a un essere umano. Guardano lo schermo, decidono cosa fare e interagiscono attraverso azioni come cliccare, digitare e scorrere.
A prima vista, sembra semplice. In pratica, è difficile. Gli ambienti desktop sono dinamici. Le interfacce cambiano spesso. Non ci sono API fisse o strutture stabili su cui fare affidamento. Questi agenti devono lavorare a partire da ciò che vedono sullo schermo e ragionarci sopra in tempo reale.
Nonostante le diverse implementazioni, la maggior parte degli agenti per l'uso del computer segue lo stesso ciclo di base:
Osservare → Interpretare → Decidere → Eseguire
Il modo in cui questo ciclo viene implementato determina quanto stabile, flessibile e affidabile sia un agente nell'uso reale.
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{phd2026,
author = {PhD., Ezgi Arslan, and Kalelioğlu, Berk},
title = {{Agenti per l'uso del computer: Benchmark e Architettura}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/computer-use-agents}},
note = {AIMultiple. Consultato il 22 Giugno 2026}
}
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.