Agenti per l'uso del computer: Benchmark e architettura
Gli agenti per l'uso del computer promettono di gestire desktop reali e applicazioni web, ma le loro progettazione, limiti e compromessi sono spesso poco chiari. Esaminiamo i sistemi leader analizzando come funzionano, come apprendono e come differiscono le loro architetture. Facciamo inoltre riferimento a un benchmark mirato di ancoraggio UI su 100 screenshot desktop, che copre 4 tipi di attività e 5 esecuzioni per campione, isolando la qualità della percezione visiva e sottolineando perché modelli visione-linguaggio robusti siano importanti anche per gli agenti per l'uso del computer composti.
Consulta una tabella delle funzionalità, note sull'architettura, punti pratici e risultati del benchmark per aiutare gli utenti a scegliere o costruire l'agente per l'uso del computer giusto:
Risultati del benchmark di ancoraggio UI
Per i dettagli sulla metodologia del benchmark, leggi i dettagli del benchmark.
- I modelli Qwen3-VL raggiungono un'accuratezza di ~90%, con un errore basso (≈7–9 px).
- I modelli specializzati in UI come UI-TARS performano molto peggio (~38% di accuratezza) e mostrano un'alta varianza e grandi errori, specialmente su interfacce dipendenti dallo stato e dense.
- Le UI dipendenti dallo stato e dense sono i casi più difficili per la maggior parte dei modelli.
Migliori agenti per l'uso del computer
Consulta la sezione funzionalità per le funzionalità nella tabella, ed esamina la sezione approcci architetturali per i dettagli sull'architettura degli agenti per l'uso del computer.
OpenAI Anteprima uso del computer
L'anteprima uso del computer di OpenAI è un modello specializzato costruito per comprendere ed eseguire attività al computer tramite la API Responses. Si concentra su input e output di testo, con input di immagine opzionale, ma non supporta audio o video.
Anthropic Claude Uso del computer
Claude Uso del computer è una funzionalità beta che permette a Claude di interagire con un ambiente desktop o a finestre, proprio come farebbe una persona. Funziona vedendo lo schermo, muovendo il mouse e digitando sulla tastiera.
Claude non può agire da solo senza la configurazione di uno sviluppatore. Non accede automaticamente al tuo computer reale; interagisce con la sandbox che fornisci.
Open Interpreter (Modalità OS)
Open Interpreter è un agente terminale open-source capace di eseguire codice e interagire con il tuo sistema.
Viene eseguito sul tuo computer, quindi può utilizzare i tuoi file, programmi e browser direttamente. Gli utenti comunicano con esso in inglese semplice, e traduce le loro istruzioni in azioni generando ed eseguendo codice. Prima che venga eseguito qualsiasi codice, Open Interpreter mostra cosa intende eseguire e richiede la tua approvazione.
Simular Agent S/S3
Simular Agent S3 è un agente per l'uso del computer che funziona osservando gli schermi, pianificando azioni e controllando mouse e tastiera per completare attività complesse. Fa parte del framework open Agent S per l'interazione autonoma con GUI.
Il comportamento Best-of-N (bBoN) è un metodo fondamentale che permette ad Agent S3 di generare più possibili sequenze di azioni ("rollout"), invece di una singola esecuzione. Trasforma ogni rollout in una narrazione comportamentale, che è un semplice riassunto di ciò che è accaduto. Una fase di giudizio separata sceglie quindi la migliore esecuzione.
Cua AI
Cua AI è un framework open-source che permette di costruire, eseguire e testare agenti AI per l'uso del computer in ambienti desktop collegando modelli visione, modelli di ragionamento e ambienti OS sandboxati in un unico sistema. Cua può eseguire agenti nel cloud utilizzando sandbox remote. Ti permette anche di eseguirli localmente se desideri più controllo o privacy.
Cua ti aiuta anche a generare screenshot UI e log delle azioni dell'agente. Puoi registrare interazioni multi-step, creare dati di addestramento ed eseguire benchmark per vedere quanto bene gli agenti performano.
Claude Cowork
Claude Cowork è un modo per far sì che Claude svolga lavori complessi direttamente sul tuo computer. Utilizza lo stesso design dell'agente di Claude Code, ma con un focus su attività che coinvolgono i tuoi file e programmi locali, piuttosto che fornire solo brevi risposte di chat. Questa funzionalità è in anteprima di ricerca ed è eseguita all'interno dell'app Claude Desktop per macOS.
Limitazioni attuali:
- Disponibile solo su macOS Desktop.
- Claude non mantiene la memoria tra le sessioni.
- Cowork non può ancora condividere il proprio lavoro con altri.
Benchmark OSWorld
Risultati per l'AI agentic per l'uso del computer
Disclaimer: Lo stesso modello può apparire in diverse classifiche perché OSWorld elenca i risultati per configurazione di valutazione completa (framework agentic, modello di ancoraggio o pianificazione, impostazione Best-of-N, numero di esecuzioni e limite di passaggi), e anche piccoli cambiamenti in queste impostazioni sono trattati come voci separate con esiti di performance diversi.
Metodologia
Il benchmark include 369 attività del mondo reale (o 361 escludendo le attività di Google Drive che richiedono configurazione manuale). Le attività coprono applicazioni web e desktop, operazioni sui file del sistema operativo e flussi di lavoro multi-app. Ogni attività inizia da uno stato iniziale riproducibile ed è associata a uno script di valutazione basato sull'esecuzione personalizzato, garantendo una valutazione affidabile.
Processo di valutazione
Gli agenti interagiscono con un ambiente OS live. Il successo è misurato da ciò che l'agente fa effettivamente, non dagli output di testo. Gli ambienti supportano l'esecuzione parallela e headless, consentendo test scalabili.
Ambito del benchmark
OSWorld supporta attività aperte in applicazioni arbitrarie, input multimodali, flussi di lavoro cross-app e stati di partenza intermedi. Rispetto ai benchmark precedenti, offre una copertura più ampia e condizioni più realistiche.
Baseline e analisi
Il benchmark valuta modelli generali, modelli specializzati e framework agentic attraverso famiglie LLM e VLM. I risultati mostrano un grande divario tra le prestazioni umane (~72%) e gli agenti attuali, evidenziando le sfide nell'ancoraggio GUI e nella conoscenza operativa. OSWorld permette anche un'analisi dettagliata per tipi di attività, complessità UI, input e sistemi operativi.
Due approcci architetturali ai modelli per l'uso del computer
Oggi, la maggior parte degli agenti per l'uso del computer rientra in uno di due modelli di progettazione:
- Agenti End-to-End (E2E)
- Agenti Composti
Entrambi mirano a completare attività su un computer. Differiscono nel modo in cui dividono percezione, ragionamento e azione.
Agenti End-to-End (E2E)
Gli agenti end-to-end utilizzano un unico modello visione-linguaggio per gestire l'intero ciclo. Il modello riceve uno screenshot e una descrizione dell'attività. Quindi outputta direttamente la prossima azione.
Non c'è un confine chiaro tra vedere, ragionare e agire. Questi processi sono appresi insieme all'interno dello stesso modello.
Come funzionano gli agenti E2E
Screenshot + Attività → Rappresentazione unificata → Azione
Il modello ragiona direttamente su pixel e testo. Non costruisce un elenco esplicito di pulsanti o campi. Invece, impara le associazioni tra modelli visivi e azioni durante l'addestramento.
Punti di forza
- Progettazione del sistema più semplice
- Punti di integrazione minori dove possono verificarsi errori
- Spesso più stabile su attività lunghe
Limitazioni
- Visibilità limitata sul motivo per cui è stata scelta un'azione
- Più difficile da debuggare quando qualcosa va storto
- Minore controllo sui passaggi intermedi di ragionamento
Implicazioni pratiche
Poiché percezione e pianificazione sono strettamente collegate, piccoli errori visivi sono meno probabili che si propaghino in fallimenti completi. Quando un'azione non funziona, l'agente può rivalutare lo schermo aggiornato e adattarsi.
Compromesso: È difficile ispezionare le decisioni intermedie o isolare la fonte dei fallimenti.
Agenti composti
Gli agenti composti dividono il ciclo di interazione in fasi separate. Ogni fase è gestita da un modello o sottosistema diverso.
Come funzionano gli agenti AI composti
Una tipica pipeline appare così:
- Ancoraggio: Rilevare gli elementi dell'interfaccia grafica utente dallo screenshot
- Pianificazione: Decidere cosa fare dopo
- Esecuzione: Eseguire attività sul sistema
Questa progettazione rende ogni passaggio esplicito.
Punti di forza
- Chiara separazione delle responsabilità
- Più facile ispezionare gli output intermedi
- Migliore adatto per la ricerca e gli esperimenti controllati
Limitazioni
- Complessità del sistema più alta
- Gli errori possono propagarsi tra i componenti
- Spesso meno affidabile in ambienti desktop reali
Implicazioni pratiche
Gli agenti composti si basano su rappresentazioni strutturate dello schermo, come pulsanti rilevati o campi di testo. Questo migliora la trasparenza ma aggiunge fragilità. Se l'ancoraggio è inaccurato, le decisioni di pianificazione sono probabili che falliscano.
Compromesso: Le attività lunghe sono particolarmente impegnative. Piccole discrepanze tra lo stato percepito e quello effettivo dello schermo possono accumularsi nel tempo.
Aggiungi come fonte preferitaBlocchi costitutivi fondamentali degli agenti per l'uso del computer (CUA)
Gli agenti moderni per l'uso del computer sono costruiti utilizzando tre componenti principali:
1. Modelli visione-linguaggio (VLM)
I singoli VLM formano il nucleo della maggior parte degli agenti end-to-end. Elaborano screenshot e istruzioni insieme e outputtano azioni direttamente.
Screenshot + Attività → Spazio visione-linguaggio congiunto → Azione
Il modello codifica input visivi e testuali in uno spazio interno condiviso. In questo spazio, impara come i modelli visivi si relazionano alle azioni senza etichette esplicite.
Non c'è un passaggio di ancoraggio separato. La comprensione UI e la pianificazione dell'attività avvengono implicitamente e simultaneamente.
Implicazioni pratiche: I singoli VLM riducono la complessità architetturale e limitano la propagazione degli errori. Favoriscono robustezza e semplicità rispetto a trasparenza e controllo fine.
2. Modelli di ancoraggio
I modelli di ancoraggio si concentrano esclusivamente sulla percezione e svolgono un ruolo cruciale negli agenti composti. Il loro compito è tradurre screenshot grezzi in descrizioni strutturate dell'interfaccia del computer. Non ragionano sugli obiettivi o selezionano azioni.
Screenshot → Modello di ancoraggio → Rappresentazione UI strutturata
Gli output includono spesso:
- Elementi UI rilevati
- Posizioni spaziali (bounding box)
- Etichette semantiche (pulsante, campo di input, testo)
- Testo estratto
Questa rappresentazione viene passata a un modello di pianificazione.
Punti di forza
- Percezione chiara e ispezionabile
- Più facile registrare e analizzare i fallimenti
- Migliore trasparenza
Limitazioni
- Gli errori si propagano a valle
- Sensibile ai cambiamenti visivi e layout dinamici
- Difficile mantenere la coerenza su molti passaggi
Implicazioni pratiche: L'ancoraggio è spesso l'anello debole nei sistemi composti. Elementi mancanti o obsoleti possono fuorviare i modelli di pianificazione e causare fallimenti ripetuti.
Benchmark di ancoraggio UI: Perché la qualità visiva conta
Per isolare il ruolo della percezione visiva, facciamo riferimento a un benchmark di ancoraggio UI mirato che valuta quanto bene i modelli identificano la posizione esatta in pixel di un elemento UI da un'istruzione in linguaggio naturale.
Configurazione del benchmark
- 100 screenshot desktop
- 4 tipi di attività: semplice, relazionale, dipendente dallo stato, UI densa
- 5 esecuzioni per campione per misurare la coerenza
- Risoluzione fissa: 2560×1440
Per un dataset e una metodologia più dettagliati, visita AIMultiple UI Grounding su HuggingFace.
Conclusione
L'ancoraggio UI accurato rimane un collo di bottiglia maggiore. Le prove attuali mostrano che una percezione visiva robusta e una comprensione UI implicita contano più di una specializzazione UI ristretta, specialmente per agenti per l'uso del computer affidabili che gestiscono desktop reali.
Modelli di pianificazione
I modelli di pianificazione determinano i prossimi passaggi. Lavorano con dati UI strutturati, obiettivi dell'attività e cronologia delle interazioni. Non elaborano immagini grezze. Questi modelli svolgono un ruolo cruciale nell'architettura dell'agente composto.
UI strutturata + Obiettivo dell'attività → Modello di pianificazione → Prossima azione
I modelli di pianificazione possono:
- Dividere le attività in passaggi
- Tracciare i progressi
- Applicare regole ed euristiche
- Registrare il ragionamento esplicitamente
Sfide nella pratica
- Alta sensibilità agli errori di input
Un ancoraggio errato porta a piani difettosi. - Deriva dello stato nel tempo
I cambiamenti UI possono invalidare le ipotesi precedenti. - Recupero dai fallimenti limitato
Senza feedback forte, i pianificatori possono andare in loop o bloccarsi. - Disallineamenti di esecuzione
Errori di tempistica, focus o coordinamento possono rompere i piani.
Implicazioni pratiche: I modelli di pianificazione aggiungono struttura e trasparenza, ma la loro efficacia dipende fortemente da una percezione accurata e un'esecuzione affidabile.
Spiegazione delle funzionalità chiave degli agenti per l'uso del computer
Ambiente di runtime
Definisce dove viene eseguito l'agente per l'uso del computer e come controlla il sistema operativo (VM cloud, macchina locale o runtime basato su container).
Accesso al sistema locale
Questo mostra se l'agente può leggere o scrivere file sulla macchina effettiva dell'utente, non solo in una sandbox remota. L'accesso locale è utile per flussi di lavoro personali ma solleva preoccupazioni di sicurezza più elevate.
Qual è il compromesso generale tra agenti E2E e composti?
Gli agenti end-to-end sono attualmente più affidabili per l'uso diretto su computer personali. La loro progettazione unificata riduce i problemi di coordinamento e i punti di fallimento.
Gli agenti composti non sono intrinsecamente più deboli. Offrono maggiore flessibilità, personalizzazione e interpretabilità. Tuttavia, richiedono un ancoraggio più forte, una gestione dello stato più stretta e un'integrazione attenta per performare bene in ambienti reali.
Il compromesso fondamentale non è la capacità, ma robustezza rispetto al controllo.
Cosa sono gli agenti per l'uso del computer?
Gli agenti per l'uso del computer sono sistemi progettati per gestire un computer in modo simile a un umano. Guardano lo schermo, decidono cosa fare e interagiscono attraverso azioni come cliccare, digitare e scorrere.
A prima vista, questo sembra semplice. In pratica, è difficile. Gli ambienti desktop sono dinamici. Le interfacce cambiano spesso. Non ci sono API fisse o strutture stabili su cui fare affidamento. Questi agenti devono lavorare su ciò che vedono sullo schermo e ragionarci in tempo reale.
Nonostante implementazioni diverse, la maggior parte degli agenti per l'uso del computer segue lo stesso ciclo di base:
Osserva → Interpreta → Decide → Esegue
Il modo in cui questo ciclo è implementato determina quanto un agente sia stabile, flessibile e affidabile nell'uso reale.
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Agenti per l'uso del computer: Benchmark e architettura}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/computer-use-agents}},
note = {AIMultiple. Consultato il 22 Giugno 2026}
}
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.