Agenti AI Mobili Testati su 65 Attività del Mondo Reale

Abbiamo trascorso 3 giorni a eseguire benchmark su quattro agenti AI mobili (DroidRun, Mobile-Agent, AutoDroid e AppAgent) su 65 attività del mondo reale utilizzando un emulatore Android con applicazioni come gestione del calendario, creazione di contatti, acquisizione foto, registrazione audio e operazioni sui file.

Vedi i risultati del benchmark, inclusa la comparazione delle prestazioni nel mondo reale, i costi e i tempi di esecuzione:

Comparazione delle prestazioni degli agenti AI mobili

DroidRun

Tasso di successo più alto (43%) con costo elevato per attività riuscita (0,075 $, ~3.225 token)

DroidRun ha dimostrato le prestazioni più solide con un tasso di successo del 43% sulle 65 attività. Esaminando solo le attività completate con successo da tutti gli agenti, DroidRun ha consumato in media 3.225 token a un costo di 0,075 $ per attività.

Questo sostanziale consumo di risorse riflette l'architettura di ragionamento multi-step di DroidRun, dove l'agente mantiene un tracciamento dettagliato dello stato, genera piani d'azione espliciti e fornisce spiegazioni per ogni decisione. Sebbene costoso, questo approccio completo garantisce il tasso di successo più alto nel benchmark.

Mobile-Agent

Prestazioni solide (29%) ed efficienza dei costi (0,025 $, ~1.130 token)

Mobile-Agent ha raggiunto il secondo tasso di successo più alto al 29%, mantenendo un'efficienza dei costi ragionevole. Sulle attività comunemente riuscite per tutti gli agenti, Mobile-Agent ha mediato 0,025 $ e 1.130 token per attività.

Questo rappresenta circa un terzo del costo per attività di DroidRun pur raggiungendo circa due terzi del suo tasso di successo, rendendo Mobile-Agent un'opzione attraente per le implementazioni in cui i vincoli di budget sono importanti.

Tuttavia, il divario di 14 punti percentuali nel tasso di successo suggerisce che le capacità di ragionamento aggiuntive di DroidRun forniscono un valore significativo per le applicazioni critiche per la missione.

AutoDroid

Migliore efficienza dei costi (14% di successo, 0,017 $, ~765 token) ma efficacia limitata

AutoDroid ha dimostrato il costo più basso sulle attività comunemente riuscite a soli 0,017 $ e 765 token per attività, rendendolo l'opzione più economica nel benchmark.

Tuttavia, il suo tasso di successo del 14%, meno della metà delle prestazioni di Mobile-Agent e circa un terzo di quello di DroidRun, indica che questo vantaggio di costo comporta compromessi significativi in termini di affidabilità.

Nonostante utilizzi un approccio basato sulle azioni simile a DroidRun, il minimo sovraccarico di ragionamento di AutoDroid comporta notevoli risparmi sui costi ma capacità di completamento delle attività limitata.

AppAgent

Prestazioni più scarse (7% di successo) con costo più elevato (0,90 $, ~2.346 token)

AppAgent ha registrato sia il tasso di successo più basso al 7% sia il costo più elevato sulle attività comunemente riuscite a 0,90 $ e 2.346 token per attività. Dodici volte più costoso di DroidRun e oltre cinquanta volte più costoso di AutoDroid.

Questo scarso rapporto costo-prestazioni deriva dall'approccio basato sulla visione di AppAgent, che elabora screenshot etichettati attraverso LLM multimodali per ogni interazione. Ogni screenshot inviato al LLM multimodale consuma un numero sostanziale di token di input per l'elaborazione delle immagini, mentre le effettive risposte di testo (token di completamento) rimangono relativamente modeste.

Questo crea una distribuzione dei token altamente sbilanciata in cui il sovraccarico dell'elaborazione visiva domina il costo senza corrispondenti miglioramenti nel completamento delle attività, poiché l'agente fatica con i calcoli delle coordinate e l'identificazione degli elementi dell'interfaccia utente sulle interfacce mobili.

Comparazione dei tempi di esecuzione degli agenti AI mobili

Sull'unica attività completata con successo da tutti gli agenti, AutoDroid è stato il più veloce a 57 secondi, seguito da vicino da Mobile-Agent a 66 secondi. DroidRun ha completato l'attività in 78 secondi, dimostrando che la sua architettura di ragionamento multi-step consente comunque un'esecuzione efficiente nonostante il maggiore consumo di token.

AppAgent ha mostrato una latenza significativamente più alta a 180 secondi, a causa del suo approccio basato sulla visione che richiede un'estesa elaborazione degli screenshot attraverso LLM multimodali per ogni interazione.

Puoi vedere la nostra metodologia di benchmark da qui.

Panoramica degli agenti AI mobili

I conteggi delle stelle GitHub cambiano rapidamente e aggiorneremo la tabella di conseguenza.

DroidRun

DroidRun è un framework open-source che costruisce agenti AI nativi per dispositivi mobili in grado di controllare autonomamente app e telefoni mobili. È un framework fondamentale che converte le interfacce utente in dati strutturati con cui i modelli linguistici di grandi dimensioni possono interagire, consentendo automazioni complesse direttamente sui dispositivi mobili.

DroidRun ha guadagnato rapidamente trazione: oltre 900 sviluppatori si sono iscritti entro 24 ore e il progetto è salito a 3,8 k stelle su GitHub, rendendolo uno dei framework a più rapida crescita per gli agenti AI mobili.

Vedi in azione:

AutoDroid

AutoDroid è un sistema di automazione delle attività mobili progettato per eseguire attività arbitrarie su qualsiasi app Android senza configurazione manuale. Sfrutta il ragionamento di buon senso dei modelli linguistici di grandi dimensioni come GPT‑4 e Vicuna, combinato con un'analisi automatizzata specifica dell'app.

AutoDroid introduce una rappresentazione dell'interfaccia utente consapevole delle funzionalità per collegare le interfacce delle app con LLM, utilizza l'iniezione di memoria basata sull'esplorazione per insegnare al modello comportamenti specifici dell'app e include l'ottimizzazione delle query per ridurre i costi di inferenza. Valutato su un benchmark di 158 attività, ha raggiunto il 90,9% di accuratezza delle azioni e il 71,3% di successo delle attività, superando le linee di base basate solo su GPT‑4.¹

Mobile-Agent

Il repository GitHub X-PLUG/MobileAgent è l'implementazione ufficiale di Mobile-Agent, un framework di agenti AI progettato per controllare autonomamente le applicazioni mobili percependo e ragionando sulle loro rappresentazioni visive dell'interfaccia utente.

Questo progetto proviene dal gruppo X-PLUG dell'Università di Tsinghua ed è stato presentato all'ICLR 2024, con l'obiettivo di spingere i confini degli agenti mobili utilizzando l'apprendimento multimodale, in particolare la percezione visiva e il rispetto delle istruzioni. Guarda il video per vederlo in azione.

AppAgent

Il repository GitHub TencentQQGYLab/AppAgent è un progetto di ricerca open-source di Tencent QQG Y-Lab. Introduce AppAgent, un framework di agenti AI mobili progettato per operare autonomamente e ragionare attraverso le app Android senza codice scritto dall'uomo per ogni singola app.

Sorgente: AppAgent²

Caratteristiche degli agenti AI mobili

Gestione dei comandi orientata agli obiettivi

L'agente determina quali app aprire, quali azioni intraprendere e come sequenziarle. Ad esempio, gli utenti specificano cosa vogliono fatto (ad esempio, "Prenota un viaggio per l'aeroporto"), non i singoli passaggi.

LLM-ragionamento supportato

Alimentati da modelli linguistici di grandi dimensioni (ad esempio, GPT-4, Claude, Gemini), questi agenti possono:

• Identificare l'intento dell'utente e il contenuto dello schermo
• Generare piani d'azione logici e passo dopo passo
• Adattarsi ai cambiamenti dinamici dell'interfaccia utente tra diversi stati dell'app

Controllo strutturato e nativo delle app

Invece di fare affidamento sullo screen-scraping:

• Gli agenti estraggono gerarchie di interfaccia utente strutturate (ad esempio, alberi basati su XML di pulsanti e campi)
• Interagiscono direttamente con gli elementi dell'interfaccia utente, trattandoli come API di prima classe.
  • Esempio: DroidRun utilizza le API di Accessibilità di Android per leggere e agire sugli elementi reali dell'interfaccia utente.

Esecuzione di flussi di lavoro cross-app

Gli agenti operano su più app e flussi di lavoro multi-step. Possono ripianificare se un passaggio intermedio fallisce. Ad esempio, "Scarica un file dalla posta elettronica → caricalo su Google Drive → invia una conferma."

Esecuzione cloud e su dispositivo per agenti AI mobili

Gli agenti AI mobili possono essere eseguiti nel cloud, su dispositivo o utilizzare un approccio ibrido.

Gli agenti basati su cloud si connettono a modelli come GPT-4, Claude o Gemini tramite chiamate API. Questo consente un ragionamento sofisticato e il completamento di attività multi-step. Tuttavia, richiede la trasmissione di dati dello schermo e del contesto utente a server esterni, il che solleva preoccupazioni sulla privacy, in particolare per le applicazioni sensibili. Le prestazioni dipendono anche da una connettività di rete stabile.

Gli agenti su dispositivo eseguono i modelli direttamente sull'hardware mobile, mantenendo tutti i dati locali. Questo elimina i rischi di trasmissione e abilita la funzionalità offline. Il compromesso è una capacità del modello limitata: le attuali NPU e GPU mobili vincolano le dimensioni del modello, il che può ridurre l'accuratezza su compiti di ragionamento complessi.

Le architetture ibride combinano entrambi gli approcci. Modelli leggeri su dispositivo gestiscono attività di routine e classificazione iniziale dell'intento, mentre le operazioni complesse vengono instradate a LLM nel cloud. Apple Intelligence e Gemini Nano seguono questo schema, elaborando richieste semplici localmente e escalando quando necessario. L'equilibrio ottimale tra elaborazione locale e cloud continua a evolversi man mano che l'hardware AI edge migliora.

Rischi di sicurezza e privacy negli agenti AI mobili

Gli agenti AI mobili leggono il contenuto dello schermo, navigano nelle app ed eseguono azioni, ottenendo un accesso profondo ai dati sensibili dell'utente. Questo introduce diverse preoccupazioni:

• Esposizione del contenuto dello schermo: Gli agenti possono trasmettere password, messaggi e dati finanziari a LLM nel cloud per l'elaborazione
• Perdita di credenziali: I flussi di lavoro di accesso automatico possono esporre involontariamente password salvate e token di autenticazione
• Ritenzione dei dati poco chiara: Spesso non è chiaro come i log degli agenti e gli screenshot acquisiti siano archiviati o condivisi
• Rischio di iniezione di prompt: Contenuti di app malevoli potrebbero manipolare il comportamento dell'agente attraverso testo dell'interfaccia utente creato appositamente

Affrontare questi rischi richiede un approccio a più livelli:

• Elaborazione su dispositivo: Eseguire i modelli localmente riduce la necessità di trasmettere dati sensibili a server esterni
• Mascheramento PII: Rilevare e oscurare automaticamente le informazioni personali prima delle chiamate API limita l'esposizione
• Confini delle autorizzazioni: Limitare l'accesso dell'agente a categorie di app sensibili (banche, salute, messaggistica) previene l'accesso non intenzionale ai dati
• Politiche API trasparenti: Scegliere provider con politiche chiare di gestione e conservazione dei dati aiuta a garantire la conformità

Scopri altri nostri benchmark e approfondimenti basati sui dati nella Ricerca Google.

Aggiungi come fonte preferita

Metodologia del benchmark

Abbiamo condotto una valutazione di benchmark per valutare le prestazioni degli agenti AI mobili che operano sul sistema operativo Android in attività del mondo reale. Abbiamo utilizzato il framework AndroidWorld e testato tutti gli agenti sulle stesse attività standard.

Framework AndroidWorld

AndroidWorld è una piattaforma di benchmark open-source sviluppata specificamente da Google Research per valutare gli agenti mobili. Questa piattaforma mira a misurare le prestazioni degli agenti che lavorano in applicazioni Android reali attraverso attività standardizzate.

La caratteristica più importante di AndroidWorld è che utilizza applicazioni Android reali invece di ambienti di test artificiali e può valutare automaticamente le prestazioni degli agenti. Abbiamo utilizzato 65 attività in questo studio. Queste attività coprono scenari di utilizzo quotidiano dei dispositivi mobili come gestione del calendario, aggiunta di contatti, registrazione vocale, scatto di foto e operazioni sui file.

Configurazione dell'ambiente

Configurazione del sistema: Per impostare l'ambiente di benchmark, abbiamo prima installato Android Studio sul sistema operativo Windows 11 e configurato l'Emulatore Android ufficiale di Google.

Configurazione del dispositivo virtuale: Abbiamo creato un dispositivo virtuale che simula un dispositivo Pixel 6. Le specifiche di questo dispositivo virtuale sono state impostate come sistema operativo Android 13 (API Level 33), risoluzione 1080×2400, 8GB RAM e 20GB di spazio di archiviazione.

Configurazione dell'emulatore: Per integrare l'emulatore con AndroidWorld, abbiamo configurato la porta gRPC come 8554 perché AndroidWorld comunica con l'emulatore attraverso questa porta.

Configurazione dell'ambiente Python: Per preparare l'ambiente Python, abbiamo creato un nuovo ambiente conda con Python 3.11 utilizzando Miniconda. Dopo aver clonato il repository AndroidWorld da GitHub, abbiamo installato tutte le dipendenze utilizzando pip. Uno dei passaggi più critici di AndroidWorld è il processo di configurazione dell'emulatore.

Il comando di configurazione ha richiesto circa 45-60 minuti. Durante questo processo, AndroidWorld ha installato automaticamente tutte le applicazioni Android da testare sull'emulatore.

Creazione dei dati dello stato iniziale: Ha creato dati dello stato iniziale per ogni applicazione, ad esempio, ha aggiunto alcuni eventi all'applicazione del calendario, aggiunto contatti all'applicazione dei contatti e aggiunto un podcast chiamato "banana" all'applicazione dei podcast. Ha anche salvato snapshot per ogni attività, in modo che ogni attività possa iniziare da uno stato iniziale pulito.

Integrazioni degli agenti

AutoDroid

Integrazione AutoDroid: Per integrare AutoDroid, abbiamo prima clonato il repository da GitHub e installato i pacchetti Python richiesti. La caratteristica principale di AutoDroid è identificare gli elementi dell'interfaccia utente analizzando XML e completare le attività con un approccio basato sulle azioni.

L'agente assegna un numero di indice a ogni elemento cliccabile o focalizzabile sullo schermo e riceve comandi dal LLM come "tap(5)" o "text('hello')".

Wrapper AutoDroid: Per l'integrazione con AndroidWorld, abbiamo creato una classe wrapper denominata autodroid_agent.py. Questo wrapper esegue le configurazioni necessarie nel metodo di inizializzazione di AutoDroid, converte l'obiettivo dell'attività proveniente da AndroidWorld in un formato di prompt che AutoDroid può trasformare e trasforma le azioni generate da AutoDroid in comandi ADB reali utilizzando le funzioni execute_adb_call di AndroidWorld.

Flusso di esecuzione: Nel metodo step di AutoDroid, l'agente prima scatta uno screenshot e un dump XML dello schermo, analizza gli elementi dell'interfaccia utente, invia queste informazioni al LLM ed esegue azioni di tap, swipe o inserimento di testo in base alla risposta ricevuta.

DroidRun

Integrazione DroidRun: Abbiamo seguito un processo di integrazione simile per DroidRun. Dopo aver clonato il repository DroidRun da GitHub, abbiamo installato le dipendenze in requirements.txt.

La struttura architettonica di DroidRun è più complessa perché ha un sistema di ragionamento multi-step e tracciamento dello stato. DroidRun può spiegare non solo cosa farà in ogni passaggio ma anche perché, e può utilizzare i risultati dei passaggi precedenti nel passaggio successivo.

Wrapper DroidRun: Abbiamo creato l'wrapper droidrun_agent.py per l'integrazione con AndroidWorld. La parte più importante in questo wrapper era rendere la classe CodeActAgent di DroidRun compatibile con l'interfaccia dell'agente di base di AndroidWorld.

Processo di esecuzione: Quando abbiamo chiamato il metodo execute_task di DroidRun, l'agente passa attraverso una fase di pianificazione dell'attività, quindi esegue ogni passaggio e valuta i risultati. Abbiamo adattato questo processo al modello di esecuzione passo-passo di AndroidWorld. Abbiamo anche implementato gli strumenti utilizzati da DroidRun (tap_by_index, start_app, list_packages, ecc.) con i comandi ADB di AndroidWorld.

AppAgent

Integrazione AppAgent: L'integrazione di AppAgent era diversa dalle altre perché utilizza un approccio basato sulla visione. Dopo aver clonato il repository AppAgent, abbiamo integrato i file Python nella cartella scripts in AndroidWorld.

Approccio basato sulla visione: Il principio di funzionamento di AppAgent è il seguente: prima scatta uno screenshot dello schermo, quindi calcola le caselle di delimitazione degli elementi dell'interfaccia utente, disegna queste caselle sullo screenshot, assegna un numero a ciascuna e invia questo screenshot etichettato a un LLM multimodale. Il LLM determina visivamente quale elemento dovrebbe essere cliccato.

Configurazione dell'wrapper: Il passaggio più importante nell'integrazione di AppAgent era reindirizzare la parte che comunica con il dispositivo Android utilizzando il modulo and_controller.py di AppAgent all'emulatore di AndroidWorld. Nell'wrapper appagent_agent.py, abbiamo reimplementato i metodi get_screenshot e get_xml di AppAgent per funzionare con le API di AndroidWorld. Abbiamo anche reso il file model.py di AppAgent, che utilizza il formato OpenAI API, compatibile con l'OpenRouter API.

Mobile-Agent (M3A)

Integrazione Mobile-Agent (M3A): L'integrazione di M3A è stata il processo più completo perché funziona completamente basato sulla visione e ha un sistema di analisi dell'interfaccia utente molto dettagliato. Dopo aver clonato il repository M3A, abbiamo anche installato il framework di interazione Android Mobile-Env perché M3A dipende da questo framework.

Analisi multi-step: Il principio di funzionamento di M3A si basa sulla divisione dello schermo in griglie, analizzando ogni griglia separatamente e facendo pianificazione multi-step. Mentre creavamo l'wrapper m3a_agent.py, dovevamo integrare il sistema ambientale proprio di M3A con l'ambiente di AndroidWorld. M3A utilizza normalmente il proprio Mobile-Env, ma lo abbiamo reindirizzato all'env di AndroidWorld.

Chiamate multiple LLM: Abbiamo osservato che M3A effettua chiamate multiple LLM in ogni passaggio (come pianificazione, selezione dell'azione, verifica) e le abbiamo rese compatibili con i limiti di passaggio di AndroidWorld.

Procedura di test e raccolta dati

Flusso di test: La procedura di test per ogni agente funzionava come segue: Prima, abbiamo avviato l'emulatore con uno snapshot pulito. Dopo che l'emulatore è stato completamente aperto, abbiamo eseguito run.py di AndroidWorld. Abbiamo eseguito 65 attività in sequenza per ogni agente e utilizzato Claude 4.5 Sonnet per tutti gli agenti.

Esecuzione dell'attività: AndroidWorld ha automaticamente eseguito i seguenti passaggi per ogni attività: caricare lo stato iniziale dell'attività, avviare l'agente, inviare l'obiettivo dell'attività all'agente, tracciare i passaggi dell'agente, fermarsi quando viene raggiunto il numero massimo di passaggi o quando l'agente dice "attività completata" e verificare se l'attività è stata eseguita con successo.

Criteri di successo: Il sistema di valutazione delle attività di AndroidWorld include criteri di successo predefiniti. Ad esempio, per l'attività "Aggiungi contatto di nome John Doe", AndroidWorld interroga il database dei contatti per confermare che il contatto sia stato aggiunto.

Per le attività del calendario, verifica dal database se l'evento è stato creato con la data, l'ora, il titolo e la descrizione corretti. Alla fine di ogni esecuzione dell'attività, AndroidWorld ci ha fornito il tempo di esecuzione e lo stato di successo (Vero/Falso). Questi dati sono stati registrati automaticamente e utilizzati per l'analisi.

Raccolta dati: Dopo aver completato l'intero benchmark, abbiamo identificato l'attività che tutti gli agenti hanno completato con successo. Ciascuna di queste attività è stata quindi eseguita 10 volte da ogni agente e sono stati calcolati il tempo di esecuzione medio, il costo e il consumo di token per metriche di prestazioni più affidabili.

Possibili ragioni dietro le differenze di prestazioni negli agenti AI mobili

Le differenze osservate derivano principalmente da scelte architetturali e metodi di interazione.

DroidRun dà priorità all'affidabilità attraverso il ragionamento multi-step, la pianificazione esplicita e il tracciamento dello stato. Questo migliora il successo dell'attività ma aumenta l'uso dei token e i costi.

Mobile-Agent bilancia prestazioni ed efficienza. Il suo ragionamento più leggero e la comprensione visiva riducono i costi mantenendo tassi di successo moderati, rendendolo adatto a casi d'uso sensibili al budget.

AutoDroid si concentra sull'esecuzione basata sulle azioni con un minimo sovraccarico di ragionamento. Questo comporta i costi più bassi e i tempi di esecuzione più rapidi, ma limita anche la sua capacità di gestire attività complesse o ambigue.

AppAgent si affida pesantemente all'interazione basata sulla visione utilizzando LLM multimodali. L'elaborazione frequente degli screenshot aumenta la latenza e i costi, mentre le sfide delle coordinate dell'interfaccia utente riducono il successo delle attività.

FAQ

Cita questa ricerca

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Agenti AI Mobili Testati su 65 Attività del Mondo Reale}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/mobile-ai-agent}},
  note   = {AIMultiple. Consultato il 9 Giugno 2026}
}

Collegamenti di riferimento

1.

https://arxiv.org/pdf/2308.15272

2.

GitHub - TencentQQGYLab/AppAgent: AppAgent: Multimodal Agents as Smartphone Users, an LLM-based multimodal agent framework designed to operate smartphone apps. · GitHub

Cem Dilmegani

Analista principale

Segui

Cem è analista principale presso AIMultiple dal 2017. AIMultiple fornisce informazioni a centinaia di migliaia di aziende (secondo SimilarWeb), tra cui il 55% delle aziende Fortune 500, ogni mese. Il lavoro di Cem è stato citato da importanti pubblicazioni globali come Business Insider, Forbes, Washington Post, società globali come Deloitte e HPE, ONG come il World Economic Forum e organizzazioni sovranazionali come la Commissione Europea. È possibile consultare l'elenco di altre aziende e risorse autorevoli che hanno citato AIMultiple. Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, responsabile acquisti tecnologici e imprenditore nel settore tecnologico. Ha fornito consulenza alle aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per oltre un decennio. Ha anche pubblicato un report di McKinsey sulla digitalizzazione. Ha guidato la strategia tecnologica e gli acquisti di un'azienda di telecomunicazioni, riportando direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto un fatturato annuo ricorrente a 7 cifre e una valutazione a 9 cifre partendo da zero in soli 2 anni. Il lavoro di Cem in Hypatos è stato oggetto di articoli su importanti pubblicazioni tecnologiche come TechCrunch e Business Insider. Cem partecipa regolarmente come relatore a conferenze internazionali di settore. Si è laureato in ingegneria informatica presso l'Università di Bogazici e ha conseguito un MBA presso la Columbia Business School.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento