Mobile KI-Agenten in 65 realen Aufgaben getestet

Wir haben 3 Tage damit verbracht, vier mobile KI-Agenten (DroidRun, Mobile-Agent, AutoDroid und AppAgent) in 65 realen Aufgaben mit einem Android-Emulator zu benchmarken, wobei Anwendungen wie Kalenderverwaltung, Kontakterstellung, Fotoaufnahme, Audioaufzeichnung und Dateioperationen zum Einsatz kamen.

Siehe die Benchmark-Ergebnisse einschließlich Leistungsvergleich in realen Aufgaben, Kosten und Ausführungszeiten:

Leistungsvergleich mobiler KI-Agenten

DroidRun

Höchste Erfolgsquote (43 %) mit hohen Kosten pro erfolgreicher Aufgabe ($0.075, ~3.225 Token)

DroidRun zeigte die beste Leistung mit einer Erfolgsquote von 43 % bei den 65 Aufgaben. Bei den Aufgaben, die alle Agenten erfolgreich abschlossen, verbrauchte DroidRun im Durchschnitt 3.225 Token zu Kosten von $0.075 pro Aufgabe.

Dieser erhebliche Ressourcenverbrauch spiegelt DroidRuns mehrstufige Reasoning-Architektur wider, bei der Agent detailliertes Zustands-Tracking betreibt, explizite Aktionspläne erstellt und Erklärungen für jede Entscheidung liefert. Dieser umfassende Ansatz ist zwar teuer, führt aber zur höchsten Erfolgsquote im Benchmark mobiler KI-Agenten.

Mobile-Agent

Starke Leistung (29 %) und kosteneffizient ($0.025, ~1.130 Token)

Mobile-Agent erreichte mit 29 % die zweithöchste Erfolgsquote bei gleichzeitig angemessener Kosteneffizienz. Bei den gemeinsamen erfolgreichen Aufgaben aller Agenten verbrauchte Mobile-Agent durchschnittlich $0.025 und 1.130 Token pro Aufgabe.

Das entspricht etwa einem Drittel der Kosten von DroidRun pro Aufgabe bei etwa zwei Dritteln seiner Erfolgsquote, was Mobile-Agent zu einer attraktiven Option für Einsätze macht, bei denen Budgetvorgaben wichtig sind.

Die Lücke von 14 Prozentpunkten in der Erfolgsquote deutet jedoch darauf hin, dass die zusätzlichen Reasoning-Fähigkeiten von DroidRun einen sinnvollen Mehrwert für Anwendungen bieten, bei denen Zuverlässigkeit im Vordergrund steht, wie etwa im Gesundheitswesen oder in Banking-Workflows.

AutoDroid

Beste Kosteneffizienz (14 % Erfolg, $0.017, ~765 Token), aber begrenzte Wirksamkeit

AutoDroid wies bei den gemeinsamen erfolgreichen Aufgaben mit $0.017 und 765 Token pro Aufgabe die niedrigsten Kosten auf und war damit die wirtschaftlichste Option im Benchmark.

Allerdings lag seine Erfolgsquote von 14 % – weniger als die Hälfte der Leistung von Mobile-Agent und etwa ein Drittel von DroidRun –, was zeigt, dass dieser Kostenvorteil mit erheblichen Einbußen bei der Zuverlässigkeit einhergeht.

Obwohl AutoDroid einen ähnlichen aktionsbasierten Ansatz wie DroidRun verwendet, führt sein minimaler Reasoning-Overhead zu deutlichen Kosteneinsparungen, aber auch zu einer eingeschränkten Fähigkeit, Aufgaben abzuschließen.

AppAgent

Schwächste Leistung (7 % Erfolg) bei höchsten Kosten ($0.90, ~2.346 Token)

AppAgent verzeichnete mit 7 % die niedrigste Erfolgsquote und mit $0.90 und 2.346 Token pro Aufgabe die höchsten Kosten bei gemeinsamen erfolgreichen Aufgaben – zwölfmal teurer als DroidRun und über fünfzigmal teurer als AutoDroid.

Dieses schlechte Kosten-Leistungs-Verhältnis resultiert aus AppAgents bildbasiertem Ansatz, bei dem für jede Interaktion beschriftete Screenshots an multimodale LLMs gesendet werden. Jeder Screenshot, der an das multimodale LLM gesendet wird, verbraucht viele Input-Token für die Bildverarbeitung, während die tatsächlichen Textantworten (Completion-Token) vergleichsweise moderat bleiben.

Dadurch entsteht eine stark unausgewogene Token-Verteilung, bei der Bildverarbeitungs-Overhead die Kosten dominiert, ohne dass die Aufgabenabschlüsse entsprechend besser werden, da der Agent auf mobilen Oberflächen mit Koordinatenberechnungen und der Identifikation von UI-Elementen Schwierigkeiten hat.

Vergleich der Ausführungszeiten mobiler KI-Agenten

Bei der einzigen Aufgabe, die alle Agenten erfolgreich abschlossen, war AutoDroid mit 57 Sekunden am schnellsten, dicht gefolgt von Mobile-Agent mit 66 Sekunden. DroidRun erledigte die Aufgabe in 78 Sekunden, was zeigt, dass seine mehrstufige Reasoning-Architektur trotz höherem Token-Verbrauch dennoch eine effiziente Ausführung ermöglicht.

AppAgent zeigte mit 180 Sekunden eine deutlich höhere Latenz, da sein bildbasierter Ansatz für jede Interaktion umfangreiche Screenshot-Verarbeitung durch multimodale LLMs erfordert.

Sie können unsere Benchmark-Methodik hier einsehen.

Übersicht über mobile KI-Agenten

DroidRun

DroidRun ist ein Open-Source-Framework, das mobile-native KI-Agenten entwickelt, die Apps und Smartphones autonom steuern können. Es ist ein grundlegendes Framework, das Benutzeroberflächen in strukturierte Daten umwandelt, mit denen Large Language Models interagieren können, und so komplexe Automatisierungen direkt auf mobilen Geräten ermöglicht.

Sehen Sie es in Aktion:

AutoDroid

AutoDroid ist ein mobiles Aufgabenautomatisierungssystem, das beliebige Aufgaben in jeder Android-App ohne manuelle Konfiguration ausführen kann. Es nutzt das commonsense-basierte Reasoning von Large Language Models wie GPT-4 und Vicuna, kombiniert mit automatischer app-spezifischer Analyse.

AutoDroid führt eine funktionsorientierte UI-Darstellung ein, um App-Oberflächen mit LLMs zu verbinden, verwendet explorative Memory-Injection, um dem Modell app-spezifische Verhaltensweisen beizubringen, und umfasst Query-Optimierung, um Inferenzkosten zu senken. In einem Benchmark mit 158 Aufgaben erzielte es eine Aktionsgenauigkeit von 90.9 % und eine Aufgabenerfolgsquote von 71.3 % und übertraf damit die reinen GPT-4-Baselines.¹

Mobile-Agent

Das GitHub-Repo X-PLUG/MobileAgent ist die offizielle Implementierung von Mobile-Agent, einem KI-Agenten-Framework, das durch Wahrnehmung und Reasoning über visuelle UI-Darstellungen mobile Anwendungen autonom steuert.

Dieses Projekt stammt von der X-PLUG-Gruppe der Tsinghua-Universität und wurde auf der ICLR 2024 vorgestellt. Es zielt darauf ab, die Grenzen mobiler Agenten durch multimodales Lernen, insbesondere visuelle Wahrnehmung und Instruction-Following, zu erweitern. Sehen Sie sich das Video an, um es in Aktion zu erleben.

AppAgent

Das GitHub-Repository TencentQQGYLab/AppAgent ist ein Open-Source-Forschungsprojekt vom Tencent QQG Y-Lab. Es stellt AppAgent vor, ein mobiles KI-Agenten-Framework, das entwickelt wurde, um Android-Apps autonom zu bedienen und zu durchdenken, ohne für jede einzelne App menschengeschriebenen Code zu benötigen.

Quelle: AppAgent²

Tecno EllaClaw

Tecno integrierte die OpenClaw-Technologie in seinen Ella-KI-Assistenten und nennt die Kombination „EllaClaw“.³

EllaClaw läuft auf HIOS, Tecnos Android-basiertem mobilen Betriebssystem, und startet mit zwei ersten Fähigkeiten: einer intelligenten SMS-Zusammenfassung, die wichtige Nachrichten wie Bankbenachrichtigungen und Rechnungen markiert, und einem Tagesplan, der Kalenderereignisse, Wetter und Nachrichten zu einem täglichen Briefing zusammenstellt.

Das System verwendet persistenten Speicher, um Nutzerpräferenzen zu lernen, und wird als Beta auf ausgewählten Tecno-Geräten ausgerollt, beginnend mit dem Flaggschiff Camon 50 Ultra.⁴

Samsung Galaxy S26

Die Galaxy-S26-Serie führte ein Multi-Agenten-Setup ein, das es Nutzern erlaubt, zwischen drei KI-Assistenten zu wechseln:⁵

• Bixby, überarbeitet, um Perplexitys Unterstützung für die natürliche Sprachsteuerung des Geräts zu nutzen, etwa das Anpassen von Einstellungen, um das Ausschalten des Bildschirms beim Betrachten von Inhalten zu verhindern.
• Google Gemini, mit einer neuen Beta-Fähigkeit zur Ausführung von Hintergrundaufgaben wie dem Buchen von Fahrten oder dem Nachbestellen von Mahlzeiten, während der Nutzer andere Aktivitäten auf dem Telefon ausführt.
• Perplexity, auf Systemebene über seine Sonar-API integriert, verfügbar in nativen Apps wie Notizen, Kalender und Galerie und per Sprachbefehl oder Seitentastendruck freihändig aufrufbar.

Perplexity startete zunächst mit dem Aktivierungswort „Hey, Plex“, ein späteres Software-Update änderte es jedoch in „Hey, Perplexity“, um Verwechslungen mit dem Plex-Media-Streamer zu vermeiden.⁶

Google Gemini Intelligence und Android 17

Google kündigte Gemini Intelligence an, eine Funktionssuite, deren Flaggschiff-Fähigkeit die mehrstufige, app-übergreifende Aufgabenausführung mit Nutzerbestätigung ist.⁷

Vorgeführte Anwendungsfälle umfassen das Identifizieren von Zutaten aus einem YouTube-Kochvideo und deren automatische Bestellung, das Buchen eines Spinning-Kurses und das Abrufen eines Kurs-Lehrplans aus Gmail, um einen Warenkorb mit den benötigten Büchern zu füllen.

Diese agentischen Fähigkeiten werden zuerst auf der Samsung Galaxy S26-Serie und dem Google Pixel 10 und Pixel 10 Pro über die Gemini-App eingeführt, mit späterer Ausweitung auf Uhren, Autos, Brillen und Laptops. Der geräteinterne Teil erfordert Hardware, die in der Lage ist, Gemini Nano-Modelle auszuführen, wobei Google mindestens 12GB RAM und qualifizierte Prozessoren als Grundvoraussetzung angibt.⁸

Android-Chef Sameer Samat beschrieb Android 17 als den Wendepunkt, an dem die Plattform „von einem Betriebssystem zu einem intelligenten System“ wird, und merkte an, dass Android 17 „den Punkt markiert, an dem erste agentische Fähigkeiten breiter ausgerollt werden“, zunächst mit eingeschränkter App-Unterstützung.⁹

AGI, Inc. und Qualcomm

AGI, Inc. gab eine Zusammenarbeit mit Qualcomm bekannt, um ihren geräteinternen mobilen Agenten AGI-0 auf Snapdragon-betriebene Geräte zu bringen.¹⁰

AGI-0 läuft lokal, verwendet Vision-Language-Action-Modelle, um den Bildschirm zu sehen und Aktionen in jeder App ohne app-spezifische Integrationen auszuführen, und legt besonderen Wert auf Datenschutz, indem die Datenverarbeitung auf dem Gerät bleibt, anstatt sie über Cloud-APIs zu leiten.

Funktionen mobiler KI-Agenten

Zielorientierte Befehlshandhabung

Nutzer geben an, was sie erledigt haben möchten („Buche eine Fahrt zum Flughafen“), und der Agent entscheidet, welche Apps geöffnet werden, welche Aktionen in welcher Reihenfolge auszuführen sind. Der Nutzer muss das Ziel nicht in einzelne Taps und Wischgesten übersetzen.

LLM-gestütztes Reasoning

Mobile KI-Agenten stützen sich auf Large Language Models, um die Nutzerabsicht aus natürlichsprachlichen Anfragen zu erkennen, Bildschirminhalte zu interpretieren, schrittweise Aktionspläne zu generieren und sich anzupassen, wenn sich die Benutzeroberfläche zwischen App-Zuständen wie Ladebildschirmen, Dialog-Pop-ups oder Navigationsübergängen ändert.

Strukturierte, native App-Steuerung

Anstatt Pixel vom Bildschirm zu scrapen, extrahieren mobile KI-Agenten strukturierte UI-Hierarchien, in der Regel XML-basierte Bäume, die Schaltflächen, Felder und andere interaktive Elemente beschreiben, und arbeiten direkt auf diesen Elementen. DroidRun verwendet beispielsweise Android Accessibility APIs, um echte UI-Elemente zu lesen und darauf zu agieren, anstatt Koordinaten von einem Screenshot zu erraten.

Cloud- und geräteinterne Ausführung für mobile KI-Agenten

Cloud-basierte Agenten verbinden sich über API-Aufrufe mit Modellen. Sie bewältigen komplexes Reasoning gut, erfordern jedoch die Übertragung von Bildschirmdaten und Nutzerkontext an externe Server, was Datenschutzbedenken bei sensiblen Anwendungen aufwirft. Die Leistung hängt auch von einer stabilen Netzwerkverbindung ab.

Geräteinterne Agenten führen Modelle direkt auf mobiler Hardware aus und halten alle Daten lokal. Dies eliminiert Übertragungsrisiken und ermöglicht Offline-Funktionalität. Aktuelle mobile NPUs und GPUs begrenzen die Modellgröße, was die Genauigkeit bei Aufgaben, die tieferes Reasoning oder längere Kontextfenster erfordern, verringern kann.

Hybride Architekturen kombinieren beide Ansätze. Leichte On-Device-Modelle erledigen Routineaufgaben und die initiale Intent-Klassifikation, während komplexe Operationen an Cloud-LLMs weitergeleitet werden. Apple Intelligence und Gemini Nano folgen diesem Muster, indem sie einfache Anfragen lokal verarbeiten und bei Bedarf eskalieren.

Sicherheits- und Datenschutzrisiken bei mobilen KI-Agenten

Dieselben Fähigkeiten, die mobile KI-Agenten nützlich machen, schaffen auch neue Angriffsflächen:

• Offenlegung von Bildschirminhalten: Agenten können Passwörter, Nachrichten und Finanzdaten zur Verarbeitung an Cloud-LLMs übertragen.
• Weitergabe von Anmeldedaten: Automatische Anmelde-Workflows können gespeicherte Passwörter und Authentifizierungstoken unbeabsichtigt offenlegen.
• Unklare Datenspeicherung: Viele Anbieter von Agenten veröffentlichen nicht, wie lange erfasste Screenshots, Aktionsprotokolle und Bildschirmaufzeichnungen aufbewahrt werden oder ob sie zum Trainieren zukünftiger Modelle verwendet werden.
• Risiko durch Prompt Injection: Bösartiger App-Inhalt könnte das Agentenverhalten durch manipulierte UI-Texte beeinflussen, etwa ein gefälschtes Button-Label mit dem Text „Ignore previous instructions“.

Gegenmaßnahmen erstrecken sich über den gesamten Stack:

• On-Device-Verarbeitung hält sensible Bildschirmdaten vollständig von externen Servern fern und stellt die stärkste Kontrolle dar, wo die Modellgröße es zulässt.
• Anonymisierung personenbezogener Daten (PII) erkennt und entfernt automatisch Daten wie Namen, Telefonnummern und Konto-IDs vor jedem Cloud-API-Aufruf.
• Berechtigungsgrenzen schränken den Zugriffsbereich des Agenten so ein, dass er in bestimmten App-Kategorien wie Banking, Gesundheit oder Messaging nicht lesen oder handeln kann.
• Transparente Anbieterrichtlinien bedeuten veröffentlichte Aufbewahrungsfristen, Verarbeitungsstandorte und explizite Aussagen zur Nutzung von Trainingsdaten, anstelle allgemeiner Datenschutzformulierungen.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Warum die Leistung mobiler KI-Agenten variiert

Die beobachteten Unterschiede resultieren hauptsächlich aus architektonischen Entscheidungen und Interaktionsmethoden.

DroidRun priorisiert Zuverlässigkeit durch mehrstufiges Reasoning, explizite Planung und Zustandsverfolgung. Dies verbessert die Aufgabenerfolgsquote, erhöht aber den Token-Verbrauch und die Kosten.

Mobile-Agent balanciert Leistung und Effizienz. Sein leichteres Reasoning und visuelles Verständnis reduzieren die Kosten, während moderate Erfolgsquoten erhalten bleiben, was es für kostensensible Anwendungsszenarien geeignet macht.

AutoDroid konzentriert sich auf aktionsbasierte Ausführung mit minimalem Reasoning-Overhead. Dies führt zu den niedrigsten Kosten und schnellsten Ausführungszeiten, begrenzt jedoch die Fähigkeit, komplexe oder mehrdeutige Aufgaben zu bewältigen.

AppAgent setzt stark auf bildbasierte Interaktion mit multimodalen LLMs. Die häufige Screenshot-Verarbeitung treibt Latenz und Kosten in die Höhe, während Herausforderungen bei UI-Koordinaten die Aufgabenerfolgsquote verringern.

Benchmark-Methodik für mobile KI-Agenten

Wir haben eine Benchmark-Evaluierung durchgeführt, um die Leistung von KI-Mobilagenten auf dem Android-Betriebssystem in realen Aufgaben zu bewerten. Wir verwendeten das AndroidWorld-Framework und testeten alle Agenten mit denselben Standardaufgaben.

AndroidWorld-Framework

AndroidWorld ist eine Open-Source-Benchmark-Plattform, die speziell von Google Research zur Evaluierung mobiler Agenten entwickelt wurde. Ziel dieser Plattform ist es, die Leistung von Agenten zu messen, die in echten Android-Anwendungen mit standardisierten Aufgaben arbeiten.

Das wichtigste Merkmal von AndroidWorld ist, dass es echte Android-Anwendungen statt künstlicher Testumgebungen verwendet und die Leistung der Agenten automatisch bewerten kann. Wir verwendeten in dieser Studie 65 Aufgaben. Diese Aufgaben decken alltägliche Nutzungsszenarien mobiler Geräte wie Kalenderverwaltung, Hinzufügen von Kontakten, Sprachaufzeichnung, Aufnehmen von Fotos und Dateioperationen ab.

Umgebungseinrichtung

Systemkonfiguration: Um die Benchmark-Umgebung einzurichten, installierten wir zunächst Android Studio auf dem Betriebssystem Windows 11 und konfigurierten den offiziellen Android-Emulator von Google.

Einrichtung des virtuellen Geräts: Wir erstellten ein virtuelles Gerät, das ein Pixel-6-Gerät simuliert. Die Spezifikationen dieses virtuellen Geräts wurden wie folgt festgelegt: Android 13 (API-Level 33), Auflösung 1080×2400, 8GB RAM und 20GB Speicherplatz.

Emulator-Konfiguration: Um den Emulator mit AndroidWorld zu integrieren, konfigurierten wir den gRPC-Port als 8554, da AndroidWorld über diesen Port mit dem Emulator kommuniziert.

Python-Umgebung einrichten: Zur Vorbereitung der Python-Umgebung erstellten wir mit Miniconda eine neue Conda-Umgebung mit Python 3.11. Nach dem Klonen des AndroidWorld-Repositorys von GitHub installierten wir alle Abhängigkeiten mit pip. Einer der kritischsten Schritte von AndroidWorld ist der Setup-Prozess des Emulators.

Der Setup-Befehl dauerte etwa 45–60 Minuten. Während dieses Prozesses installierte AndroidWorld automatisch alle zu testenden Android-Anwendungen auf dem Emulator.

Erstellung der Ausgangszustandsdaten: Es wurden Ausgangszustandsdaten für jede Anwendung erstellt, z. B. einige Ereignisse in der Kalender-App hinzugefügt, Kontakte in der Kontakte-App hinzugefügt und ein Podcast namens „banana“ zur Podcast-App hinzugefügt. Außerdem wurden Snapshots für jede Aufgabe gespeichert, sodass jede Aufgabe aus einem sauberen Ausgangszustand gestartet werden kann.

Agenten-Integrationen

AutoDroid

AutoDroid-Integration: Um AutoDroid zu integrieren, klonten wir zunächst das Repository von GitHub und installierten die erforderlichen Python-Pakete. Das Hauptmerkmal von AutoDroid ist die Identifikation von UI-Elementen durch XML-Parsing und das Abschließen von Aufgaben mit einem aktionsbasierten Ansatz.

Der Agent weist jedem klickbaren oder fokussierbaren Element auf dem Bildschirm eine Indexnummer zu und empfängt vom LLM Befehle wie „tap(5)“ oder „text('hello')“.

AutoDroid-Wrapper: Für die Integration mit AndroidWorld erstellten wir eine Wrapper-Klasse namens autodroid_agent.py. Dieser Wrapper führt die erforderlichen Konfigurationen in der Initialisierungsmethode von AutoDroid durch, konvertiert das von AndroidWorld kommende Aufgabenziel in ein Prompt-Format, das AutoDroid verarbeiten kann, und setzt die von AutoDroid generierten Aktionen mithilfe der execute_adb_call-Funktionen von AndroidWorld in echte ADB-Befehle um.

Ausführungsablauf: In der step-Methode von AutoDroid erstellt der Agent zunächst einen Screenshot und einen XML-Dump des Bildschirms, parst die UI-Elemente, sendet diese Informationen an das LLM und führt Tap-, Swipe- oder Texteingabeaktionen entsprechend der erhaltenen Antwort aus.

DroidRun

DroidRun-Integration: Wir folgten für DroidRun einem ähnlichen Integrationsprozess. Nach dem Klonen des DroidRun-Repositorys von GitHub installierten wir die Abhängigkeiten aus der requirements.txt.

Die Architektur von DroidRun ist komplexer, da es über ein mehrstufiges Reasoning- und Zustandsverfolgungssystem verfügt. DroidRun kann nicht nur erklären, was es bei jedem Schritt tun wird, sondern auch warum, und kann die Ergebnisse vorheriger Schritte im nächsten Schritt verwenden.

DroidRun-Wrapper: Wir erstellten den Wrapper droidrun_agent.py für die AndroidWorld-Integration. Der wichtigste Teil dieses Wrappers war, die eigene CodeActAgent-Klasse von DroidRun mit der Basis-Agenten-Schnittstelle von AndroidWorld kompatibel zu machen.

Ausführungsprozess: Wenn wir die execute_task-Methode von DroidRun aufriefen, durchlief der Agent eine Aufgabenplanungsphase, führte dann jeden Schritt aus und bewertete die Ergebnisse. Wir passten diesen Prozess an das schrittweise Ausführungsmodell von AndroidWorld an. Außerdem implementierten wir die von DroidRun verwendeten Werkzeuge (tap_by_index, start_app, list_packages usw.) mit den ADB-Befehlen von AndroidWorld.

AppAgent

AppAgent-Integration: Die Integration von AppAgent unterschied sich von den anderen, da es einen bildbasierten Ansatz verwendet. Nach dem Klonen des AppAgent-Repositorys integrierten wir die Python-Dateien aus dem scripts-Ordner in AndroidWorld.

Bildbasierter Ansatz: Das Funktionsprinzip von AppAgent ist wie folgt: Es erstellt zunächst einen Screenshot des Bildschirms, berechnet dann die Begrenzungsrahmen der UI-Elemente, zeichnet diese Rahmen auf den Screenshot, weist jedem eine Nummer zu und sendet diesen beschrifteten Screenshot an ein multimodales LLM. Das LLM bestimmt visuell, welches Element angeklickt werden soll.

Wrapper-Konfiguration: Der wichtigste Schritt bei der Integration von AppAgent bestand darin, den Teil, der mit dem Android-Gerät über das and_controller.py-Modul von AppAgent kommuniziert, auf den Emulator von AndroidWorld umzuleiten. Im Wrapper appagent_agent.py implementierten wir die Methoden get_screenshot und get_xml von AppAgent neu, um sie mit den APIs von AndroidWorld zu verwenden. Außerdem machten wir die Datei model.py von AppAgent, die das OpenAI-API-Format verwendet, kompatibel mit der OpenRouter-API.

Mobile-Agent (M3A)

Mobile-Agent (M3A)-Integration: Die Integration von M3A war der umfangreichste Prozess, da es vollständig bildbasiert arbeitet und über ein sehr detailliertes UI-Analysesystem verfügt. Nach dem Klonen des M3A-Repositorys installierten wir zudem das Android-Interaktionsframework Mobile-Env, da M3A von diesem Framework abhängt.

Mehrstufige Analyse: Das Funktionsprinzip von M3A basiert darauf, den Bildschirm in Gitter zu unterteilen, jedes Gitter separat zu analysieren und eine mehrstufige Planung durchzuführen. Beim Erstellen des m3a_agent.py-Wrappers mussten wir das eigene Umgebungssystem von M3A mit der Umgebung von AndroidWorld integrieren. Normalerweise verwendet M3A sein eigenes Mobile-Env, aber wir leiteten es auf die env von AndroidWorld um.

Mehrere LLM-Aufrufe: Wir beobachteten, dass M3A bei jedem Schritt mehrere LLM-Aufrufe durchführt (wie Planung, Aktionsauswahl, Verifikation), und machten diese kompatibel mit den Schrittbegrenzungen von AndroidWorld.

Testablauf und Datenerhebung

Testablauf: Das Testverfahren für jeden Agenten lief wie folgt: Zuerst starteten wir den Emulator mit einem sauberen Snapshot. Nachdem der Emulator vollständig geöffnet war, führten wir die run.py von AndroidWorld aus. Wir führten nacheinander 65 Aufgaben für jeden Agenten aus und verwendeten für alle Agenten Claude 4.5 Sonnet.

Aufgabenausführung: AndroidWorld führte für jede Aufgabe automatisch die folgenden Schritte aus: Laden des Ausgangszustands der Aufgabe, Starten des Agenten, Senden des Aufgabenziels an den Agenten, Verfolgen der Schritte des Agenten, Anhalten, wenn die maximale Anzahl von Schritten erreicht ist oder wenn der Agent „Aufgabe abgeschlossen“ meldet, und Überprüfen, ob die Aufgabe erfolgreich war.

Erfolgskriterien: Das Aufgabenbewertungssystem von AndroidWorld umfasst vordefinierte Erfolgskriterien. Beispielsweise fragt AndroidWorld für die Aufgabe „Kontakt namens John Doe hinzufügen“ die Kontaktdatenbank ab, um zu bestätigen, dass der Kontakt hinzugefügt wurde.

Für Kalenderaufgaben prüft es in der Datenbank, ob das Ereignis mit dem korrekten Datum, der Uhrzeit, dem Titel und der Beschreibung erstellt wurde. Am Ende jeder Aufgabenausführung lieferte uns AndroidWorld die Ausführungszeit und den Erfolgsstatus (True/False). Diese Daten wurden automatisch aufgezeichnet und für die Analyse verwendet.

Datenerhebung: Nach Abschluss des gesamten Benchmarks identifizierten wir die Aufgabe, die alle Agenten erfolgreich abschlossen. Jede dieser Aufgaben wurde dann von jedem Agenten 10 Mal ausgeführt, und die durchschnittliche Ausführungszeit, die Kosten und der Token-Verbrauch wurden berechnet, um zuverlässigere Leistungskennzahlen zu erhalten.

FAQs

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Mobile KI-Agenten in 65 realen Aufgaben getestet}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/mobile-ai-agent}},
  note   = {AIMultiple. Abgerufen am 9. Juni 2026}
}

Referenzlinks

1.

https://arxiv.org/pdf/2308.15272

2.

GitHub - TencentQQGYLab/AppAgent: AppAgent: Multimodal Agents as Smartphone Users, an LLM-based multimodal agent framework designed to operate smartphone apps. · GitHub

3.

Tecno introduces EllaClaw, an OpenClaw port that will automate tasks on Tecno phones - GSMArena.com news

GSMArena

4.

Tecno taps OpenClaw to supercharge its Ella AI assistant with new automation features | Android Central

Android Central

5.

Here's how many AI agents Galaxy S26 series has and how they work

Authority Media

6.

Galaxy S26 switching to 'Hey Perplexity' wake word

7.

Android Is About to Get a Lot Smarter With Google AI Boosts—Here's How - Decrypt

Decrypt

8.

Gemini Intelligence | The best of Gemini on our most advanced devices

Android

9.

Google's Android boss talks Android 17, sideloading drama, and why he hates phone cases

Authority Media

10.

AGI, Inc. announces Collaboration with Qualcomm Technologies to Bring Agentic AI to Snapdragon®-Powered Devices

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 60% der Fortune 500.

Cems Arbeit wurde von führenden globalen Publikationen zitiert, darunter Business Insider, Forbes, Washington Post, globalen Unternehmen wie Deloitte, HPE und NGOs wie dem World Economic Forum sowie supranationalen Organisationen wie der European Commission.

Während seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen über ein Jahrzehnt lang bei McKinsey & Company und Altman Solon in Technologieentscheidungen. Er veröffentlichte auch einen McKinsey-Bericht zur Digitalisierung.

Er leitete die Technologiestrategie und Beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Zudem führte er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos an, das innerhalb von 2 Jahren von null auf einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung anwuchs. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.

Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er schloss sein Studium an der Bogazici University als Computer-Ingenieur ab und hat einen MBA von der Columbia Business School.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten