Computer-Use-Agenten: Benchmark & Architektur
Computer-Use-Agenten bedienen echte Desktops und Web-Apps. Ihre Designs, Grenzen und Kompromisse sind oft unklar. Wir analysieren, wie führende Systeme arbeiten, wie sie lernen und wie sich ihre Architekturen unterscheiden. Wir beziehen uns auch auf einen fokussierten UI-Grounding-Benchmark mit 100 Desktop-Screenshots, über 4 Aufgabentypen und 5 Durchläufe pro Stichprobe. Er isoliert die Qualität der visuellen Wahrnehmung und zeigt, warum leistungsstarke Vision-Language-Modelle selbst für zusammengesetzte Agenten wichtig sind.
Ergebnisse des UI-Grounding-Benchmarks
Details zur Benchmark-Methodik finden Sie in den Benchmark-Details.
- Qwen3-VL-Modelle erreichen eine Genauigkeit von ~90 % bei geringem Fehler (≈7–9 px).
- UI-spezialisierte Modelle wie UI-TARS schneiden schlechter ab (Genauigkeit von ~38 %) und zeigen hohe Varianz und große Fehler, insbesondere bei zustandsabhängigen und dichten Benutzeroberflächen.
- Zustandsabhängige und dichte UIs sind die schwierigsten Fälle für die meisten Modelle.
Top Computer-Use-Agenten
Siehe den Abschnitt Funktionen für die Merkmale in der Tabelle und den Abschnitt Architekturansätze für die Details zur Architektur der Computer-Use-Agenten.
OpenAI Computer Use-Vorschau
Die Computer Use-Vorschau von OpenAI ist ein spezialisiertes Modell, das darauf ausgelegt ist, Computeraufgaben über die Responses-API zu verstehen und auszuführen. Es konzentriert sich auf Texteingabe und -ausgabe, mit optionaler Bildeingabe, unterstützt jedoch kein Audio oder Video.
Anthropic Claude Computer Use
Claude Computer Use ist eine Beta-Funktion, die es Claude ermöglicht, mit einer Desktop- oder fensterbasierten Computerumgebung zu interagieren, ähnlich wie ein Mensch. Es funktioniert, indem es den Bildschirm sieht, die Maus bewegt und auf der Tastatur tippt.
Claude kann ohne die Einrichtung durch einen Entwickler nicht selbstständig handeln. Es greift nicht automatisch auf Ihren echten Computer zu; es interagiert mit der von Ihnen bereitgestellten Sandbox.
Open Interpreter (OS-Modus)
Open Interpreter ist ein quelloffener Terminal-Agent. Er führt Code aus und interagiert mit dem Betriebssystem. Open Interpreter läuft auf dem lokalen Rechner, sodass er direkt auf lokale Dateien, Programme und den Browser zugreift. Ein Benutzer gibt Anweisungen in natürlicher Sprache, und der Agent wandelt sie in Code um. Bevor Code ausgeführt wird, zeigt Open Interpreter den geplanten Befehl an und wartet auf Genehmigung.
Simular Agent S/S3
Simular Agent S3 ist ein Computer-Use-Agent, der arbeitet, indem er Bildschirme beobachtet, Aktionen plant und Maus und Tastatur steuert, um komplexe Aufgaben zu erledigen. Er ist Teil des offenen Agent S-Frameworks für autonome GUI-Interaktion.
Behavior Best-of-N (bBoN) ist eine Kernmethode, die es Agent S3 ermöglicht, mehrere mögliche Aktionssequenzen („Rollouts“) zu generieren, anstatt nur einen einzigen Durchlauf. Es wandelt jeden Rollout in eine Verhaltensnarrative um, die eine einfache Zusammenfassung des Geschehenen darstellt. Ein separater Bewertungsschritt wählt dann den besten Durchlauf aus.
Cua KI
Cua KI ist ein quelloffenes Framework, das es ermöglicht, Computer-Use-KI-Agenten über Desktop-Umgebungen hinweg zu erstellen, auszuführen und zu testen, indem es Vision-Modelle, Reasoning-Modelle und sandboxed OS-Umgebungen in einem System vereint. Cua kann Agenten in der Cloud mit entfernten Sandboxes ausführen. Es erlaubt auch, sie lokal auszuführen, wenn Sie mehr Kontrolle oder Privatsphäre wünschen.
Cua hilft Ihnen auch dabei, UI-Screenshots und Agentenaktionsprotokolle zu generieren. Sie können mehrschrittige Interaktionen aufzeichnen, Trainingsdaten erstellen und Benchmarks durchführen, um zu sehen, wie gut Agenten arbeiten.
Claude Cowork
Claude Cowork bringt das agentische Design von Claude Code zu Menschen, die keinen Code schreiben. Es läuft in der Claude Desktop-App, in einem Tab neben Chat und Code. Ein Benutzer verweist es auf einen Ordner, und Claude liest, bearbeitet und erstellt dort Dateien, um eine Aufgabe zu erledigen.
Cowork folgt einer klaren Reihenfolge: Connector zuerst, Browser als zweites, Bildschirm zuletzt. Es greift auf einen MCP-Connector wie Slack oder Google Drive zurück, wenn einer existiert. Es fällt auf Claude in Chrome für Webseiten ohne API zurück. Es steuert den Bildschirm direkt, wenn kein anderer Weg funktioniert. Die Bildschirmsteuerung ist eine Forschungsvorschau und fragt vor jeder App um Erlaubnis.
Cowork kann eine Aufgabe auf parallele Unteragenten aufteilen und dann die Ergebnisse zusammenführen. Es kann auch geplante Aufgaben in einem festgelegten Rhythmus ausführen, wie z. B. einen wöchentlichen Statusentwurf, der in einem Ordner gespeichert wird.
Reichweite und Grenzen:
- Verfügbar unter macOS und Windows in kostenpflichtigen Tarifen, nach einer Forschungsvorschau im Januar 2026.
- Sonnet 4.6 ist das Standardmodell. Opus bleibt für schwierigere Aufgaben auswählbar.
- Sitzungen bleiben auf dem lokalen Rechner. Chat-Freigabe, Artefakt-Freigabe und Speicher funktionieren in Cowork nicht.
- Ein einzelner persistenter Thread auf iOS und Android kann dem Desktop Arbeit zuweisen, der wach bleiben muss.
OSWorld-Benchmark
Ergebnisse für agentische KI zur Computernutzung
Haftungsausschluss: Dasselbe Modell kann auf verschiedenen Rängen erscheinen, da OSWorld die Ergebnisse nach vollständiger Evaluierungskonfiguration (Agenten-Framework, Grounding- oder Planungsmodell, Best-of-N-Einstellung, Durchlaufanzahl und Schrittlimit) auflistet und selbst kleine Änderungen dieser Einstellungen als separate Einträge mit unterschiedlichen Leistungsergebnissen behandelt werden.
Methodik
Der Benchmark umfasst 369 reale Aufgaben (oder 361 ohne Google Drive-Aufgaben, die eine manuelle Einrichtung erfordern). Die Aufgaben erstrecken sich über Web- und Desktop-Anwendungen, Dateioperationen des Betriebssystems und Multi-App-Workflows. Jede Aufgabe beginnt in einem reproduzierbaren Ausgangszustand und ist mit einem benutzerdefinierten ausführungsbasierten Bewertungsskript gekoppelt, das eine zuverlässige Bewertung gewährleistet.
Evaluierungsprozess
Agenten interagieren mit einer Live-Betriebssystemumgebung. Der Erfolg wird anhand der tatsächlichen Aktionen des Agenten gemessen, nicht anhand von Textausgaben. Umgebungen unterstützen parallele und headless Ausführung und ermöglichen so skalierbare Tests.
Umfang des Benchmarks
OSWorld unterstützt offene Aufgaben über beliebige Anwendungen hinweg, multimodale Eingaben, anwendungsübergreifende Workflows und zwischengeschaltete Ausgangszustände. Im Vergleich zu früheren Benchmarks bietet es eine breitere Abdeckung und realistischere Bedingungen.
Baselines und Analyse
Der Benchmark evaluiert allgemeine Modelle, spezialisierte Modelle und agentische Frameworks über LLM- und VLM-Familien hinweg. Die Ergebnisse zeigen eine große Lücke zwischen menschlicher Leistung (~72 %) und aktuellen Agenten und verdeutlichen die Herausforderungen bei GUI-Grounding und operativem Wissen. OSWorld ermöglicht auch eine detaillierte Analyse nach Aufgabentyp, UI-Komplexität, Eingaben und Betriebssystemen.
Zwei Architekturansätze für Computer-Use-Modelle
Heutzutage fallen die meisten Computer-Use-Agenten in eines von zwei Entwurfsmustern:
- Ende-zu-Ende (E2E)-Agenten
- Zusammengesetzte Agenten
Beide zielen darauf ab, Aufgaben auf einem Computer zu erledigen. Sie unterscheiden sich darin, wie sie Wahrnehmung, Reasoning und Aktion aufteilen.
Ende-zu-Ende (E2E)-Agenten
Ende-zu-Ende-Agenten verwenden ein einziges Vision-Language-Modell, um die gesamte Schleife zu bewältigen. Das Modell erhält einen Screenshot und eine Aufgabenbeschreibung. Es gibt dann die nächste Aktion direkt aus.
Es gibt keine klare Grenze zwischen Sehen, Denken und Handeln. Diese Prozesse werden gemeinsam innerhalb desselben Modells erlernt.
Wie E2E-Agenten arbeiten
Screenshot + Aufgabe → Einheitliche Repräsentation → Aktion
Das Modell denkt direkt über Pixel und Text nach. Es erstellt keine explizite Liste von Schaltflächen oder Feldern. Stattdessen erlernt es während des Trainings Assoziationen zwischen visuellen Mustern und Aktionen.
Stärken
- Einfacheres Systemdesign
- Weniger Integrationspunkte, an denen Fehler auftreten können
- Oft stabiler bei langen Aufgaben
Einschränkungen
- Begrenzte Einsicht, warum eine Aktion gewählt wurde
- Schwieriger zu debuggen, wenn etwas schiefgeht
- Weniger Kontrolle über zwischengeschaltete Reasoning-Schritte
Praktische Implikationen
Da Wahrnehmung und Planung eng miteinander verbunden sind, ist es weniger wahrscheinlich, dass sich kleine visuelle Fehler zu Totalausfällen kaskadieren. Wenn eine Aktion nicht funktioniert, kann der Agent den aktualisierten Bildschirm neu bewerten und sich anpassen.
Kompromiss: Es ist schwierig, zwischengeschaltete Entscheidungen zu inspizieren oder die Fehlerquelle zu isolieren.
Zusammengesetzte Agenten
Zusammengesetzte Agenten unterteilen die Interaktionsschleife in separate Phasen. Jede Phase wird von einem anderen Modell oder Subsystem bearbeitet.
Wie zusammengesetzte KI-Agenten arbeiten
Eine typische Pipeline sieht wie folgt aus:
- Grounding: Erkennen von Elementen der grafischen Benutzeroberfläche aus dem Screenshot
- Planung: Entscheiden, was als Nächstes zu tun ist
- Ausführung: Aufgaben auf dem System durchführen
Dieses Design macht jeden Schritt explizit.
Stärken
- Klare Trennung der Verantwortlichkeiten
- Einfachere Inspektion zwischengeschalteter Ausgaben
- Besser geeignet für Forschung und kontrollierte Experimente
Einschränkungen
- Höhere Systemkomplexität
- Fehler können sich zwischen Komponenten ausbreiten
- Oft weniger zuverlässig in echten Desktop-Umgebungen
Praktische Implikationen
Zusammengesetzte Agenten stützen sich auf strukturierte Repräsentationen des Bildschirms, wie z. B. erkannte Schaltflächen oder Textfelder. Dies verbessert die Transparenz, erhöht aber die Anfälligkeit. Wenn das Grounding ungenau ist, werden Planungsentscheidungen wahrscheinlich scheitern.
Kompromiss: Lange Aufgaben sind besonders herausfordernd. Kleine Abweichungen zwischen wahrgenommenem und tatsächlichem Bildschirmzustand können sich anhäufen.
Kernbausteine von computernutzenden Agenten (CUAs)
Moderne Computer-Use-Agenten werden aus drei Hauptkomponenten aufgebaut:
1. Vision-Language-Modelle (VLMs)
Einzelne VLMs bilden den Kern der meisten Ende-zu-Ende-Agenten. Sie verarbeiten Screenshots und Anweisungen gemeinsam und geben Aktionen direkt aus.
Screenshot + Aufgabe → Gemeinsamer Vision-Language-Raum → Aktion
Das Modell kodiert visuelle und textuelle Eingaben in einen gemeinsamen internen Raum. In diesem Raum lernt es, wie visuelle Muster mit Aktionen zusammenhängen, ohne explizite Labels.
Es gibt keinen separaten Grounding-Schritt. UI-Verständnis und Aufgabenplanung erfolgen implizit und gleichzeitig.
Praktische Implikationen: Einzelne VLMs reduzieren die architektonische Komplexität und begrenzen die Fehlerausbreitung. Sie bevorzugen Robustheit und Einfachheit gegenüber Transparenz und feinkörniger Kontrolle.
2. Grounding-Modelle
Grounding-Modelle konzentrieren sich ausschließlich auf die Wahrnehmung und spielen eine entscheidende Rolle bei den zusammengesetzten Agenten. Ihre Aufgabe ist es, rohe Screenshots in strukturierte Beschreibungen der Computeroberfläche zu übersetzen. Sie denken nicht über Ziele nach oder wählen Aktionen aus.
Screenshot → Grounding-Modell → Strukturierte UI-Repräsentation
Die Ausgaben umfassen oft:
- Erkannte UI-Elemente
- Räumliche Positionen (Bounding Boxes)
- Semantische Labels (Schaltfläche, Eingabefeld, Text)
- Extrahierter Text
Diese Repräsentation wird an ein Planungsmodell übergeben.
Stärken
- Klare und überprüfbare Wahrnehmung
- Einfachere Protokollierung und Analyse von Fehlern
- Verbesserte Transparenz
Einschränkungen
- Fehler pflanzen sich stromabwärts fort
- Empfindlich gegenüber visuellen Änderungen und dynamischen Layouts
- Schwierig, Konsistenz über viele Schritte hinweg aufrechtzuerhalten
Praktische Implikationen: Grounding ist oft das schwächste Glied in zusammengesetzten Systemen. Fehlende oder veraltete Elemente können Planungsmodelle in die Irre führen und wiederholte Fehler verursachen.
UI-Grounding-Benchmark: Warum die Qualität der visuellen Wahrnehmung wichtig ist
Um die Rolle der visuellen Wahrnehmung zu isolieren, beziehen wir uns auf einen fokussierten UI-Grounding-Benchmark, der bewertet, wie gut Modelle die exakte Pixelposition eines UI-Elements anhand einer natürlichsprachlichen Anweisung identifizieren.
Benchmark-Aufbau
- 100 Desktop-Screenshots
- 4 Aufgabentypen: einfach, relational, zustandsabhängig, dichte UI
- 5 Durchläufe pro Stichprobe zur Messung der Konsistenz
- Feste Auflösung: 2560×1440
Für einen detaillierteren Datensatz und eine detailliertere Methodik besuchen Sie AIMultiple UI Grounding auf HuggingFace.
Fazit
Akkurates UI-Grounding bleibt ein großer Engpass. Aktuelle Erkenntnisse zeigen, dass robuste visuelle Wahrnehmung und implizites UI-Verständnis wichtiger sind als enge UI-Spezialisierung, insbesondere für zuverlässige Computer-Use-Agenten, die echte Desktops bedienen.
Planungsmodelle
Planungsmodelle bestimmen die nächsten Schritte. Sie arbeiten mit strukturierten UI-Daten, Aufgabenzielen und Interaktionsverlauf. Sie verarbeiten keine Rohbilder. Diese Modelle spielen eine entscheidende Rolle in der zusammengesetzten Agentenarchitektur.
Strukturierte UI + Aufgabenziel → Planungsmodell → Nächste Aktion
Planungsmodelle können:
- Aufgaben in Schritte zerlegen
- Fortschritt verfolgen
- Regeln oder Heuristiken anwenden
- Reasoning explizit protokollieren
Herausforderungen in der Praxis
- Hohe Empfindlichkeit gegenüber Eingabefehlern
Falsches Grounding führt zu fehlerhaften Plänen. - Zustandsabweichung im Laufe der Zeit
UI-Änderungen können frühere Annahmen ungültig machen. - Begrenzte Fehlerbehebung
Ohne starkes Feedback können Planer in Schleifen geraten oder stecken bleiben. - Ausführungsdiskrepanzen
Zeit-, Fokus- oder Koordinationsfehler können Pläne zunichtemachen.
Praktische Implikationen: Planungsmodelle fügen Struktur und Transparenz hinzu, aber ihre Effektivität hängt stark von akkurater Wahrnehmung und zuverlässiger Ausführung ab.
Als bevorzugte Quelle hinzufügenErklärung der wichtigsten Merkmale von Computer-Use-Agenten
Laufzeitumgebung
Sie definiert, wo der Computer-Use-Agent läuft und wie er das Betriebssystem steuert (Cloud-VM, lokaler Rechner oder containerbasierte Laufzeit).
Lokaler Systemzugriff
Dies zeigt an, ob der Agent Dateien auf dem tatsächlichen Rechner des Benutzers lesen oder schreiben kann und nicht in einer entfernten Sandbox. Lokaler Zugriff ist nützlich für persönliche Workflows, wirft aber höhere Sicherheitsbedenken auf.
Wie Agenten den Computer erreichen: Bildschirm vs. Terminal
Die Computernutzung teilt sich nun entlang einer zweiten Linie: wie der Agent das System erreicht.
Screen-Grounding-Agenten lesen den Bildschirm als Bild. Sie lokalisieren Schaltflächen und Felder und klicken und tippen dann an bestimmten Koordinaten. OpenAI Computer Use, Claude Computer Use, Simular Agent S3 und UI-TARS funktionieren auf diese Weise. Die Stärke ist die breite Reichweite, da der Agent jede App bedienen kann, die eine Person sehen kann. Die Schwäche ist das Grounding. Ein falsch gelesenes Element unterbricht den Schritt, und lange Aufgaben driften ab, wenn sich der Bildschirm ändert.
Terminal-und-Connector-Agenten überspringen den Bildschirm, wenn ein sauberer Pfad existiert. Sie führen Shell-Befehle aus, rufen APIs über Connectors auf und bearbeiten Dateien direkt. OpenClaw, Open Interpreter und Claude Cowork sind hier angesiedelt. Cowork gibt die Reihenfolge klar vor: Connector zuerst, Browser als zweites, Bildschirm zuletzt. Die Stärke ist die Zuverlässigkeit, da ein Befehl oder ein API-Aufruf nicht von Pixelerkennung abhängt. Die Schwäche ist die Abdeckung, da eine App ohne API oder Befehlszeile weiterhin Bildschirmsteuerung benötigt.
Viele Systeme mischen heute beides. Sie bevorzugen Connectors und Befehle für Geschwindigkeit und Genauigkeit und fallen dann auf Screen-Grounding für Apps zurück, die keine andere Schnittstelle bieten.
Was ist der generelle Kompromiss zwischen E2E- und zusammengesetzten Agenten?
Ende-zu-Ende-Agenten sind derzeit zuverlässiger für den direkten Einsatz auf Personal Computern. Ihr einheitliches Design reduziert Koordinationsprobleme und Fehlerquellen.
Zusammengesetzte Agenten sind nicht grundsätzlich schwächer. Sie bieten größere Flexibilität, Anpassbarkeit und Interpretierbarkeit. Sie erfordern jedoch stärkeres Grounding, engeres Zustandsmanagement und sorgfältige Integration, um in realen Umgebungen gut zu funktionieren.
Der Kernkompromiss ist nicht die Fähigkeit, sondern Robustheit versus Kontrolle.
Was sind Computer-Use-Agenten?
Computer-Use-Agenten sind Systeme, die darauf ausgelegt sind, einen Computer ähnlich wie ein Mensch zu bedienen. Sie schauen auf den Bildschirm, entscheiden, was zu tun ist, und interagieren durch Aktionen wie Klicken, Tippen und Scrollen.
Auf den ersten Blick klingt das einfach. In der Praxis ist es schwierig. Desktop-Umgebungen sind dynamisch. Benutzeroberflächen ändern sich häufig. Es gibt keine festen APIs oder stabilen Strukturen, auf die man sich verlassen kann. Diese Agenten müssen mit dem arbeiten, was sie auf dem Bildschirm sehen, und in Echtzeit darüber nachdenken.
Trotz unterschiedlicher Implementierungen folgen die meisten Computer-Use-Agenten derselben grundlegenden Schleife:
Beobachten → Interpretieren → Entscheiden → Ausführen
Wie diese Schleife implementiert wird, bestimmt, wie stabil, flexibel und zuverlässig ein Agent im realen Einsatz ist.
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{phd2026,
author = {PhD., Ezgi Arslan, and Kalelioğlu, Berk},
title = {{Computer-Use-Agenten: Benchmark & Architektur}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/computer-use-agents}},
note = {AIMultiple. Abgerufen am 22. Juni 2026}
}
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.