Computer Use Agents: Benchmark & Architektur
Computer-use Agents versprechen, echte Desktops und Web-Apps zu bedienen, doch ihre Designs, Grenzen und Kompromisse sind oft unklar. Wir untersuchen führende Systeme, indem wir aufschlüsseln, wie sie funktionieren, wie sie lernen und wie sich ihre Architekturen unterscheiden. Wir beziehen uns zudem auf einen fokussierten UI-Grounding-Benchmark mit 100 Desktop-Screenshots, der 4 Aufgabentypen und 5 Durchläufe pro Stichprobe umfasst, um die Qualität der visuellen Wahrnehmung zu isolieren und hervorzuheben, warum leistungsstarke Vision-Language-Modelle selbst für zusammengesetzte Computer-use Agents wichtig sind.
Sehen Sie eine Funktionstabelle, Architekturhinweise, praktische Erkenntnisse und Benchmark-Ergebnisse, die Nutzern helfen, den richtigen Computer-use Agent auszuwählen oder zu erstellen:
UI-Grounding-Benchmark-Ergebnisse
Für Details zur Benchmark-Methodik lesen Sie die Benchmark-Details.
- Qwen3-VL-Modelle erreichen ~90 % Genauigkeit mit geringem Fehler (≈7–9 px).
- UI-spezifische Modelle wie UI-TARS schneiden viel schlechter ab (~38 % Genauigkeit) und zeigen hohe Varianz und große Fehler, insbesondere bei zustandsabhängigen und dichten Schnittstellen.
- Zustandsabhängige und dichte UIs sind die schwierigsten Fälle für die meisten Modelle.
Top Computer Use Agents
Sehen Sie den Abschnitt Funktionen für die Funktionen in der Tabelle und untersuchen Sie den Abschnitt architektonische Ansätze für die Details der Architektur der Computer Use Agents.
OpenAI Computer Use Preview
OpenAI Computer Use Preview ist ein spezialisiertes Modell, das entwickelt wurde, um Computeraufgaben über die Responses API zu verstehen und auszuführen. Es konzentriert sich auf Texteingabe und -ausgabe, mit optionaler Bildeingabe, unterstützt jedoch keine Audio- oder Videoverarbeitung.
Anthropic Claude Computer Use
Claude Computer Use ist eine Beta-Funktion, die es Claude ermöglicht, mit einer Desktop- oder Fensterumgebung zu interagieren, genau wie ein Mensch. Es funktioniert, indem es den Bildschirm sieht, die Maus bewegt und auf der Tastatur tippt.
Claude kann ohne Einrichtung durch einen Entwickler nicht von selbst handeln. Es greift nicht automatisch auf Ihren echten Computer zu; es interagiert mit der Sandbox, die Sie bereitstellen.
Open Interpreter (OS Mode)
Open Interpreter ist ein Open-Source-Terminal-Agent, der in der Lage ist, Code auszuführen und mit Ihrem System zu interagieren.
Es läuft auf Ihrem eigenen Computer, sodass es direkt auf Ihre Dateien, Programme und Ihren Browser zugreifen kann. Benutzer kommunizieren mit ihm in einfachem Englisch, und es übersetzt ihre Anweisungen in Aktionen, indem es Code generiert und ausführt. Bevor Code ausgeführt wird, zeigt Open Interpreter an, was es ausführen möchte, und fordert Ihre Zustimmung an.
Simular Agent S/S3
Simular Agent S3 ist ein Computer Use Agent, der durch Beobachten von Bildschirmen, Planen von Aktionen und Steuern von Maus und Tastatur komplexe Aufgaben erledigt. Es ist Teil des offenen Agent S-Frameworks für autonome GUI-Interaktion.
Behavior Best-of-N (bBoN) ist eine Kernmethode, die es Agent S3 ermöglicht, mehrere mögliche Aktionssequenzen („Rollouts") zu generieren, anstatt einen einzigen Lauf. Jeder Rollout wird in eine Verhaltensnarration umgewandelt, die eine einfache Zusammenfassung dessen ist, was passiert ist. Ein separater Beurteilungsschritt wählt dann den besten Lauf aus.
Cua AI
Cua AI ist ein Open-Source-Framework, das es ermöglicht, Computer Use AI agents über Desktop-Umgebungen hinweg zu erstellen, auszuführen und zu testen, indem Vision-Modelle, Reasoning-Modelle und sandgeboxte OS-Umgebungen zu einem System verknüpft werden. Cua kann Agents in der Cloud mit Remote-Sandboxes ausführen. Es ermöglicht Ihnen auch, sie lokal auszuführen, wenn Sie mehr Kontrolle oder Privatsphäre wünschen.
Cua hilft Ihnen auch dabei, UI-Screenshots und Agent-Aktionsprotokolle zu generieren. Sie können mehrstufige Interaktionen aufzeichnen, Trainingsdaten erstellen und Benchmarks ausführen, um zu sehen, wie gut Agents performen.
Claude Cowork
Claude Cowork ist eine Möglichkeit, Claude komplexe Arbeiten direkt auf Ihrem Computer erledigen zu lassen. Es nutzt dasselbe Agent-Design wie Claude Code, konzentriert sich jedoch auf Aufgaben, die Ihre lokalen Dateien und Programme betreffen, anstatt nur kurze Chat-Antworten zu liefern. Diese Funktion befindet sich in der Forschungs-Vorschau und läuft innerhalb der Claude Desktop-App für macOS.
Aktuelle Einschränkungen:
- Nur auf macOS Desktop verfügbar.
- Claude behält kein Gedächtnis über Sitzungen hinweg.
- Cowork kann seine Arbeit noch nicht mit anderen teilen.
OSWorld-Benchmark
Ergebnisse für Computer Use Agentic AI
Haftungsausschluss: Dasselbe Modell kann an verschiedenen Rängen erscheinen, da OSWorld Ergebnisse nach vollständiger Evaluierungskonfiguration auflistet (agent framework, Grounding- oder Planning-Modell, Best-of-N-Einstellung, Laufanzahl und Schrittlimit), und selbst kleine Änderungen in diesen Einstellungen werden als separate Einträge mit unterschiedlichen Leistungsergebnissen behandelt.
Methodik
Der Benchmark umfasst 369 reale Aufgaben (oder 361, wenn Google Drive-Aufgaben ausgeschlossen werden, die manuelle Einrichtung erfordern). Aufgaben umfassen Web- und Desktop-Anwendungen, OS-Dateioperationen und mehrstufige Workflows. Jede Aufgabe beginnt in einem reproduzierbaren Anfangszustand und ist mit einem benutzerdefinierten ausführungsbasierten Evaluierungsskript gekoppelt, was eine zuverlässige Bewertung gewährleistet.
Evaluierungsprozess
Agents interagieren mit einer Live-OS-Umgebung. Der Erfolg wird daran gemessen, was der Agent tatsächlich tut, nicht an Textausgaben. Umgebungen unterstützen parallele und headless Ausführung, was skalierbare Tests ermöglicht.
Benchmark-Umfang
OSWorld unterstützt offene Aufgaben in beliebigen Anwendungen, multimodale Eingaben, anwendungsübergreifende Workflows und intermediate Startzustände. Im Vergleich zu früheren Benchmarks bietet es eine breitere Abdeckung und realistischere Bedingungen.
Baselines und Analyse
Der Benchmark bewertet allgemeine Modelle, spezialisierte Modelle und agentic frameworks über LLM- und VLM-Familien hinweg. Die Ergebnisse zeigen eine große Lücke zwischen der menschlichen Leistung (~72 %) und aktuellen Agents, was Herausforderungen im GUI-Grounding und im operativen Wissen hervorhebt. OSWorld ermöglicht zudem eine detaillierte Analyse nach Aufgabentypen, UI-Komplexität, Eingaben und Betriebssystemen.
Zwei architektonische Ansätze für Computer Use Models
Heute fallen die meisten Computer Use Agents in eines von zwei Designmustern:
- End-to-End (E2E) Agents
- Composed Agents
Beide zielen darauf ab, Aufgaben auf einem Computer zu erledigen. Sie unterscheiden sich darin, wie sie Wahrnehmung, Reasoning und Aktion aufteilen.
End-to-End (E2E) Agents
End-to-End-Agents verwenden ein einziges Vision-Language-Modell, um die gesamte Schleife zu bewältigen. Das Modell erhält einen Screenshot und eine Aufgabenbeschreibung. Es gibt dann direkt die nächste Aktion aus.
Es gibt keine klare Grenze zwischen Sehen, Reasoning und Handeln. Diese Prozesse werden gemeinsam innerhalb desselben Modells gelernt.
Wie E2E-Agents funktionieren
Screenshot + Aufgabe → Einheitliche Darstellung → Aktion
Das Modell reasoniert direkt über Pixel und Text. Es erstellt keine explizite Liste von Buttons oder Feldern. Stattdessen lernt es während des Trainings Assoziationen zwischen visuellen Mustern und Aktionen.
Stärken
- Einfacheres Systemdesign
- Weniger Integrationspunkte, an denen Fehler auftreten können
- Oft stabiler über lange Aufgaben hinweg
Einschränkungen
- Eingeschränkte Sichtbarkeit, warum eine Aktion gewählt wurde
- Schwieriger zu debuggen, wenn etwas schiefgeht
- Weniger Kontrolle über intermediate Reasoning-Schritte
Praktische Implikationen
Weil Wahrnehmung und Planung eng miteinander verknüpft sind, ist es weniger wahrscheinlich, dass kleine visuelle Fehler zu vollständigen Ausfällen eskalieren. Wenn eine Aktion nicht funktioniert, kann der Agent den aktualisierten Bildschirm neu bewerten und sich anpassen.
Kompromiss: Es ist schwierig, intermediate Entscheidungen zu inspizieren oder die Fehlerquelle zu isolieren.
Composed Agents
Composed Agents teilen die Interaktionsschleife in separate Stufen auf. Jede Stufe wird von einem anderen Modell oder Subsystem bewältigt.
Wie Composed AI Agents funktionieren
Ein typischer Pipeline sieht so aus:
- Grounding: Erkennen grafischer Benutzeroberflächenelemente aus dem Screenshot
- Planning: Entscheiden, was als Nächstes zu tun ist
- Execution: Aufgaben auf dem System ausführen
Dieses Design macht jeden Schritt explizit.
Stärken
- Klare Trennung der Verantwortlichkeiten
- Einfacher zu inspizierende intermediate Ausgaben
- Besser geeignet für Forschung und kontrollierte Experimente
Einschränkungen
- Höhere Systemkomplexität
- Fehler können sich zwischen Komponenten fortpflanzen
- Oft weniger zuverlässig in echten Desktop-Umgebungen
Praktische Implikationen
Composed Agents verlassen sich auf strukturierte Darstellungen des Bildschirms, wie erkannte Buttons oder Textfelder. Dies verbessert die Transparenz, fügt jedoch Zerbrechlichkeit hinzu. Wenn Grounding ungenau ist, werden Planungsentscheidungen wahrscheinlich scheitern.
Kompromiss: Lange Aufgaben sind besonders herausfordernd. Kleine Diskrepanzen zwischen dem wahrgenommenen und dem tatsächlichen Bildschirmzustand können sich im Laufe der Zeit summieren.
Als bevorzugte Quelle hinzufügenKernbausteine von Computer-Using Agents (CUAs)
Moderne Computer Use Agents werden mit drei Hauptkomponenten aufgebaut:
1. Vision-Language-Modelle (VLMs)
Einzelne VLMs bilden das Kernstück der meisten End-to-End-Agents. Sie verarbeiten Screenshots und Anweisungen gemeinsam und geben Aktionen direkt aus.
Screenshot + Aufgabe → Gemeinsamer Vision-Language-Raum → Aktion
Das Modell kodiert visuelle und textuelle Eingaben in einen gemeinsamen internen Raum. In diesem Raum lernt es, wie visuelle Muster mit Aktionen zusammenhängen, ohne explizite Labels.
Es gibt keinen separaten Grounding-Schritt. UI-Verständnis und Aufgabenplanung erfolgen implizit und gleichzeitig.
Praktische Implikationen: Einzelne VLMs reduzieren die architektonische Komplexität und begrenzen die Fortpflanzung von Fehlern. Sie bevorzugen Robustheit und Einfachheit gegenüber Transparenz und feingranularer Kontrolle.
2. Grounding-Modelle
Grounding-Modelle konzentrieren sich ausschließlich auf die Wahrnehmung und spielen eine entscheidende Rolle in Composed Agents. Ihre Aufgabe ist es, rohe Screenshots in strukturierte Beschreibungen der Computerschnittstelle zu übersetzen. Sie reasonieren nicht über Ziele oder wählen Aktionen aus.
Screenshot → Grounding-Modell → Strukturierte UI-Darstellung
Ausgaben umfassen oft:
- Erkannte UI-Elemente
- Räumliche Positionen (Bounding Boxes)
- Semantische Labels (Button, Eingabefeld, Text)
- Extrahierter Text
Diese Darstellung wird an ein Planning-Modell übergeben.
Stärken
- Klare und inspizierbare Wahrnehmung
- Einfacher zu protokollieren und Fehler zu analysieren
- Verbesserte Transparenz
Einschränkungen
- Fehler pflanzen sich flussabwärts fort
- Empfindlich gegenüber visuellen Änderungen und dynamischen Layouts
- Schwierig, Konsistenz über viele Schritte hinweg aufrechtzuerhalten
Praktische Implikationen: Grounding ist oft das schwächste Glied in Composed-Systemen. Fehlende oder veraltete Elemente können Planning-Modelle in die Irre führen und wiederholte Fehler verursachen.
UI-Grounding-Benchmark: Warum Bildqualität wichtig ist
Um die Rolle der visuellen Wahrnehmung zu isolieren, beziehen wir uns auf einen fokussierten UI-Grounding-Benchmark, der bewertet, wie gut Modelle den exakten Pixelort eines UI-Elements aus einer Anweisung in natürlicher Sprache identifizieren.
Benchmark-Aufbau
- 100 Desktop-Screenshots
- 4 Aufgabentypen: einfach, relational, zustandsabhängig, dichte UI
- 5 Durchläufe pro Stichprobe zur Messung der Konsistenz
- Feste Auflösung: 2560×1440
Für einen detaillierteren Datensatz und Methodik besuchen Sie AIMultiple UI Grounding auf HuggingFace.
Fazit
Präzises UI-Grounding bleibt ein großer Engpass. Aktuelle Beweise zeigen, dass robuste visuelle Wahrnehmung und implizites UI-Verständnis wichtiger sind als enge UI-Spezialisierung, insbesondere für zuverlässige Computer-Use-Agents, die echte Desktops bedienen.
Planning-Modelle
Planning-Modelle bestimmen die nächsten Schritte. Sie arbeiten mit strukturierten UI-Daten, Aufgabenzielen und Interaktionsverläufen. Sie verarbeiten keine Rohbilder. Diese Modelle spielen eine entscheidende Rolle in der Composed-Agent-Architektur.
Strukturierte UI + Aufgabenziel → Planning-Modell → Nächste Aktion
Planning-Modelle können:
- Aufgaben in Schritte zerlegen
- Fortschritt verfolgen
- Regeln oder Heuristiken anwenden
- Reasoning explizit protokollieren
Herausforderungen in der Praxis
- Hohe Empfindlichkeit gegenüber Eingabefehlern
Falsches Grounding führt zu fehlerhaften Plänen. - Zustandsdrift im Laufe der Zeit
UI-Änderungen können frühere Annahmen ungültig machen. - Eingeschränkte Fehlerwiederherstellung
Ohne starkes Feedback können Planer in Schleifen geraten oder stecken bleiben. - Ausführungsabweichungen
Timing-, Fokus- oder Koordinationsfehler können Pläne brechen.
Praktische Implikationen: Planning-Modelle fügen Struktur und Transparenz hinzu, aber ihre Wirksamkeit hängt stark von genauer Wahrnehmung und zuverlässiger Ausführung ab.
Erklärung wichtiger Computer Use Agent-Funktionen
Laufzeitumgebung
Es definiert, wo der Computer-Use-Agent läuft und wie er das Betriebssystem steuert (Cloud-VM, lokaler Rechner oder containerbasierte Laufzeitumgebung).
Lokaler Systemzugriff
Dies zeigt, ob der Agent Dateien auf dem tatsächlichen Rechner des Benutzers lesen oder schreiben kann, nicht nur in einer Remote-Sandbox. Lokaler Zugriff ist nützlich für persönliche Workflows, wirft jedoch höhere Sicherheitsbedenken auf.
Was ist der allgemeine Kompromiss zwischen E2E- und Composed-Agents?
End-to-End-Agents sind derzeit zuverlässiger für die direkte Verwendung auf persönlichen Computern. Ihr einheitliches Design reduziert Koordinationsprobleme und Fehlerquellen.
Composed Agents sind nicht inhärent schwächer. Sie bieten mehr Flexibilität, Anpassungsmöglichkeiten und Interpretierbarkeit. Allerdings erfordern sie stärkeres Grounding, engeres Zustandsmanagement und sorgfältige Integration, um in realen Umgebungen gut zu performen.
Der Kernkompromiss liegt nicht in der Leistungsfähigkeit, sondern in Robustheit versus Kontrolle.
Was sind Computer Use Agents?
Computer Use Agents sind Systeme, die entwickelt wurden, um einen Computer ähnlich wie ein Mensch zu bedienen. Sie schauen auf den Bildschirm, entscheiden, was zu tun ist, und interagieren durch Aktionen wie Klicken, Tippen und Scrollen.
Auf den ersten Blick klingt dies einfach. In der Praxis ist es schwierig. Desktop-Umgebungen sind dynamisch. Schnittstellen ändern sich oft. Es gibt keine festen APIs oder stabilen Strukturen, auf die man sich verlassen kann. Diese Agents müssen von dem arbeiten, was sie auf dem Bildschirm sehen, und in Echtzeit darüber reasonieren.
Trotz unterschiedlicher Implementierungen folgen die meisten Computer Use Agents derselben grundlegenden Schleife:
Beobachten → Interpretieren → Entscheiden → Ausführen
Wie diese Schleife implementiert ist, bestimmt, wie stabil, flexibel und zuverlässig ein Agent im realen Einsatz ist.
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Computer Use Agents: Benchmark & Architektur}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/computer-use-agents}},
note = {AIMultiple. Abgerufen am 22. Juni 2026}
}
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.