KI-Agenten-Plattformen-Benchmark: Claude Managed Agents vs. Google Vertex Agent Engine

Wir haben 4 KI-Agenten-Plattformen in 3 Dimensionen bewertet: Aufgabenabschluss (10 Programmieraufgaben × 3 Läufe), harness-spezifische Fähigkeiten (Steuerung, Wiederverbindung, Erinnerung an lange Konversationen, Verarbeitung großer Dateien) und Kosten.

Ergebnisse des KI-Agenten-Plattformen-Benchmarks

Claude Managed Agents und Vertex KI Agent Engine erreichen beide eine Bestehensquote von 100 % in der Aufgabensuite, wobei Vertex bei den Kosten gewinnt ($1.45 vs. $2.50). Bei harness-spezifischen Funktionen, die nur in verwalteten Plattformen verfügbar sind, wie Mid-Stream-Steuerung, Trennen/Wiederverbinden, Komprimierung langer Konversationen, ist Claude Managed Agents am leistungsfähigsten, während Vertex Agent Engine bei den portablen Tests (Komprimierung, Verarbeitung großer Dateien) gleichzieht.

Wichtigste Erkenntnisse aus dem Aufgaben-Benchmark

1. Claude MA und Vertex AE lagen bei der Bestehensquote mit 30/30 (100 %) gleichauf. Beide bewältigen alle Aufgabentypen, einschließlich Netzwerkaufgaben (06, 10), die OpenAI scheitern ließen.
2. OpenAIs Misserfolge sind auf die Sandbox-Richtlinie zurückzuführen. Die Aufgaben 06 (REST-API) und 10 (gleichzeitiger Downloader) erfordern beide ausgehendes HTTP. Die Sandbox von Code Interpreter schränkt dies ein, und beide scheiterten mit 2/3 bzw. 1/3. Wir sahen, dass GPT-5.4 den Code schreiben kann, aber die Sandbox ihn nicht zuverlässig ausführt.
3. Vertex AE ist mit insgesamt $1.45 am günstigsten. Claude MA ist mit $2.50 am teuersten. Das sind 72 % mehr als Vertex bei derselben Aufgabensuite und gleicher Bestehensquote.
4. Vertex AE ist am langsamsten. Die verwaltete ADK-Orchestrierung verursacht Mehraufwand.

Harness-spezifische Fähigkeiten

Zwei Plattformen werden direkt miteinander verglichen, und zwar bei Funktionen, die nur existieren, weil es einen verwalteten Harness gibt.

Siehe die Methodik unten.

KI-Agenten-Plattformen

Claude Managed Agents

Anthropics Claude Managed Agents bietet eine gehostete Agentenlaufzeit, die zustandsbehaftete Sitzungen, integrierte Tool-Ausführung, ereignisbasiertes Streaming und automatische Komprimierung für langlebige autonome Workloads kombiniert. Die Plattform differenziert sich durch einzigartige Primitive, die in vergleichbaren Angeboten nicht verfügbar sind, wie Mid-Stream-Benutzer-Ereignisinjektion für Steuerung während der Ausführung, fortsetzbare SSE-Streams für Trennen/Wiederverbinden und native MCP-Server-Integration. Alles wird als vollständig verwalteter Dienst bereitgestellt, ohne dass Entwickler Infrastruktur bereitstellen müssen.¹

Die Preisgestaltung beträgt $0.08 pro Sitzungsstunde zusätzlich zu den standardmäßigen Claude-API-Tokenkosten.

Vorteile:

• Zustandsbehaftete Sitzungen mit Mid-Stream-Event-Injektion ermöglichen es, Agenten über neue Benutzernachrichten während der laufenden Ausführung zu steuern.
• Unterstützung für Trennen und Wiederverbinden über persistente SSE-Streams; Sitzungen werden bei Netzwerkunterbrechungen serverseitig weiter ausgeführt, und Clients können die Ereignisverarbeitung bei der Wiederverbindung fortsetzen.
• Das integrierte Agenten-Toolset bündelt Bash, Dateioperationen (read, write, edit, glob, grep) und Web-Tools (web_fetch, web_search), die über einen einzigen Konfigurationsparameter zugänglich sind und so die individuelle Tool-Verdrahtung überflüssig machen.
• Native MCP-Server-Integration (Model Context Protocol) für benutzerdefinierte Tool-Erweiterungen, ohne das integrierte Toolset des Agenten zu verändern.

Nachteile:

• Derzeit in der Beta-Phase; alle Anfragen erfordern den managed-agents-2026-04-01-Beta-Header, und das Verhalten kann sich zwischen den Releases verfeinern.
• Nur Claude, keine Modellflexibilität im Vergleich zu Plattformen wie AWS Bedrock AgentCore oder Northflank, die mehrere Modellanbieter unterstützen.

Salesforce Agentforce

Salesforce Agentforce differenziert sich durch nativen CRM-Datenzugriff über die Atlas Reasoning Engine und vorgefertigte Agenten für Vertriebs-, Service-, Marketing- und Commerce-Workflows.²

Die Plattform integriert sich mit MuleSoft Agent Fabric für systemübergreifende Orchestrierung und bietet Agentforce 360 für AWS-Partnerschaften.

Agentforce richtet sich an Unternehmen, die autonome, kundenorientierte Workflows benötigen, die direkt in ihre bestehende Salesforce-Cloud-Infrastruktur eingebettet sind.

Vorteile:

– Nativer CRM-Datenzugriff über die Atlas Reasoning Engine ermöglicht kontextbewusste Agentenaktionen.

– Vorgefertigte Agenten für Vertrieb, Service, Marketing und Commerce verkürzen die Zeit bis zur Bereitstellung.

– FedRAMP-autorisiert in der Salesforce Government Cloud für regulierte Branchen.

– Die Foundations-kostenlos-Stufe umfasst 200.000 Flex Credits für erste Tests.

Nachteile:

– Nur Cloud-SaaS, ohne Option für lokale Bereitstellung.

– Begrenzte Modellunabhängigkeit; standardmäßig Salesforce-verwaltete Modelle mit eingeschränkter Unterstützung externer Anbieter.

– Erfordert bestehende Investitionen in das Salesforce-Ökosystem, um den vollen Wert zu realisieren.

Microsoft Copilot Studio

Vorteile:

– In Microsoft-365-Copilot-Lizenzen für die interne Agentennutzung ohne zusätzliche Kosten enthalten.³

– Echtzeit-Sprachagenten und IVR-Telefonie-Unterstützung für Kundenservice-Szenarien.

– FedRAMP-autorisiert über Azure Government für Bereitstellungen im öffentlichen Sektor.

– Unterstützt OpenAI- und Anthropic-Modelle sowie Open-Source-Frameworks in einer einzigen Build-Umgebung.

Nachteile:

– Eingeschränkte Funktionalität außerhalb des Microsoft-Ökosystems; erfordert Azure- oder M365-Bindung für den vollen Funktionsumfang.

– Keine eigenständige dauerhafte kostenlos-Stufe; erfordert bestehendes M365-Copilot-Abonnement für enthaltene Nutzung.

– Das Echtzeit-Sprach-KI-Modell wird ab April 2026 nur in Nordamerika gehostet.

Copilot Studio ist für Unternehmen, die bereits Microsoft 365, Teams und Azure nutzen, am kosteneffizientesten und bietet mitarbeiterorientierte Automatisierung, die bestehende Identitäts-, Sicherheits- und Compliance-Konfigurationen übernimmt.

Google Agentspace and Vertex KI Agent Builder

Googles duales Angebot kombiniert Agentspace für das Enterprise-Wissensmanagement und Vertex KI Agent Builder für die Low-Code-Entwicklung, differenziert durch Gemini-Modellintegration, Google-Workspace-produktübergreifenden Kontext und multimodale Eingabeunterstützung für Text, Sprache und Bilder.⁴

Die Plattform bietet neue Nutzer $300 an kostenlos-Guthaben und eine Pay-as-you-go-Preisgestaltung für Vertex KI Agent Engine.

Vorteile:

– $300 kostenlos-Guthaben für neue Nutzer ermöglicht umfangreiches Prototyping ohne Vorabinvestition.

– Lokale Bereitstellung wird über Google Distributed Cloud für regulierte Umgebungen unterstützt.

– FedRAMP-autorisiert über Google Cloud.

– Google ADK (Agent Development Kit) unterstützt Code-First-Entwicklung in Python, TypeScript, Go und Java.

Nachteile:

– Das auf Gemini ausgerichtete Design schränkt die Modellflexibilität im Vergleich zu vollständig agnostischen Plattformen ein.

AWS Bedrock Agents and AgentCore

AWS Bedrock Agents und die neuere AgentCore-Plattform bieten serverloses Infrastrukturmanagement für Agenten im Unternehmensmaßstab, eingeführt auf der re:Invent 2025.⁵

Zu den Unterscheidungsmerkmalen gehören die Pay-as-you-go-Preisgestaltung von $0.0895 pro vCPU-Stunde für die AgentCore-Laufzeit, Optionen für bereitgestellten Durchsatz und Mem0 als exklusiver Speicheranbieter.

Vorteile:

– FedRAMP High autorisiert in AWS GovCloud für sensible Workloads.

– Bidirektionales Streaming unterstützt Sprachagenten mit gleichzeitiger Sprache von Benutzer und Agent.

– Eine Free-Stufe ist für neue AWS-Kunden für erste Experimente verfügbar.

– Zugriff auf Modelle von Anthropic, Amazon, Meta, Mistral und AI21 über den Bedrock-Katalog.

Nachteile:

– Keine vorgefertigten domänenspezifischen Agentenvorlagen; erfordert die Erstellung von Grund auf mit dem SDK.

– Keine lokale Bereitstellungsoption; läuft ausschließlich auf AWS-Infrastruktur.

– Die Erstellung von Agenten erfordert im Vergleich zu visuellen Buildern erhebliche API/SDK-Programmierung.

AWS Bedrock richtet sich an Unternehmen, die eine skalierbare, serverlose Agenteninfrastruktur mit tiefer Integration in das AWS-Ökosystem benötigen, und bietet Kosteneffizienz durch granulare nutzungsbasierte Abrechnung.

IBM watsonx Orchestrate

IBM watsonx Orchestrate richtet sich an regulierte Unternehmen mit mehr als 150 vorgefertigten domänenspezifischen Agenten für HR, Beschaffung, Vertrieb und Finanzen sowie mit Skills Studio zur Erstellung benutzerdefinierter Skills.⁶

Die Plattform bietet hybride Cloud- und lokale Bereitstellungsflexibilität durch IBM Cloud Pak for Data und Software Hub.

Vorteile:

– Lokale Installation wird über IBM Cloud Pak for Data für Anforderungen an den Datenverbleib unterstützt.

– Mehr als 150 vorgefertigte Agenten und Tools von IBM und Partnern, mit über 80 Unternehmensanwendungs-Integrationen, einschließlich SAP, Salesforce und Workday.

– Die FedRAMP-Autorisierung wurde im April 2026 für Bundesbehörden-Bereitstellungen erweitert.

– Echte Modellunabhängigkeit mit Unterstützung mehrerer LLM-Anbieter ohne Vendor-Lock-in.

Nachteile:

– Keine dauerhafte kostenlos-Stufe; erfordert ein kostenpflichtiges Essentials- oder Standard-Abonnement für die fortlaufende Nutzung.

– Sprach- und Telefoniefunktionen sind in watsonx Orchestrate über native Sprachkonfiguration im ADK und Integrationen mit Anbietern wie Deepgram und ElevenLabs verfügbar, auch wenn fortgeschrittene Telefonie möglicherweise zusätzliche Konfiguration erfordert.

– Komplexe Preisstruktur, die für Enterprise-Funktionen individuelle Angebote erfordert.

ServiceNow KI Agents

ServiceNow KI Agents sind direkt in die Now Platform eingebettet und differenzieren sich durch native Integration mit IT-, HR- und Kundenservice-Workflows, statt als eigenständige Plattform zu fungieren.

Die Plattform umfasst KI Control Tower für Governance, vorgefertigte agentische Workflows für ITSM und HRSD sowie eine Context Engine, die Richtlinienverläufe mit Agentenaktionen verbindet.⁷

Vorteile:

– Übernimmt bestehende Governance-, SLA-Regeln und Genehmigungsworkflows der Now Platform.

– KI Voice Agents unterstützen Genesys Cloud, Twilio und 3CLogic als CCaaS-Anbieter.

– KI Web Agents lernen aus menschlichen Demonstrationen, um browserbasierte Aufgaben zu automatisieren.

Nachteile:

– Keine dauerhafte kostenlos-Stufe; Neukunden erhalten nur 100 kostenlos Build-Agent-Aufrufe.

– Die FedRAMP-High-Autorisierung für KI Agents, KI Agent Orchestrator und KI Agent Studio wurde für Kunden der Government Community Cloud (GCC) ab März 2026 bestätigt.

– Begrenzter Wert für Unternehmen, die ServiceNow nicht bereits für das IT- oder HR-Service-Management nutzen.

Kore.ai

Kore.ai konzentriert sich auf KI für Unternehmenskonversationen mit mehr als 300 vorgefertigten Agenten, über 250 Unternehmensintegrationen und einer modellunabhängigen Architektur, die Cloud- und lokale Bereitstellungen unterstützt.

Die Plattform bedient sechs Branchen, darunter Bankwesen, Gesundheitswesen und Einzelhandel.⁸

Vorteile:

– Native Sprachinfrastruktur für globale Sprachinteraktionen mit niedriger Latenz.

– Flexible Bereitstellung, einschließlich lokaler und privater Cloud-Optionen.

– Unterstützung mehrerer LLM-Anbieter.

Nachteile:

– Keine dauerhafte kostenlos-Stufe; bietet nur $500 als einmaliges Guthaben für erste Tests.

LangGraph

Vorteile:

– Die MIT-Open-Source-Lizenz erlaubt uneingeschränkte kommerzielle Nutzung und Modifikation.

– Deterministische Workflow-Steuerung über die Graph-Architektur gewährleistet reproduzierbare Ausführungspfade.

– Die LangSmith-Observability-Integration bietet Produktionsüberwachung und Tracing.

Nachteile:

– Kein visueller No-Code-Builder; erfordert Python- oder JavaScript-Code zur Definition von Agentengraphen.

– Keine native Sprach- oder Telefonie-Integration; erfordert benutzerdefinierte Programmierung für Sprachkanäle.

– Steile Lernkurve für Teams, die mit graphbasierten Programmierparadigmen nicht vertraut sind.

LangGraph eignet sich für Engineering-Teams, die produktionsreife Agenten erstellen, die komplexe bedingte Logik, Fehlerbehebung und Nachvollziehbarkeit einzelner Ausführungsschritte erfordern.

CrewAI

Vorteile:

– Die rollenbasierte Abstraktion spiegelt menschliche Teamstrukturen für intuitive Agentenkoordination wider.

– Freier Open-Source-Kern ohne Lizenzgebühren für selbst gehostete Bereitstellungen.

– Visueller Editor und KI-Copilot sind in der kostenlos-Stufe für nicht-technische Teammitglieder verfügbar.

Nachteile:

– Kein offizieller, vom Anbieter gepflegter Vorlagen-Marktplatz; stützt sich auf Community-Beiträge.

– Der Code-First-Ansatz erfordert Python-Kenntnisse für die Agentenerstellung.

– Die Preise für den Enterprise-Plan sind nur auf Anfrage erhältlich, was bei kleinen Teams im Vergleich zu anderen Open-Source-Optionen zu Budgetunsicherheit führen kann.

CrewAI ermöglicht schnelles Prototyping rollenbasierter Agenten-Pipelines, insbesondere geeignet für Dokumentenverarbeitung, Forschungsworkflows und mehrstufige Aufgaben zur Inhaltserstellung.

n8n

n8n läuft unter einer Fair-Code-Lizenz (Sustainable Use License) und bietet über 400 native App-Konnektoren mit visuellen KI-Knoten und selbst hostbarer Infrastruktur.

Vorteile:

– Die selbst gehostete Community Edition umfasst SSO-SAML, LDAP, RBAC und verschlüsselte Secret-Speicher ohne Kosten.

– Native Unterstützung für LangChain und LlamaIndex in visuellen Workflows.

– Der visuelle Workflow-Editor ermöglicht komplexe Automatisierung ohne Programmierung.

Nachteile:

– Die Fair-Code-Lizenz erfordert eine kostenpflichtige Lizenz für kommerzielles Hosting oder SaaS-Produkte.

– Kein nativer Sprach- oder Telefonie-Knoten; erfordert externe API-Integration für Sprache.

– Keine bestätigte FedRAMP-Autorisierung.

n8n schlägt eine Brücke zwischen traditioneller Workflow-Automatisierung und KI-Agenten und dient technischen Business-Analysten sowie DevOps-Teams, die eine selbst gehostete Bereitstellung für den Datenverbleib benötigen und gleichzeitig visuelle Build-Fähigkeiten beibehalten möchten.

Dify

Dify ist eine Open-Source-LLMOps-Plattform.

Die Plattform unterstützt RAG-Pipelines, Prompt-Engineering-Tools und eine modellunabhängige Architektur.

Vorteile:

– Die selbst gehostete Community Edition ist dauerhaft kostenlos mit voller Datenkontrolle durch Docker-Bereitstellung.

– Der visuelle Workflow-Builder ermöglicht die Erstellung komplexer Agenten ohne Programmierung.

– Unterstützt Hunderte proprietäre und Open-Source-LLMs von Dutzenden von Inference-Anbietern.

Nachteile:

– Sprachunterstützung erfordert Marketplace-Plugins wie Agora oder Tencent RTC; keine native PSTN-Telefonie.

– Keine FedRAMP-Autorisierung.

– Der Cloud-Team-Plan für $159 pro Monat kann für kleine Teams kostspielig sein.

Dify eignet sich für Produkt- und Operations-Teams, die dokumentbewusste Agenten mit starken RAG-Fähigkeiten benötigen, insbesondere solche, die Datenkontrolle durch Self-Hosting priorisieren.

Voiceflow

Voiceflow differenziert sich als einzige große Plattform, die Voice-First-Agentendesign als Bürger erster Klasse und nicht als Add-on behandelt, und verfügt über eine speziell entwickelte Design-Leinwand für Sprach- und Chat-Agenten mit einer Latenz von unter 500ms.

Die Plattform ist auf die Automatisierung von Kundenservice-Tickets und IVR-Systeme spezialisiert.

Vorteile:

– Native Sprach- und Telefoniekanäle mit IVR-Unterstützung und einer Latenz von unter 500ms.

– Entity-Extraction-Fähigkeiten für Wissensdatenbank-Abfragen.

– Der Free-Plan umfasst 2 Agenten und 100 monatliche KI-Tokens ohne Ablaufdatum.

– Visuelle Leinwand, die speziell für konversationelle KI-Workflows entwickelt wurde.

Nachteile:

– Lokale Bereitstellung nur über individuelle Enterprise-Vereinbarungen verfügbar.

Voiceflow dient CX- und Support-Teams, die kundenorientierte konversationelle Agenten erstellen, die über eine einzige Design-Oberfläche in Sprach-, Chat- und Messaging-Kanälen bereitgestellt werden müssen.

Relevance KI

Relevance KI bietet Bring-your-own-LLM-Flexibilität (BYOLLM) mit einem aktionsbasierten Abrechnungsmodell und ermöglicht es nicht-technischen Teams, Multi-Agenten-Teams durch Beschreibungen in natürlicher Sprache zu erstellen.

Vorteile:

– Die Free-Stufe umfasst 100 Credits pro Tag ohne Ablaufdatum.

– Über 2.000 Integrationen, darunter HubSpot, Salesforce, Slack und Gmail.

– Echte Modellunabhängigkeit mit Unterstützung mehrerer LLM-Anbieter.

Nachteile:

– Keine Self-Hosting- oder lokalen Bereitstellungsoptionen; nur Cloud-SaaS.

– Keine FedRAMP-Autorisierung für regulierte Branchen.

– Sprachfunktionen erfordern die Integration mit Vapi oder Twilio statt nativer Telefonie.

Lindy KI

Lindy KI bietet verschiedene Integrationen über Pipedream, vorgefertigte Agentenvorlagen für E-Mail-Triage und Terminplanung sowie Telefonanruf-Agentenfunktionen über die Gaia-Sprachfunktion.⁹

Die Plattform verwendet ein kreditbasiertes Ausführungsmodell mit verfügbarer kostenlos-Stufe.

Vorteile:

– Die Free-Stufe umfasst 400 Credits pro Monat und eine Wissensdatenbank mit 1 Million Zeichen.

– Echte Modellunabhängigkeit und umfangreiche Integrationsbibliothek.

Nachteile:

– Lokale Bereitstellung nur über individuelle Enterprise-Vereinbarungen für regulierte Branchen verfügbar.

Am besten geeignet für einzelne Business-Anwender, Gründer und Operations-Teams, die eine schnelle Automatisierung von E-Mail-, Kalender- und CRM-Workflows ohne Engineering-Ressourcen benötigen.

Methodik

Was liefert eine verwaltete KI-Agenten-Plattform tatsächlich gegenüber ihren Wettbewerbern und gegenüber der Alternative, einen eigenen Agenten-Harness zu bauen? Der KI-Tooling-Bereich hat hier einen hartnäckigen blinden Fleck. „Managed Agent“-Produkte werden routinemäßig anhand derselben Aufgabenabschluss-Scorecards verglichen, die für reine Sprachmodelle verwendet werden, was zwei sehr unterschiedliche Dinge vermischt: die Fähigkeit des Modells, korrekten Code zu generieren, und die Fähigkeit des Harness, diesen Code zuverlässig in einer verwalteten Laufzeit mit Zustand, Tools und Isolation auszuführen. Wir haben diesen Benchmark entwickelt, um diese Signale zu trennen.

Was ist eine verwaltete Agentenplattform?

Wir bewerten eine bestimmte Kategorie: gehostete Laufzeiten, die LLM-Inferenz, Agentenorchestrierung und sandboxed Code-Ausführung zu einem einzigen verwalteten Dienst bündeln. Dies unterscheidet sich von (1) reinen LLM-Inferenz-APIs, (2) Agentenorchestrierungs-Frameworks, die Sie selbst hosten, und (3) Compute-Sandboxes, die Sie mit Ihrem eigenen Modell kombinieren. Die vier getesteten Plattformen nehmen jeweils eine etwas andere Form dieses Bündels an:

• Claude Managed Agents (Anthropic): Vollständig verwalteter Harness. Agentendefinitionen, Sitzungen, ereignisbasiertes Streaming, Komprimierung und Tool-Ausführung sind alle serverseitig. Einer von zwei echten Wettbewerbern in dieser Kategorie.
• Vertex KI Agent Engine (Google): Vollständig verwalteter Harness. Stellen Sie einen ADK-definierten Agenten in einer verwalteten Laufzeit bereit; die Bereitstellung hostet den Agentenzustand und die Tool-Ausführung. Zugriff über das vertexai.agent_engines SDK.
• OpenAI Responses API mit Code Interpreter: Angrenzende Kategorie. Inferenz-API mit integriertem Python-Sandbox-Tool, aber ohne persistenten Multi-Turn-Sitzungszustand oder Mid-Stream-Steuerung.
• Kontrolle: Claude Messages API mit lokalem Tool-Loop: Als Baseline enthalten. Dasselbe Modell wie Claude MA (claude-sonnet-4-6), aber wir implementieren den Agenten-Loop lokal in ~150 Python-Zeilen. Tools (bash, write, read, edit) werden in einem temporären Verzeichnis pro Aufgabe auf der Benchmark-Maschine ausgeführt. Dies isoliert, was der verwaltete Harness über „Modell plus Tool-Loop“ hinaus beiträgt. Die Ausführung der Messages-API mit einem lokalen Agenten-Loop ergibt einen Vergleich, bei dem das Modell identisch ist, aber der Harness fehlt. Jede Abweichung zwischen Claude MA und der Kontrolle ist vollständig auf den Harness zurückzuführen, nicht auf die Modellfähigkeit.

Die Aufgabensuite

Zehn Programmieraufgaben in drei Schwierigkeitsstufen. Jede Aufgabe hat einen festen Prompt, der das Ergebnis spezifiziert, sowie ein Verifikationsskript, das deterministische Bestehen-/Nichtbestehen-Kriterien kodiert. Jede Aufgabe wird pro Plattform dreimal ausgeführt, um die Varianz zu messen.

Harness-spezifische Belastungstests

Die Aufgabensuite misst die End-to-End-Korrektheit. Sie kann Fähigkeiten, die nur durch einen verwalteten Harness existieren, nicht messen: zustandsbehaftete Sitzungspersistenz, Mid-Stream-Steuerung, Verbindungswiederaufnahme, automatische Kontextkomprimierung und verwaltete Dateisystem-Artefaktbehandlung. Für diese haben wir zwei zusätzliche Testsuiten entwickelt.

Suite A: Steuerung & Unterbrechung

Drei Tests, die harness-spezifische Primitive ausüben.

A1 startet einen Agenten mit einer Programmieraufgabe, injiziert dann nach 10 Sekunden ein neues Benutzerereignis über POST /events, das die Anforderungen ändert, und überprüft durch Inspektion des Container-Dateisystems, dass das endgültige Artefakt die neue Anforderung und nicht die ursprüngliche widerspiegelt.

A2 öffnet einen SSE-Stream, trennt die Verbindung nach vier Ereignissen, verbindet erneut und überprüft, ob die Sitzung immer noch status_idle erreicht.

A3 sendet einen bewusst widersprüchlichen Prompt und misst, ob der Agent um Klärung bittet oder stillschweigend eine Interpretation wählt.

Nur A3 ist plattformübergreifend portabel. Die Mid-Stream-Event-Injektion von A1 hat kein direktes Äquivalent bei OpenAI Responses (einzelne Anfrage/Antwort) oder Vertex Agent Engine (das Sitzungsmodell unterstützt keine In-Flight-Nachrichteninjektion). Das Trennen/Wiederverbinden von A2 hat ebenfalls kein Äquivalent anderswo. Dies sind echte strukturelle Vorteile des ereignisgesteuerten Sitzungsmodells von Claude MA und bei den Alternativen nicht benchmarkbar. Wir haben A1 und A2 nur auf Claude MA ausgeführt und A3 sowohl auf Claude MA als auch auf Vertex Agent Engine.

Suite B: Komprimierung & Kontext

Zwei Tests, die Funktionen für verwalteten Kontext ausüben.

B1 platziert eine eindeutige Canary-Zeichenkette (ein UUID-abgeleiteter Token) in der ersten Runde einer Sitzung, führt 23 Füllrunden mit unzusammenhängenden kleinen Programmieraufgaben aus, die jeweils Tool-Aufrufe und Tool-Ergebnisse erzeugen, und fordert den Agenten dann in der 25th Runde auf, den Canary aus dem Gedächtnis abzurufen, ohne dass eine Dateisuche erlaubt ist. Erfolgreicher Abruf nach 23 Füllrunden ist ein Beleg dafür, dass der Harness frühen Kontext durch seine Komprimierungsrichtlinie bewahrt.

B2 fordert den Agenten auf, eine Textdatei mit 50.000-Zeilen und einem versteckten Marker zu erzeugen und dann eine Frage zu beantworten, die das Auffinden des Markers erfordert. Dies testet, ob der Agent über Artefakte nachdenken kann, die größer als sein Kontextfenster sind, ohne zu versuchen, die gesamte Datei zu lesen.

Sowohl B1 als auch B2 wurden sowohl auf Claude MA als auch auf Vertex Agent Engine mit denselben Prompts und Protokollen ausgeführt.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

LLM-as-judge für Verhaltensbewertung

Für Suite A3 (Widersprüche) ist Bestehen/Nichtbestehen kein deterministischer Check; wir behandelten die Frage „Hat der Agent um Klärung gebeten?“ als qualitatives Urteil über das Gesprächsverhalten. Wir verwenden ein LLM-as-Judge-Design mit drei methodischen Schutzmaßnahmen:

1. Das Richtermodell unterscheidet sich vom getesteten Modell: Claude Opus 4.6 ist der Richter, um eine Selbstbewertungsverzerrung zu vermeiden.
2. Strukturierte Rubrik mit 4 booleschen Dimensionen: Der Richter liefert eine JSON-Bewertung: recognized_contradiction, asked_for_clarification, proceeded_with_assumption, documented_assumption und eine einabsätzige Begründung.
3. Konsistenzcheck über 3 Läufe: Jedes Urteil wird 3-mal ausgeführt. Wir berichten den Mehrheitskonsens pro Dimension und die Übereinstimmungsrate pro Dimension. Wenn die Übereinstimmung einer Dimension unter 67 % fällt, wird der Richter in dieser Dimension als inkonsistent markiert und das Ergebnis als geringes Vertrauen behandelt.

Eine Keyword-Heuristik läuft parallel als Plausibilitätscheck. Abweichungen zwischen Heuristik und Richter werden zur manuellen Überprüfung protokolliert.

Bewertung

Für jeden Aufgabenlauf auf jeder Plattform:

• Bestehen/Nichtbestehen
• Wall-Zeit: Verstrichene Sekunden vom Senden des Prompts bis zum Empfang des Terminal-Ereignisses (status_idle für Claude MA, Aufgabenabschluss für Vertex AE, Antwortabschluss für OpenAI, Tool-Loop-Exit für die Kontrolle).
• Anzahl der Tool-Aufrufe: Einzelne Tool-Aufrufe. Nützlich als Verhaltensfingerabdruck; weniger nützlich als Effizienzmetrik, da die Granularität der Tools zwischen den Plattformen erheblich variiert.
• Token-Nutzung: Geparst aus model_request_end-Ereignissen bei Claude MA, usage_metadata bei Vertex AE, response.usage bei OpenAI, schrittweise Akkumulation im Nachrichten-Loop der Kontrolle. Aufgeschlüsselt in Eingabe, Ausgabe, Cache-Lesen und Cache-Erstellung.
• Kosten in USD: Berechnet aus der Token-Nutzung anhand der veröffentlichten Preise: claude-sonnet-4-6 zu $3/$15/$0.30/$3.75 pro Million; gpt-5.4 zu $2.50/$15/$0.25; gemini-2.5-pro zu $1.25/$10/$0.13. Plattformspezifische Infrastrukturgebühren kommen hinzu: Claude MAs $0.08/Sitzungsstunde, anteilig nach Wall-Zeit, OpenAIs $0.03/Container, wenn ein Tool-Aufruf erfolgte, und die Hosting-Gebühr von Vertex AE von etwa $0.35/Stunde, anteilig nach der Bereitstellungslaufzeit.

Die Ergebnisse von Suite A und B erfassen zusätzlich sitzungsbezogene Metriken (Runden, Canary-Recall, Richter-Konsens und Übereinstimmung).

Fairness-Überlegungen und bekannte Einschränkungen

Mehrere Asymmetrien im Setup beeinflussen, wie die Zahlen zu lesen sind; wir weisen explizit darauf hin:

Die Kontrolle führt die Tool-Ausführung auf der Benchmark-Maschine ohne Cloud-Round-Trip aus. Dies verschafft ihr einen unfairen Wall-Zeit-Vorteil, der weniger die Agentengeschwindigkeit als das Überspringen des Netzwerks widerspiegelt. Wenn wir beobachten, dass die Kontrolle Aufgaben ~25 % schneller als Claude MA mit demselben Modell abschließt, ist etwa die Hälfte dieser Lücke auf die Round-Trip-Asymmetrie zurückzuführen.

OpenAI Code Interpreter arbeitet in einer netzwerkbeschränkten Sandbox. Die Aufgaben 06 (REST-API) und 10 (gleichzeitiger Downloader) erfordern ausgehendes HTTP, das CI nur unregelmäßig zulässt. Die Misserfolge von OpenAI bei diesen Aufgaben sind Fehler der Sandbox-Richtlinie und keine Fehler der Modellfähigkeiten. GPT-5.4 kann korrekten gleichzeitigen HTTP-Code schreiben; die Plattform kann ihn nur nicht immer ausführen. Leser sollten „OpenAI scheitert bei Netzwerkaufgaben“ nicht als Aussage über das Modell interpretieren.

Gemini 3.1-pro-preview ist hinter projektbezogenem Preview-Allowlisting gesperrt. Wir haben versucht, dieses Modell sowohl über die direkte Vertex-API als auch über die Vertex Agent Engine zu benchmarken. Direkte API-Aufrufe lieferten 404; Agent Engine-Bereitstellungen mit dem Modell waren zum Bereitstellungszeitpunkt erfolgreich, aber Inference-Aufrufe lieferten null Ereignisse ohne Fehler. Wir sind auf gemini-2.5-pro zurückgefallen.

Eine Suite mehrstündiger Refactoring-Aufgaben, das Debuggen in unbekannten Codebasen oder langlebige autonome Workflows würden die Harnesse anders belasten und die Top-Optionen wahrscheinlich klarer trennen.

Wir haben Bereitstellungslatenz, Kaltstartverhalten, Leistung bei gleichzeitigen Sitzungen oder Rate-Limit-Obergrenzen nicht gemessen. Diese sind für Produktions-Workloads mit hohem Durchsatz wichtig, lagen aber außerhalb des Umfangs dieser Runde.

Gemeinsame Funktionen aller KI-Agenten-Plattformen

Jede Plattform in diesem Vergleich bietet Basisfunktionen, die Kategorie der KI-Agenten definieren. Diese gemeinsamen Funktionen bilden das Minimum Viable Product für agentische Automatisierung, während Unterscheidungsmerkmale die Plattformwahl bestimmen.

Multi-Agenten-Orchestrierung: Alle Plattformen unterstützen Multi-Agenten-Orchestrierung, auch wenn die Implementierung variiert (siehe die einzelnen Plattformabschnitte oben).

Tool-Nutzung und externe Integrationen: Agenten auf jeder Plattform können externe APIs, Datenbanken und Geschäftsanwendungen aufrufen. Die Anzahl vorgefertigter Konnektoren reicht von ungefähr 50 (Dify) bis 2.000+ (Relevance KI), wobei alle Plattformen benutzerdefinierte API-Definitionen unterstützen.

Persistenter Speicher und Kontextmanagement: Das Behalten von Informationen innerhalb von Sitzungen (Kurzzeitgedächtnis) und über Sitzungen hinweg (Langzeitgedächtnis) ist eine Standardfähigkeit, die je nach Plattform durch Vektordatenbanken, Sitzungsobjekte oder konfigurierbare Kontextfenster erreicht wird.

Monitoring und Observability: Jede Plattform stellt Logs, Traces oder Analysen zur Inspektion der Agentenausführung, zur Verfolgung von Token-Nutzung und Latenz sowie zur Erkennung von Fehlern bereit.

Menschliche Aufsicht und Genehmigungskontrollen: Mechanismen für menschliche Überprüfung, Genehmigung oder Übersteuerung von Agentenaktionen sind auf jeder Plattform vorhanden. Beispiele sind die Tool-bezogenen Genehmigungs-Gates von n8n, die Interrupt-and-Resume-Primitive von LangGraph, Richtlinienkontrollen von Bedrock AgentCore, ServiceNow KI Control Tower und die automatische Eskalation von Lindy.

Wissensdatenbank und Retrieval-Augmented Generation (RAG): Das Verankern von Agenten in benutzerdefiniertem Wissen durch Dokumentenindizierung und -abruf ist eine Basisfähigkeit in der gesamten Kategorie. Implementierungen umfassen die Dify-RAG-Pipeline, Voiceflow Knowledge Base, Bedrock Knowledge Bases, Vertex KI RAG Engine und Kore.ai Search KI.

No-Code- oder Low-Code-Builder-Schnittstelle für Agenten: Grafische oder natürlichsprachliche Schnittstellen zur Agentenerstellung sind auf jeder Plattform verfügbar. Enterprise-Plattformen bieten No-Code-Studios (Agentforce Builder, Copilot Studio, watsonx Orchestrate), während Entwickler-Frameworks begleitende visuelle Tools bereitstellen (LangGraph Studio, AutoGen Studio, CrewAI Studio).

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{alper2026,
  author = {Alper, Şevval},
  title  = {{KI-Agenten-Plattformen-Benchmark: Claude Managed Agents vs. Google Vertex Agent Engine}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/ai-agent-platforms}},
  note   = {AIMultiple. Abgerufen am 14. August 2026}
}

Referenzlinks

1.

Claude Managed Agents overview - Claude Platform Docs

2.

Agentforce: The AI Agent Platform | Salesforce

3.

Microsoft 365 Copilot Pricing – AI Agents | Copilot Studio

4.

Gemini Enterprise Agent Platform (formerly Vertex AI) | Google Cloud

5.

Amazon Bedrock AgentCore - AWS

6.

IBM watsonx Orchestrate Agent Catalog

7.

AI Agents - ServiceNow 

8.

Agentic AI Applications for the Enterprise | Kore.ai

Kore.ai

9.

Pricing - Lindy

Şevval Alper

KI-Forscher

Folgen auf

Şevval ist Branchenanalystin bei AIMultiple und spezialisiert auf KI-Codierungswerkzeuge, KI-Agenten und Quantentechnologien.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten