AI-Agent-Plattformen-Benchmark: Claude Managed Agents vs Google Vertex Agent Engine

aktualisiert am 5. Mai 2026

Wir haben 4 AI-Agent-Plattformen in 3 Dimensionen getestet: Aufgabenabschluss (10 Codierungsaufgaben × 3 Durchläufe), harness-spezifische Fähigkeiten (Steuerung, Wiederherstellung, Erinnerung bei langen Gesprächen, Umgang mit großen Dateien) und Kosten.

Ergebnisse des AI-Agent-Plattformen-Benchmarks

Plattform	Modell	Bestehensquote	Wandzeit	Kosten	Token
Claude Managed Agents	Claude Sonnet 4.6	30/30 (100%)	1.172s	2,50 $	93k
Vertex AI Agent Engine	Gemini 2.5 Pro	30/30 (100%)	1.447s	1,45 $	159k
OpenAI Responses + CI	GPT-5.4	27/30 (90%)	522s	1,54 $	113k
Kontrolle (selbst gehostet)	Claude Sonnet 4.6	30/30 (100%)	794s	1,96 $	464k

Claude Managed Agents und Vertex AI Agent Engine erreichen beide eine Bestehensquote von 100 % im Aufgabensatz, wobei Vertex bei den Kosten gewinnt (1,45 $ vs. 2,50 $). Bei harness-spezifischen Funktionen, die nur in verwalteten Plattformen verfügbar sind, wie z. B. Steuerung während des Vorgangs, Trennung/Wiederherstellung, Komprimierung langer Gespräche, ist Claude Managed Agents am leistungsfähigsten, aber Vertex Agent Engine entspricht ihm bei den portablen Tests (Komprimierung, Umgang mit großen Dateien).

Wichtige Erkenntnisse aus dem Aufgaben-Benchmark

Claude MA und Vertex AE liegen bei der Bestehensquote mit 30/30 (100 %) gleichauf. Beide bewältigen alle Aufgabentypen, einschließlich Netzwerkaufgaben (06, 10), die OpenAI Schwierigkeiten bereiteten.
Die Fehler von OpenAI gehen auf seine Sandbox-Richtlinie zurück. Die Aufgaben 06 (REST API) und 10 (gleichzeitiger Downloader) erfordern beide ausgehende HTTP-Verbindungen. Die Sandbox von Code Interpreter schränkt dies ein, und beide fielen mit 2/3 bzw. 1/3 durch. Wir haben gesehen, dass GPT-5.4 den Code schreiben kann, aber die Sandbox ihn nicht zuverlässig ausführt.
Vertex AE ist mit insgesamt 1,45 $ am günstigsten. Claude MA ist mit 2,50 $ am teuersten. Es ist bei demselben Aufgabensatz und derselben Bestehensquote 72 % teurer als Vertex.
Vertex AE ist am langsamsten. Die verwaltete ADK-Orchestrierung fügt Overhead hinzu.

Harness-spezifische Fähigkeiten

Zwei Plattformen werden Kopf-an-Kopf bei Funktionen verglichen, die nur existieren, weil es ein verwaltetes Harness gibt.

Siehe den Benchmark Methodik unten.

AI-Agent-Plattformen

Claude Managed Agents

Anthropic's Claude Managed Agents bietet eine gehostete Agent-Laufzeitumgebung, die zustandsbehaftete Sitzungen, integrierte Tool-Ausführung, ereignisbasiertes Streaming und automatische Komprimierung für langlaufende autonome Workloads kombiniert. Die Plattform differenziert sich durch einzigartige Primitiven, die in vergleichbaren Angeboten nicht verfügbar sind, wie z. B. Injektion von Benutzerereignissen während des Vorgangs für die Steuerung während des Flugs, wiederherstellbare SSE-Streams für Trennung/Wiederherstellung und native MCP-Server-Integration. Alle werden als vollständig verwalteter Service ohne Infrastruktur bereitgestellt, die Entwickler bereitstellen müssen.¹

Die Preisgestaltung beträgt 0,08 $ pro Sitzungsstunde zusätzlich zu den Standardkosten für Claude API-Tokens.

Vorteile:

Zustandsbehaftete Sitzungen mit Injektion von Ereignissen während des Vorgangs ermöglichen es neuen Benutzernachrichten, Agenten während der laufenden Ausführung zu steuern.

Unterstützung für Trennung und Wiederherstellung über persistente SSE-Streams; Sitzungen werden serverseitig über Netzwerkaussetzer hinweg weiter ausgeführt, und Clients können den Ereignisverbrauch bei der Wiederherstellung fortsetzen.

Das integrierte Agent-Toolset bündelt bash, Dateioperationen (lesen, schreiben, bearbeiten, glob, grep) und Web-Tools (web_fetch, web_search), die über einen einzigen Konfigurationsparameter zugänglich sind, wodurch eine benutzerdefinierte Tool-Verkabelung entfällt.

Native MCP- (Model Context Protocol) Server-Integration für benutzerdefinierte Tool-Erweiterungen ohne Änderung des integrierten Toolsets des Agents.

Nachteile:

Aktuell in der Beta-Version; alle Anfragen erfordern den managed-agents-2026-04-01 Beta-Header, und das Verhalten kann sich zwischen den Releases verfeinern.
Nur Claude, keine Modellflexibilität im Vergleich zu Plattformen wie AWS Bedrock AgentCore oder Northflank, die mehrere Modellanbieter unterstützen.

Salesforce Agentforce

Salesforce Agentforce differenziert sich durch native CRM-Datenzugriffe über die Atlas Reasoning Engine und vorgefertigte Agenten für Verkaufs-, Service-, Marketing- und Commerce-Workflows.²

Die Plattform integriert sich mit MuleSoft Agent Fabric für die Orchestrierung übergreifender Systeme und bietet Agentforce 360 für AWS-Partnerschaften.

Agentforce dient Organisationen, die autonome, kundenorientierte Workflows benötigen, die direkt in ihre bestehende Salesforce Cloud-Infrastruktur eingebettet sind.

Vorteile:

– Nativer CRM-Datenzugriff über die Atlas Reasoning Engine ermöglicht kontextbewusste Agentenaktionen.

– Vorgefertigte Agenten für Vertrieb, Service, Marketing und Commerce reduzieren die Zeit bis zur Bereitstellung.

– FedRAMP-autorisiert auf Salesforce Government Cloud für regulierte Branchen.

– Die Foundations-Free-Tier umfasst 200.000 Flex-Credits für erste Tests.

Nachteile:

– Cloud-only SaaS ohne Option für die Bereitstellung vor Ort.

– Begrenzte Modellagnostik; Standardmäßig werden von Salesforce verwaltete Modelle mit eingeschränkter Unterstützung externer Anbieter verwendet.

– Erfordert eine bestehende Investition in das Salesforce-Ökosystem, um den vollen Wert zu realisieren.

Microsoft Copilot Studio

Vorteile:

– In Microsoft 365 Copilot-Lizenzen für die interne Agentennutzung ohne zusätzliche Kosten enthalten.³

– Echtzeit-Sprachagenten und IVR-Telefonie-Unterstützung für Kundenszenarien.

– FedRAMP-autorisiert durch Azure Government für Bereitstellungen im öffentlichen Sektor.

– Unterstützt OpenAI, Anthropic-Modelle und Open-Source-Frameworks in einer einzigen Build-Umgebung.

Nachteile:

– Begrenzte Funktionalität außerhalb des Microsoft-Ökosystems; erfordert Azure- oder M365-Verpflichtung für volle Funktionen.

– Kein eigenständiger permanenter Free-Tier; erfordert ein bestehendes M365 Copilot-Abonnement für die enthaltene Nutzung.

– Echtzeit-Sprach-AI-Modell wird ab April 2026 nur in Nordamerika gehostet.

Copilot Studio ist für Organisationen, die bereits Microsoft 365, Teams und Azure verwenden, am kosteneffizientesten und bietet mitarbeiterorientierte Automatisierung, die bestehende Identitäts-, Sicherheits- und Compliance-Konfigurationen erbt.

Google Agentspace und Vertex AI Agent Builder

Google's duales Angebot kombiniert Agentspace für das Unternehmenswissen-Management und Vertex AI Agent Builder für die Low-Code-Entwicklung, differenziert durch Gemini-Modellintegration, Google Workspace-kontextübergreifenden Kontext und multimodale Eingabeunterstützung für Text, Sprache und Bilder.⁴

Die Plattform bietet 300 $ an kostenlosen Guthaben für neue Benutzer und eine Pay-as-you-go-Preisgestaltung für Vertex AI Agent Engine.

Vorteile:

– 300 $ kostenloses Guthaben für neue Benutzer ermöglicht umfangreiche Prototypen ohne Vorabinvestition.

– Bereitstellung vor Ort wird über Google Distributed Cloud für regulierte Umgebungen unterstützt.

– FedRAMP-autorisiert durch Google Cloud.

– Google ADK (Agent Development Kit) unterstützt die Code-first-Entwicklung in Python, TypeScript, Go und Java.

Nachteile:

– Gemini-primäres Design begrenzt die Modellflexibilität im Vergleich zu vollständig agnostischen Plattformen.

AWS Bedrock Agents und AgentCore

AWS Bedrock Agents und die neuere AgentCore-Plattform bieten serverlose Infrastrukturverwaltung für unternehmensweite Agenten, die auf re:Invent 2025 eingeführt wurden.⁵

Zu den Differenzierungsmerkmalen gehören Pay-as-you-go-Preisgestaltung mit 0,0895 $ pro vCPU-Stunde für die AgentCore-Laufzeitumgebung, Optionen für bereitgestellten Durchsatz und Mem0 als exklusiver Speicheranbieter.

Vorteile:

– FedRAMP High autorisiert auf AWS GovCloud für sensible Workloads.

– Bidirektionales Streaming unterstützt Sprachagenten mit gleichzeitiger Sprache von Benutzer und Agent.

– Free-Tier für neue AWS-Kunden für erste Experimente verfügbar.

– Zugriff auf Modelle von Anthropic, Amazon, Meta, Mistral und AI21 über den Bedrock-Katalog.

Nachteile:

– Keine vorgefertigten domänenspezifischen Agentenvorlagen; erfordert den Aufbau von Grund auf mit SDK.

– Keine Option für die Bereitstellung vor Ort; läuft ausschließlich auf AWS-Infrastruktur.

– Der Aufbau von Agenten erfordert erhebliche API/SDK-Codierung im Vergleich zu visuellen Buildern.

AWS Bedrock dient Unternehmen, die eine skalierbare, serverlose Agenteninfrastruktur mit tiefer Integration in das AWS-Ökosystem benötigen und Kosteneffizienz durch granular nutzungsbasierte Abrechnung bieten.

IBM watsonx Orchestrate

IBM watsonx Orchestrate richtet sich an regulierte Unternehmen mit über 150 vorgefertigten domänenspezifischen Agenten für HR, Einkauf, Vertrieb und Finanzen sowie Skills Studio für die Erstellung benutzerdefinierter Fähigkeiten.⁶

Die Plattform bietet Hybrid-Cloud- und On-Premise-Bereitstellungsflexibilität durch IBM Cloud Pak for Data und Software Hub.

Vorteile:

– Installation vor Ort wird über IBM Cloud Pak for Data für Anforderungen an die Datenresidenz unterstützt.

– Über 150 vorgefertigte Agenten und Tools von IBM und Partnern, mit über 80 Integrationen in Unternehmensanwendungen, einschließlich SAP, Salesforce und Workday.

– FedRAMP-Autorisierung im April 2026 für Bundesbereitstellungen erweitert.

– Wahre Modellagnostik, die mehrere LLM-Anbieter ohne Vendor-Lock-in unterstützt.

Nachteile:

– Kein permanenter Free-Tier; erfordert ein bezahltes Essentials- oder Standard-Abonnement für die laufende Nutzung.

– Sprach- und Telefoniefunktionen sind in watsonx Orchestrate über native Sprachkonfiguration im ADK und Integrationen mit Anbietern wie Deepgram und ElevenLabs verfügbar, obwohl erweiterte Telefonie möglicherweise zusätzliche Konfiguration erfordert.

– Komplexe Preisstruktur, die für Unternehmensfunktionen individuelle Angebote erfordert.

ServiceNow AI Agents

ServiceNow AI Agents sind direkt in die Now Platform eingebettet und differenzieren sich durch native Integration in IT-, HR- und Kundenservice-Workflows anstatt als eigenständige Plattform zu operieren.

Die Plattform umfasst AI Control Tower für Governance, vorgefertigte agentic Workflows für ITSM und HRSD sowie eine Context Engine, die die Richtlinienhistorie mit Agentenaktionen verbindet.⁷

Vorteile:

– Erbt bestehende Now Platform-Governance, SLA-Regeln und Genehmigungsworkflows.

– AI Voice Agents unterstützen Genesys Cloud, Twilio und 3CLogic als CCaaS-Anbieter.

– AI Web Agents lernen aus menschlichen Demonstrationen, um browserbasierte Aufgaben zu automatisieren.

Nachteile:

– Kein permanenter Free-Tier; neue Kunden erhalten nur 100 kostenlose Build Agent-Aufrufe.

– FedRAMP High-Autorisierung für AI Agents, AI Agent Orchestrator und AI Agent Studio wurde ab März 2026 für Government Community Cloud (GCC)-Kunden bestätigt.

– Begrenzter Wert für Organisationen, die ServiceNow nicht bereits für IT- oder HR-Service-Management verwenden.

Kore.ai

Kore.ai konzentriert sich auf Enterprise-Conversational-AI mit über 300 vorgefertigten Agenten, über 250 Unternehmensintegrationen und einer modellagnostischen Architektur, die Cloud- und On-Premise-Bereitstellungen unterstützt.

Die Plattform bedient sechs vertikale Bereiche, einschließlich Banken, Gesundheitswesen und Einzelhandel.⁸

Vorteile:

– Native Sprachinfrastruktur für latenzarme globale Sprachinteraktionen.

– Flexible Bereitstellung, einschließlich On-Premises- und Private-Cloud-Optionen.

– Unterstützung mehrerer LLM-Anbieter.

Nachteile:

– Kein permanenter Free-Tier; bietet nur 500 $ an einmaligen Guthaben für erste Tests.

LangGraph

Vorteile:

– MIT-Open-Source-Lizenz ermöglicht uneingeschränkte kommerzielle Nutzung und Änderung.

– Deterministische Workflowsteuerung über Grapharchitektur gewährleistet reproduzierbare Ausführungspfade.

– LangSmith-Observability-Integration bietet Produktionsüberwachung und -verfolgung.

Nachteile:

– Kein visueller No-Code-Builder; erfordert Python- oder JavaScript-Code zur Definition von Agentengraphen.

– Keine native Sprach- oder Telefonieintegration; erfordert benutzerdefinierte Codierung für Sprachkanäle.

– Steile Lernkurve für Teams, die mit graphbasierten Programmierparadigmen nicht vertraut sind.

LangGraph eignet sich für Engineering-Teams, die produktionsreife Agenten entwickeln, die komplexe bedingte Logik, Fehlerwiederherstellung und Überprüfbarkeit einzelner Ausführungsschritte erfordern.

CrewAI

Vorteile:

– Rollenbasierte Abstraktion spiegelt menschliche Teamstrukturen für eine intuitive Agentenkoordination wider.

– Kostenloser Open-Source-Kern ohne Lizenzgebühren für selbst gehostete Bereitstellungen.

– Visueller Editor und AI Copilot im Free-Tier für nicht-technische Teammitglieder verfügbar.

Nachteile:

– Kein offizieller vom Anbieter verwalteter Vorlagenmarkt; verlässt sich auf Community-Beiträge.

– Code-first-Ansatz erfordert Python-Kenntnisse für die Agentenerstellung.

– Die Preisgestaltung für den Enterprise-Plan ist nur auf Anfrage verfügbar, was bei kleinen Teams im Vergleich zu anderen Open-Source-Optionen zu Budgetunsicherheit führen kann.

CrewAI ermöglicht die schnelle Prototypenerstellung von rollenbasierten Agentenpipelines, insbesondere für Dokumentenverarbeitung, Forschungsworkflows und Aufgaben zur mehrstufigen Inhaltsgenerierung.

n8n

n8n arbeitet unter einer Fair-Code-Lizenz (Sustainable Use License) und bietet über 400 native App-Connectoren mit visuellen AI-Knoten und selbst hostbarer Infrastruktur.

Vorteile:

– Die selbst gehostete Community Edition umfasst SSO SAML, LDAP, RBAC und verschlüsselte Geheimspeicher ohne Kosten.

– Native Unterstützung für LangChain und LlamaIndex innerhalb visueller Workflows.

– Visueller Workflow-Editor ermöglicht komplexe Automatisierung ohne Codierung.

Nachteile:

– Fair-Code-Lizenz erfordert eine bezahlte Lizenz für kommerzielles Hosting oder SaaS-Produkte.

– Kein natives Sprach- oder Telefonieknoten; erfordert externe API-Integration für Sprache.

– Keine bestätigte FedRAMP-Autorisierung.

n8n verbindet traditionelle Workflow-Automatisierung und AI-Agenten und dient technischen Business-Analysten und DevOps-Teams, die eine selbst gehostete Bereitstellung für Datenresidenz benötigen, während sie visuelle Build-Funktionen beibehalten.

Dify

Dify ist eine Open-Source-LLMOps-Plattform.

Die Plattform unterstützt RAG-Pipelines, Prompt-Engineering-Tools und eine modellagnostische Architektur.

Vorteile:

– Die selbst gehostete Community Edition ist dauerhaft kostenlos mit voller Datenkontrolle über Docker-Bereitstellung.

– Visueller Workflow-Builder ermöglicht die Erstellung komplexer Agenten ohne Codierung.

– Unterstützt Hunderte von proprietären und Open-Source-LLMs von Dutzenden von Inferenzanbietern.

Nachteile:

– Sprachunterstützung erfordert Marketplace-Plugins wie Agora oder Tencent RTC; keine native PSTN-Telefonie.

– Keine FedRAMP-Autorisierung.

– Der Cloud Team-Plan mit 159 $ pro Monat kann für kleine Teams kostspielig sein.

Dify eignet sich für Produkt- und Betriebsteams, die dokumentenbewusste Agenten mit starken RAG-Fähigkeiten benötigen, insbesondere solche, die die Datenkontrolle durch Selbsthosting priorisieren.

Voiceflow

Voiceflow differenziert sich als die einzige große Plattform, die Voice-First-Agent-Design als First-Class-Bürger und nicht als Add-on behandelt, mit einer speziell entwickelten Design-Leinwand für Sprach- und Chat-Agenten mit Latenz unter 500 ms.

Die Plattform ist auf die Automatisierung von Kundenservice-Tickets und IVR-Systeme spezialisiert.

Vorteile:

– Native Sprach- und Telefoniekanäle mit IVR-Unterstützung und Latenz unter 500 ms.

– Entitätsextraktionsfähigkeiten für Wissensdatenbankabfragen.

– Der Free-Plan umfasst 2 Agenten und 100 monatliche AI-Tokens ohne Ablaufdatum.

– Visuelle Leinwand, die speziell für Conversational-AI-Workflows entwickelt wurde.

Nachteile:

– Bereitstellung vor Ort nur über individuelle Unternehmensvereinbarungen verfügbar.

Voiceflow dient CX- und Support-Teams, die kundenorientierte konversationelle Agenten entwickeln, die eine Bereitstellung über Sprach-, Chat- und Messaging-Kanäle aus einer einzigen Designoberfläche erfordern.

Relevance AI

Relevance AI bietet Bring-Your-Own-LLM (BYOLLM)-Flexibilität mit einem auf Aktionen basierenden Abrechnungsmodell, das nicht-technischen Teams ermöglicht, Multi-Agent-Teams durch natürliche Sprachbeschreibungen zu erstellen.

Vorteile:

– Der Free-Tier umfasst 100 Credits pro Tag ohne Ablaufdatum.

– Über 2.000 Integrationen, einschließlich HubSpot, Salesforce, Slack und Gmail.

– Wahre Modellagnostik, die mehrere LLM-Anbieter unterstützt.

Nachteile:

– Keine Selbsthosting- oder On-Premise-Bereitstellungsoptionen; Cloud-only SaaS.

– Keine FedRAMP-Autorisierung für regulierte Branchen.

– Sprachfunktionen erfordern die Integration mit Vapi oder Twilio anstelle von nativer Telefonie.

Lindy AI

Lindy AI bietet verschiedene Integrationen über Pipedream, vorgefertigte Agentenvorlagen für E-Mail-Triage und Terminplanung sowie Telefonanruf-Agentenfunktionen über die Gaia-Sprachfunktion.⁹

Die Plattform verwendet ein kreditbasiertes Ausführungsmodell mit einem verfügbaren Free-Tier.

Vorteile:

– Der Free-Tier umfasst 400 Credits pro Monat und eine Wissensdatenbank mit 1 Million Zeichen.

– Wahre Modellagnostik und umfangreiche Integrationsbibliothek.

Nachteile:

– Bereitstellung vor Ort nur über individuelle Unternehmensvereinbarungen für regulierte Branchen verfügbar.

Am besten für einzelne Geschäftsanwender, Gründer und Betriebsteams, die eine schnelle Automatisierung von E-Mail-, Kalender- und CRM-Workflows ohne Engineering-Ressourcen benötigen.

Methodik

Was liefert eine verwaltete AI-Agent-Plattform tatsächlich im Vergleich zu ihren Wettbewerbern und im Vergleich zur Alternative, ein eigenes Agent-Harness zu erstellen? Der AI-Tooling-Bereich hat hier eine anhaltende Blindstelle. „Verwaltete Agent"-Produkte werden routinemäßig mit denselben Aufgabenabschluss-Scorecards verglichen, die für reine Sprachmodelle verwendet werden, was zwei sehr unterschiedliche Dinge vermischt: die Fähigkeit des Modells, korrekten Code zu generieren, und die Fähigkeit des Harness, diesen Code in einer verwalteten Laufzeitumgebung mit Zustand, Tools und Isolation zuverlässig auszuführen. Wir haben diesen Benchmark entwickelt, um diese Signale zu trennen.

Was ist eine verwaltete Agent-Plattform?

Wir testen eine spezifische Kategorie: gehostete Laufzeitumgebungen, die LLM-Inferenz, Agenten-Orchestrierung und sandgeboxte Codeausführung in einem einzigen verwalteten Service bündeln. Dies unterscheidet sich von (1) rohen LLM-Inferenz APIs, (2) Agenten-Orchestrierungs-Frameworks, die Sie selbst hosten, und (3) Compute-Sandboxes, die Sie mit Ihrem eigenen Modell kombinieren. Die vier getesteten Plattformen haben jeweils eine leicht andere Form dieses Bündels:

Claude Managed Agents (Anthropic): Vollständiges verwaltetes Harness. Agentendefinitionen, Sitzungen, ereignisbasiertes Streaming, Komprimierung und Tool-Ausführung sind alle serverseitig. Einer von zwei echten Wettbewerbern in dieser Kategorie.
Vertex AI Agent Engine (Google): Vollständiges verwaltetes Harness. Stellen Sie einen ADK-definierten Agenten in einer verwalteten Laufzeitumgebung bereit; die Bereitstellung hostet den Agentenzustand und die Tool-Ausführung. Zugänglich über das vertexai.agent_engines SDK.
OpenAI Responses API mit Code Interpreter: Angrenzende Kategorie. Inferenz API mit einem integrierten Python-Sandbox-Tool, aber ohne persistenten Multi-Turn-Sitzungszustand oder Steuerung während des Vorgangs.
Kontrolle: Claude Messages API mit einer lokalen Tool-Schleife: Als Basis enthalten. Dasselbe Modell wie Claude MA (claude-sonnet-4-6), aber wir implementieren die Agentenschleife lokal in ca. 150 Zeilen Python. Tools (bash, write, read, edit) werden in einem pro-Aufgabe tempdir auf dem Benchmark-Computer ausgeführt. Dies isoliert, was das verwaltete Harness über „Modell plus Tool-Schleife" hinaus beiträgt. Die Ausführung der Messages API mit einer lokalen Agentenschleife erzeugt einen Vergleich, bei dem das Modell identisch ist, aber das Harness fehlt. Jede Abweichung zwischen Claude MA und der Kontrolle ist ausschließlich dem Harness und nicht der Modellfähigkeit zuzuschreiben.

Der Aufgabensatz

Zehn Codierungsaufgaben in drei Schwierigkeitsstufen. Jede Aufgabe hat einen festen Prompt, der das Lieferprodukt spezifiziert, ein Verifikationsskript, das deterministische Bestanden/Nicht-bestanden-Kriterien codiert. Jede Aufgabe wird dreimal pro Plattform ausgeführt, um die Varianz zu messen.

Entdecken Sie weitere unserer Benchmarks und datengestützten Erkenntnisse in der Google-Suche.

Als bevorzugte Quelle hinzufügen

Harness-spezifische Stresstests

Der Aufgabensatz misst die End-to-End-Korrektheit. Er kann keine Fähigkeiten messen, die nur wegen eines verwalteten Harness existieren: zustandsbehaftete Sitzungspersistenz, Steuerung während des Vorgangs, Verbindungswiederherstellung, automatische Kontextkomprimierung und verwaltetes Dateisystem-Artefakt-Handling. Für diese haben wir zwei zusätzliche Testsuiten entwickelt.

Suite A: Steuerung & Unterbrechung

Drei Tests, die harness-spezifische Primitiven ausüben.

A1 startet einen Agenten bei einer Codierungsaufgabe, injiziert dann nach 10 Sekunden ein neues Benutzerereignis über POST /events, das die Anforderungen ändert, und verifiziert durch Inspektion des Container-Dateisystems, dass das endgültige Artefakt die neue Anforderung und nicht die ursprüngliche widerspiegelt.

A2 öffnet einen SSE-Stream, bricht die Verbindung nach vier Ereignissen ab, stellt die Verbindung wieder her und verifiziert, dass die Sitzung den status_idle erreicht.

A3 sendet einen absichtlich widersprüchlichen Prompt und misst, ob der Agent um Klärung bittet oder stillschweigend eine Interpretation wählt.

Nur A3 ist plattformübergreifend portabel. A1's Injektion von Ereignissen während des Vorgangs hat kein direktes Äquivalent bei OpenAI Responses (einzelne Anfrage/Antwort) oder Vertex Agent Engine (Sitzungsmodell fehlt Injektion von Nachrichten während des Flugs). A2's Trennung/Wiederherstellung hat ebenfalls kein Äquivalent anderswo. Dies sind echte strukturelle Vorteile des ereignisgesteuerten Sitzungsmodells von Claude MA, die bei den Alternativen nicht getestet werden können. Wir haben A1 und A2 nur auf Claude MA und A3 sowohl auf Claude MA als auch auf Vertex Agent Engine ausgeführt.

Suite B: Komprimierung & Kontext

Zwei Tests, die verwaltete Kontextfunktionen ausüben.

B1 pflanzt eine eindeutige Kanarierzeichenfolge (ein von einer UUID abgeleitetes Token) im ersten Durchgang einer Sitzung, führt 23 Füll-Durchgänge mit unrelated kleinen Codierungsaufgaben durch, die jeweils Tool-Aufrufe und Tool-Ergebnisse produzieren, und fragt dann den Agenten, den Kanarier aus dem Gedächtnis im 25. Durchgang ohne Dateisuche zu erinnern. Eine erfolgreiche Erinnerung nach 23 Füll-Durchgängen ist ein Beweis dafür, dass das Harness den frühen Kontext durch jede Komprimierungsrichtlinie bewahrt, die es verwendet.

B2 bittet den Agenten, eine 50.000-Zeilen-Textdatei mit einem vergrabenen Marker zu generieren und dann eine Frage zu beantworten, die das Finden des Markers erfordert. Dies testet, ob der Agent über Artefakte größer als sein Kontextfenster reasoning kann, ohne versucht, die gesamte Datei zu lesen.

Sowohl B1 als auch B2 wurden sowohl auf Claude MA als auch auf Vertex Agent Engine mit denselben Prompts und Protokollen ausgeführt.

LLM-als-Richter für Verhaltensbewertung

Für Suite A3 (Widersprüche) ist Bestanden/Nicht-bestanden keine deterministische Prüfung; wir behandelten „hat der Agent um Klärung gebeten" als qualitative Beurteilung des konversationellen Verhaltens. Wir verwenden ein LLM-als-Richter-Design mit drei methodologischen Schutzmaßnahmen:

Das Richtermodell ist anders als das getestete Modell: Claude Opus 4.6 ist der Richter, um Selbstbewertungsverzerrung zu vermeiden.
Strukturierte Rubrik mit 4 booleschen Dimensionen: Der Richter gibt JSON-Bewertung zurück: recognized_contradiction, asked_for_clarification, proceeded_with_assumption, documented_assumption und ein einabsätziger Begründungstext.
3-Durchlauf-Konsistenzprüfung: Jede Beurteilung wird 3-mal ausgeführt. Wir berichten über Mehrheitskonsens pro Dimension und Übereinstimmungsrate pro Dimension. Wenn die Übereinstimmung einer Dimension unter 67 % fällt, wird der Richter als inkonsistent in dieser Dimension gekennzeichnet, und das Ergebnis wird als geringe Zuverlässigkeit behandelt.

Ein Keyword-Heuristik läuft parallel als Sanity-Check. Abweichungen zwischen der Heuristik und dem Richter werden zur manuellen Überprüfung protokolliert.

Bewertung

Für jeden Aufgabendurchlauf auf jeder Plattform:

Bestanden/Nicht-bestanden
Wandzeit: Verstrichene Sekunden vom Senden des Prompts bis zum Empfangen des Terminal-Ereignisses (status_idle für Claude MA, Aufgabenabschluss für Vertex AE, Antwortabschluss für OpenAI, Tool-Schleifen-Ausgang für Kontrolle).
Anzahl der Tool-Aufrufe: Unterschiedliche Tool-Aufrufe. Nützlich als Verhaltensfingerprint; weniger nützlich als Effizienzmetrik, da die Tool-Granularität zwischen den Plattformen erheblich variiert.
Token-Verbrauch: Geparst aus model_request_end-Ereignissen auf Claude MA, usage_metadata auf Vertex AE, response.usage auf OpenAI, pro-Durchlauf-Akkumulation in der Nachrichtenschleife der Kontrolle. Aufgeteilt in Eingabe, Ausgabe, Cache-Lesezugriff und Cache-Erstellung.
Kosten in USD: Berechnet aus dem Token-Verbrauch gegen veröffentlichte Preise: claude-sonnet-4-6 bei 3 $/15 $/0,30 $/3,75 $ pro Million; gpt-5.4 bei 2,50 $/15 $/0,25 $; gemini-2.5-pro bei 1,25 $/10 $/0,13 $. Plattformspezifische Infrastrukturgebühren werden hinzugefügt: Claude MA's 0,08 $/Sitzungsstunde anteilig nach Wandzeit, OpenAI's 0,03 $/Container, wenn ein Tool-Aufruf erfolgte, Vertex AE's ca. 0,35 $/Stunde Hosting-Gebühr anteilig nach Bereitstellungs-Laufzeit.

Suite A- und B-Ergebnisse erfassen zusätzlich Sitzungslevel-Metriken (Durchgänge, Kanarier-Erinnerung, Richter-Konsens und Übereinstimmung).

Fairness-Überlegungen und bekannte Einschränkungen

Mehrere Asymmetrien in der Einrichtung beeinflussen, wie die Zahlen zu lesen sind; explizit darauf hinweisen:

Die Kontrolle führt die Tool-Ausführung auf dem Benchmark-Computer ohne Cloud-Roundtrip durch. Dies gibt ihr einen unfairen Wandzeitvorteil, der nicht die Agentengeschwindigkeit, sondern eher das Überspringen des Netzwerks widerspiegelt. Wenn wir beobachten, dass die Kontrolle Aufgaben etwa 25 % schneller als Claude MA auf demselben Modell abschließt, liegt etwa die Hälfte dieser Lücke in der Roundtrip-Asymmetrie.

OpenAI Code Interpreter operiert in einer netzwerkeingeschränkten Sandbox. Die Aufgaben 06 (REST API) und 10 (gleichzeitiger Downloader) erfordern ausgehende HTTP-Verbindungen, die CI nur intermittierend zulässt. Die Fehler von OpenAI bei diesen Aufgaben sind Sandbox-Richtlinienfehler, keine Modellfähigkeitsfehler. GPT-5.4 kann korrekten gleichzeitigen HTTP-Code schreiben; die Plattform kann ihn nicht immer ausführen. Leser sollten „OpenAI fällt bei Netzwerkaufgaben" nicht als Aussage über das Modell interpretieren.

Gemini 3.1-pro-preview ist hinter projektbezogener Vorschau-Listung gesperrt. Wir haben versucht, dieses Modell sowohl über die direkte Vertex API als auch über die Vertex Agent Engine zu testen. Direkte API-Aufrufe gaben 404 zurück; Agent Engine-Bereitstellungen mit dem Modell waren zum Bereitstellungszeitpunkt erfolgreich, aber Inferenzaufrufe gaben keine Ereignisse ohne Fehler zurück. Wir sind auf gemini-2.5-pro zurückgefallen.

Eine Suite mehrstündiger Refactoring-Aufgaben, Debugging in unbekannten Codebasen oder langlaufende autonome Workflows würden die Harnesses unterschiedlich belasten und wahrscheinlich die Top-Optionen klarer trennen.

Wir haben keine Bereitstellungs-Latenz, Cold-Start-Verhalten, Leistung bei gleichzeitigen Sitzungen oder Rate-Limit-Obergrenzen gemessen. Diese sind wichtig für hochdurchsatzproduktive Workloads, lagen aber außerhalb des Rahmens dieser Runde.

Funktionen, die allen AI-Agent-Plattformen gemeinsam sind

Jede Plattform in diesem Vergleich bietet Basisfunktionen, die die AI-Agent-Kategorie definieren. Diese gemeinsamen Funktionen stellen das Minimum Viable Product für agentic Automatisierung dar, während differenzierende Funktionen die Plattformausswahl bestimmen.

Multi-Agent-Orchestrierung: Alle Plattformen unterstützen Multi-Agent-Orchestrierung, obwohl die Implementierung variiert (siehe einzelne Plattformabschnitte oben).

Tool-Nutzung und externe Integrationen: Agenten auf jeder Plattform können externe APIs, Datenbanken und Geschäftsanwendungen aufrufen. Die Anzahl der vorgefertigten Connectoren reicht von ca. 50 (Dify) bis 2.000+ (Relevance AI), wobei alle Plattformen benutzerdefinierte API-Definitionen unterstützen.

Persistenter Speicher und Kontextmanagement: Das Behalten von Informationen innerhalb von Sitzungen (Kurzzeitspeicher) und über Sitzungen hinweg (Langzeitspeicher) ist eine Standardfunktion, die je nach Plattform durch Vektordatenbanken, Sitzungsobjekte oder konfigurierbare Kontextfenster erreicht wird.

Überwachung und Observability: Jede Plattform stellt Protokolle, Traces oder Analysen zur Inspektion der Agentenausführung, Verfolgung des Token-Verbrauchs und der Latenz sowie zur Identifizierung von Fehlern bereit.

Menschliche Aufsicht und Genehmigungskontrollen: Mechanismen für menschliche Überprüfung, Genehmigung oder Überschreibung von Agentenaktionen sind auf jeder Plattform vorhanden. Beispiele sind n8n's pro-Tool-Genehmigungstore, LangGraph Interrupt-and-Resume-Primitiven, Bedrock AgentCore-Richtlinienkontrollen, ServiceNow AI Control Tower und Lindy's automatische Eskalation.

Wissensdatenbank und Retrieval-Augmented Generation (RAG): Das Fundieren von Agenten in benutzerdefiniertem Wissen durch Dokumentenindexierung und -abruf ist eine Basisfunktion der Kategorie. Implementierungen umfassen Dify RAG-Pipeline, Voiceflow Knowledge Base, Bedrock Knowledge Bases, Vertex AI RAG Engine und Kore.ai Search AI.

No-Code- oder Low-Code-Agenten-Builderschnittstelle: Grafische oder natürliche Sprachschnittstellen für die Agentenerstellung sind auf jeder Plattform verfügbar. Unternehmensplattformen bieten No-Code-Studios (Agentforce Builder, Copilot Studio, watsonx Orchestrate), während Entwickler-Frameworks begleitende visuelle Tools bereitstellen (LangGraph Studio, AutoGen Studio, CrewAI Studio).

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

Şevval Alper (2026) - "AI-Agent-Plattformen-Benchmark: Claude Managed Agents vs Google Vertex Agent Engine". Online veröffentlicht auf AIMultiple.com. Abgerufen am 5. Mai 2026, von: https://aimultiple.com/ai-agent-platforms [Online-Ressource]

Alper, Ş. (2026, 5. Mai). AI-Agent-Plattformen-Benchmark: Claude Managed Agents vs Google Vertex Agent Engine. AIMultiple. https://aimultiple.com/ai-agent-platforms

@misc{alper2026,
  author = {Alper, Şevval},
  title  = {{AI-Agent-Plattformen-Benchmark: Claude Managed Agents vs Google Vertex Agent Engine}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/ai-agent-platforms}},
  note   = {AIMultiple. Abgerufen am 5. Mai 2026}
}