KI-Agentenplattformen-Benchmark: Claude Managed Agents vs Google Vertex Agent Engine

Wir haben 4 KI-Agentenplattformen in 3 Dimensionen verglichen: Aufgabenabschluss (10 Programmieraufgaben × 3 Läufe), harness-spezifische Funktionen (Steuerung, Wiederverbindung, Abruf langer Gespräche, Umgang mit großen Dateien) und Kosten.

Ergebnisse des KI-Agentenplattformen-Benchmarks

Claude Managed Agents und Vertex AI Agent Engine erreichen beide eine Erfolgsquote von 100 % in der Aufgabensuite, wobei Vertex bei den Kosten gewinnt ($1,45 gegenüber $2,50). Bei harness-spezifischen Funktionen, die nur bei verwalteten Plattformen verfügbar sind – etwa Mid-Stream-Steuerung, Trennen/Neuverbinden, Kompaktierung langer Gespräche – ist Claude Managed Agents am leistungsfähigsten, aber Vertex Agent Engine ist bei den portablen Tests (Kompaktierung, Umgang mit großen Dateien) gleichauf.

Wichtigste Ergebnisse des Aufgaben-Benchmarks

1. Claude MA und Vertex AE lagen bei der Erfolgsquote mit 30/30 (100 %) gleichauf. Beide bewältigen alle Aufgabentypen, einschließlich der Netzwerkaufgaben (06, 10), die OpenAI scheitern ließen.
2. Die Fehlschläge von OpenAI liegen in der Sandbox-Richtlinie. Die Aufgaben 06 (REST-API) und 10 (gleichzeitiger Downloader) erfordern beide ausgehendes HTTP. Die Sandbox des Code Interpreters schränkt dies ein, und beide schlugen 2/3 bzw. 1/3 fehl. Wir haben gesehen, dass GPT-5.4 den Code schreiben kann, aber die Sandbox ihn nicht zuverlässig ausführt.
3. Vertex AE ist mit insgesamt $1,45 am günstigsten. Claude MA ist mit $2,50 am teuersten. Es ist 72 % teurer als Vertex bei derselben Aufgabensuite und gleicher Erfolgsquote.
4. Vertex AE ist am langsamsten. Die verwaltete ADK-Orchestrierung verursacht Overhead.

Harness-spezifische Funktionen

Zwei Plattformen werden direkt hinsichtlich Funktionen verglichen, die nur existieren, weil es einen verwalteten Harness gibt.

Siehe die Benchmark-Methodik unten.

KI-Agentenplattformen

Claude Managed Agents

Anthropics Claude Managed Agents bietet eine gehostete Agentenlaufzeit, die zustandsbehaftete Sitzungen, integrierte Tool-Ausführung, ereignisbasiertes Streaming und automatische Kompaktierung für lang laufende autonome Workloads kombiniert. Die Plattform differenziert sich durch einzigartige Primitive, die in vergleichbaren Angeboten nicht verfügbar sind – etwa Injektion von Benutzerereignissen während des Streamings zur Steuerung im laufenden Betrieb, fortsetzbare SSE-Streams zum Trennen/Wiederverbinden und native MCP-Serverintegration. Sie werden alle als vollständig verwalteter Dienst bereitgestellt, ohne dass Entwickler Infrastruktur bereitstellen müssen.¹

Die Preisgestaltung beträgt $0,08 pro Sitzungsstunde zusätzlich zu den standardmäßigen Claude-API-Tokenkosten.

Vorteile:

• Zustandsbehaftete Sitzungen mit Injektion von Ereignissen während des Streamings ermöglichen es neuen Benutzernachrichten, Agenten während der laufenden Ausführung zu steuern.
• Unterstützung für Trennen und Wiederverbinden über persistente SSE-Streams; Sitzungen werden bei Netzwerkunterbrechungen serverseitig weiter ausgeführt, und Clients können den Ereigniskonsum beim Wiederverbinden fortsetzen.
• Das integrierte Agenten-Toolset bündelt Bash, Dateioperationen (Lesen, Schreiben, Bearbeiten, Glob, Grep) und Web-Tools (web_fetch, web_search), die über einen einzigen Konfigurationsparameter zugänglich sind, und macht so das Verkabeln benutzerdefinierter Tools überflüssig.
• Native MCP-Integration (Model Context Protocol) für benutzerdefinierte Tool-Erweiterungen, ohne das integrierte Toolset des Agenten zu verändern.

Nachteile:

• Derzeit in der Beta-Phase; alle Anfragen erfordern den Beta-Header managed-agents-2026-04-01, und das Verhalten kann sich zwischen den Releases ändern.
• Claude-exklusiv, keine Modellflexibilität im Vergleich zu Plattformen wie AWS Bedrock AgentCore oder Northflank, die mehrere Modellanbieter unterstützen.

Salesforce Agentforce

Salesforce Agentforce differenziert sich durch nativen CRM-Datenzugriff über die Atlas Reasoning Engine und vorgefertigte Agenten für Vertrieb, Service, Marketing und Commerce-Workflows.²

Die Plattform integriert sich mit MuleSoft Agent Fabric für systemübergreifende Orchestrierung und bietet Agentforce 360 für AWS-Partnerschaften.

Agentforce richtet sich an Organisationen, die autonome kundenorientierte Workflows benötigen, die direkt in ihre bestehende Salesforce-Cloud-Infrastruktur eingebettet sind.

Vorteile:

– Nativer CRM-Datenzugriff über die Atlas Reasoning Engine ermöglicht kontextbewusste Agentenaktionen.

– Vorgefertigte Agenten für Vertrieb, Service, Marketing und Commerce verkürzen die Zeit bis zur Bereitstellung.

– FedRAMP-autorisiert in der Salesforce Government Cloud für regulierte Branchen.

– Der Foundations-free-Tarif enthält 200.000 Flex Credits für erste Tests.

Nachteile:

– Nur Cloud-SaaS ohne lokale Bereitstellungsoption.

– Eingeschränkte Modellunabhängigkeit; standardmäßig Salesforce-verwaltete Modelle mit eingeschränkter Unterstützung externer Anbieter.

– Erfordert Investitionen in das bestehende Salesforce-Ökosystem, um den vollen Nutzen zu erzielen.

Microsoft Copilot Studio

Vorteile:

– Enthalten in Microsoft 365 Copilot-Lizenzen für den internen Agenteneinsatz ohne zusätzliche Kosten.³

– Echtzeit-Sprachagenten und IVR-Telefonie-Unterstützung für Kundenservice-Szenarien.

– FedRAMP-autorisiert über Azure Government für Bereitstellungen im öffentlichen Sektor.

– Unterstützt OpenAI, Anthropic-Modelle und Open-Source-Frameworks in einer einzigen Build-Umgebung.

Nachteile:

– Eingeschränkte Funktionalität außerhalb des Microsoft-Ökosystems; erfordert Azure- oder M365-Verpflichtung für den vollen Funktionsumfang.

– Kein eigenständiger dauerhafter free-Tarif; erfordert ein bestehendes M365-Copilot-Abo für die enthaltene Nutzung.

– Echtzeit-Sprach-KI-Modell wird ab April 2026 nur in Nordamerika gehostet.

Copilot Studio ist am kosteneffizientesten für Organisationen, die bereits Microsoft 365, Teams und Azure nutzen, und bietet mitarbeiterorientierte Automatisierung, die bestehende Identitäts-, Sicherheits- und Compliance-Konfigurationen übernimmt.

Googles Agentspace und Vertex AI Agent Builder

Googles duales Angebot kombiniert Agentspace für unternehmensweites Wissensmanagement und Vertex AI Agent Builder für Low-Code-Entwicklung, differenziert durch Gemini-Modellintegration, Google Workspace-produktübergreifenden Kontext und multimodale Eingabeunterstützung für Text, Sprache und Bilder.

Die Plattform bietet $300 in free-Credits für neue Nutzer und Pay-as-you-go-Preise für Vertex AI Agent Engine.

Vorteile:

– $300 free-Guthaben für neue Nutzer ermöglicht umfangreiches Prototyping ohne Vorabinvestition.

– Lokale Bereitstellung über Google Distributed Cloud für regulierte Umgebungen wird unterstützt.

– FedRAMP-autorisiert über Google Cloud.

– Das Google ADK (Agent Development Kit) unterstützt Code-First-Entwicklung in Python, TypeScript, Go und Java.

Nachteile:

– Gemini-lastiges Design schränkt die Modellflexibilität im Vergleich zu vollständig agnostischen Plattformen ein.

AWS Bedrock Agents und AgentCore

AWS Bedrock Agents und die neuere AgentCore-Plattform bieten serverloses Infrastrukturmanagement für Agenten auf Unternehmensebene, vorgestellt auf der re:Invent 2025.⁴

Zu den Unterscheidungsmerkmalen gehören Pay-as-you-go-Preise von $0,0895 pro vCPU-Stunde für die AgentCore-Laufzeit, Optionen für bereitgestellten Durchsatz und Mem0 als exklusiver Speicheranbieter.

Vorteile:

– FedRAMP High-autorisiert in AWS GovCloud für sensible Workloads.

– Bidirektionales Streaming unterstützt Sprachagenten mit gleichzeitigem Sprechen von Nutzer und Agent.

– Kostenlose Stufe für neue AWS-Kunden für erste Experimente verfügbar.

– Zugriff auf Modelle von Anthropic, Amazon, Meta, Mistral und AI21 über den Bedrock-Katalog.

Nachteile:

– Keine vorgefertigten domänenspezifischen Agentenvorlagen; erfordert den Aufbau von Grund auf mit dem SDK.

– Keine lokale Bereitstellungsoption; läuft ausschließlich auf AWS-Infrastruktur.

– Das Erstellen von Agenten erfordert im Vergleich zu visuellen Buildern erhebliche API/SDK-Programmierung.

AWS Bedrock richtet sich an Unternehmen, die eine skalierbare, serverlose Agenteninfrastruktur mit tiefer Integration in das AWS-Ökosystem benötigen, und bietet Kosteneffizienz durch granulare nutzungsbasierte Abrechnung.

IBM watsonx Orchestrate

IBM watsonx Orchestrate richtet sich an regulierte Unternehmen mit über 150 vorgefertigten domänenspezifischen Agenten für HR, Beschaffung, Vertrieb und Finanzen sowie Skills Studio zur Erstellung benutzerdefinierter Skills.⁵

Die Plattform bietet Hybrid-Cloud- und lokale Bereitstellungsflexibilität über IBM Cloud Pak for Data und Software Hub.

Vorteile:

– Lokale Installation über IBM Cloud Pak for Data für Anforderungen an Datenresidenz wird unterstützt.

– Über 150 vorgefertigte Agenten und Tools von IBM und Partnern, mit über 80 Integrationen für Unternehmensanwendungen, darunter SAP, Salesforce und Workday.

– Die FedRAMP-Autorisierung wurde im April 2026 für Bundesbereitstellungen erweitert.

– Echte Modellagnostik mit Unterstützung mehrerer LLM-Anbieter ohne Vendor-Lock-in.

Nachteile:

– Kein dauerhafter free-Tarif; erfordert ein kostenpflichtiges Essentials- oder Standard-Abo für die laufende Nutzung.

– Sprach- und Telefoniefunktionen sind in watsonx Orchestrate über native Sprachkonfiguration im ADK und Integrationen mit Anbietern wie Deepgram und ElevenLabs verfügbar, wobei erweiterte Telefonie möglicherweise zusätzliche Konfiguration erfordert.

– Komplexe Preisstruktur, die für Unternehmensfunktionen individuelle Angebote erfordert.

ServiceNow KI-Agenten

ServiceNow KI-Agenten sind direkt in die Now Platform eingebettet und differenzieren sich durch native Integration in IT-, HR- und Kundenservice-Workflows, statt als eigenständige Plattform zu operieren.

Die Plattform umfasst KI Control Tower für Governance, vorgefertigte agentische Workflows für ITSM und HRSD und eine Context Engine, die Richtlinienhistorie mit Agentenaktionen verbindet.⁶

Vorteile:

– Übernimmt bestehende Governance, SLA-Regeln und Genehmigungsworkflows der Now Platform.

– KI Voice Agents unterstützen Genesys Cloud, Twilio und 3CLogic als CCaaS-Anbieter.

– KI Web Agents lernen aus menschlichen Demonstrationen, um browserbasierte Aufgaben zu automatisieren.

Nachteile:

– Kein dauerhafter free-Tarif; neue Kunden erhalten nur 100 kostenlos Build-Agent-Aufrufe.

– Die FedRAMP-High-Autorisierung für KI-Agenten, KI Agent Orchestrator und KI Agent Studio wurde im März 2026 für Kunden der Government Community Cloud (GCC) bestätigt.

– Begrenzter Nutzen für Organisationen, die ServiceNow nicht bereits für das IT- oder HR-Service-Management nutzen.

Kore.ai

Kore.ai konzentriert sich auf konversationelle KI für Unternehmen mit über 300 vorgefertigten Agenten, über 250 Unternehmensintegrationen und einer modellagnostischen Architektur, die Cloud- und lokale Bereitstellungen unterstützt.

Die Plattform bedient sechs Branchen, darunter Bankwesen, Gesundheitswesen und Einzelhandel.⁷

Vorteile:

– Native Sprachinfrastruktur für latenzarme globale Sprachinteraktionen.

– Flexible Bereitstellung einschließlich lokaler und privater Cloud-Optionen.

– Unterstützung mehrerer LLM-Anbieter.

Nachteile:

– Kein dauerhafter free-Tarif; bietet nur einmalige Credits im Wert von $500 für erste Tests.

LangGraph

Vorteile:

– Die MIT-Open-Source-Lizenz erlaubt uneingeschränkte kommerzielle Nutzung und Modifikation.

– Deterministische Workflow-Steuerung über die Graphenarchitektur gewährleistet reproduzierbare Ausführungspfade.

– Die LangSmith-Observability-Integration bietet Produktionsüberwachung und Tracing.

Nachteile:

– Kein visueller No-Code-Builder; erfordert Python- oder JavaScript-Code, um Agentengraphen zu definieren.

– Keine native Sprach- oder Telefonie-Integration; erfordert benutzerdefinierte Codierung für Sprachkanäle.

– Steile Lernkurve für Teams, die mit graphbasierten Programmierparadigmen nicht vertraut sind.

LangGraph eignet sich für Entwicklungsteams, die produktionsreife Agenten erstellen, die komplexe bedingte Logik, Fehlerbehebung und Auditierbarkeit einzelner Ausführungsschritte erfordern.

CrewAI

Vorteile:

– Rollenbasierte Abstraktion spiegelt menschliche Teamstrukturen für intuitive Agentenkoordination wider.

– Kostenloser Open-Source-Kern ohne Lizenzgebühren für selbst gehostete Bereitstellungen.

– Visueller Editor und KI-Copilot im free-Tarif für nicht-technische Teammitglieder verfügbar.

Nachteile:

– Kein offizieller, vom Anbieter gepflegter Marktplatz für Vorlagen; stützt sich auf Community-Beiträge.

– Code-First-Ansatz erfordert Python-Kenntnisse für die Agentenerstellung.

– Die Preise des Enterprise-Tarifs sind nur auf Anfrage erhältlich, was im Vergleich zu anderen Open-Source-Optionen zu Budgetunsicherheit für kleine Teams führen kann.

CrewAI ermöglicht schnelles Prototyping rollenbasierter Agenten-Pipelines, insbesondere für Dokumentenverarbeitung, Recherche-Workflows und mehrstufige Content-Generierungsaufgaben.

n8n

n8n unterliegt einer Fair-Code-Lizenz (Sustainable Use License) und bietet über 400 native App-Konnektoren mit visuellen KI-Knoten und selbst hostbarer Infrastruktur.

Vorteile:

– Die selbst gehostete Community Edition umfasst SSO SAML, LDAP, RBAC und verschlüsselte Secret-Speicher ohne Kosten.

– Native Unterstützung für LangChain und LlamaIndex innerhalb visueller Workflows.

– Der visuelle Workflow-Editor ermöglicht komplexe Automatisierung ohne Codierung.

Nachteile:

– Die Fair-Code-Lizenz erfordert eine kostenpflichtige Lizenz für kommerzielles Hosting oder SaaS-Produkte.

– Kein nativer Sprach- oder Telefonie-Knoten; erfordert externe API-Integration für Sprache.

– Keine bestätigte FedRAMP-Autorisierung.

n8n schlägt eine Brücke zwischen traditioneller Workflow-Automatisierung und KI-Agenten und richtet sich an technische Business-Analysten und DevOps-Teams, die eine selbst gehostete Bereitstellung für Datenresidenz benötigen und gleichzeitig visuelle Build-Funktionen beibehalten möchten.

Dify

Dify ist eine Open-Source-LLMOps-Plattform.

Die Plattform unterstützt RAG-Pipelines, Prompt-Engineering-Tools und eine modellagnostische Architektur.

Vorteile:

– Die selbst gehostete Community Edition ist dauerhaft kostenlos mit voller Datenkontrolle durch Docker-Bereitstellung.

– Der visuelle Workflow-Builder ermöglicht die Erstellung komplexer Agenten ohne Codierung.

– Unterstützt Hunderte proprietärer und Open-Source-LLMs von Dutzenden Inferenzanbietern.

Nachteile:

– Sprachunterstützung erfordert Marketplace-Plugins wie Agora oder Tencent RTC; keine native PSTN-Telefonie.

– Keine FedRAMP-Autorisierung.

– Der Cloud-Team-Tarif mit $159 pro Monat kann für kleine Teams kostspielig sein.

Dify eignet sich für Produkt- und Betriebsteams, die dokumentenbewusste Agenten mit starken RAG-Fähigkeiten benötigen, insbesondere solche, die durch Self-Hosting Datenkontrolle priorisieren.

Voiceflow

Voiceflow differenziert sich als einzige große Plattform, die Voice-First-Agentendesign als Bürger erster Klasse und nicht als Add-on behandelt, mit einer speziell entwickelten Design-Canvas für Sprach- und Chat-Agenten mit einer Latenz unter 500ms.

Die Plattform ist auf die Automatisierung von Kundenservice-Tickets und IVR-Systeme spezialisiert.

Vorteile:

– Native Sprach- und Telefoniekanäle mit IVR-Unterstützung und einer Latenz unter 500ms.

– Entitätserkennungsfunktionen für Wissensdatenbank-Abfragen.

– Der kostenlose Plan umfasst 2 Agenten und 100 monatliche KI-Tokens ohne Ablauf.

– Visuelle Canvas, die speziell für konversationelle KI-Workflows entwickelt wurde.

Nachteile:

– Lokale Bereitstellung ist nur über individuelle Enterprise-Vereinbarungen möglich.

Voiceflow richtet sich an CX- und Support-Teams, die kundenorientierte konversationelle Agenten erstellen, die über Sprach-, Chat- und Messaging-Kanäle aus einer einzigen Designoberfläche bereitgestellt werden müssen.

Relevance KI

Relevance KI bietet Bring-your-own-LLM-Flexibilität (BYOLLM) mit einem aktionsbasierten Abrechnungsmodell, das es nicht-technischen Teams ermöglicht, Multi-Agenten-Teams über Beschreibungen in natürlicher Sprache zu erstellen.

Vorteile:

– Der kostenlose Tarif umfasst 100 Credits pro Tag ohne Ablauf.

– Über 2.000 Integrationen, darunter HubSpot, Salesforce, Slack und Gmail.

– Echte Modellagnostik mit Unterstützung mehrerer LLM-Anbieter.

Nachteile:

– Keine Self-Hosting- oder lokalen Bereitstellungsoptionen; nur Cloud-SaaS.

– Keine FedRAMP-Autorisierung für regulierte Branchen.

– Sprachfunktionen erfordern die Integration mit Vapi oder Twilio statt nativer Telefonie.

Lindy KI

Lindy KI bietet verschiedene Integrationen über Pipedream, vorgefertigte Agentenvorlagen für E-Mail-Triage und Terminplanung sowie Telefonanruf-Agentenfunktionen über die Gaia-Sprachfunktion.⁸

Die Plattform verwendet ein kreditbasiertes Ausführungsmodell mit verfügbarem free-Tarif.

Vorteile:

– Der kostenlose Tarif umfasst 400 Credits pro Monat und eine Wissensdatenbank mit 1 Million Zeichen.

– Echte Modellagnostik und umfangreiche Integrationsbibliothek.

Nachteile:

– Lokale Bereitstellung ist für regulierte Branchen nur über individuelle Enterprise-Vereinbarungen möglich.

Am besten geeignet für einzelne Geschäftsanwender, Gründer und Betriebsteams, die eine schnelle Automatisierung von E-Mail-, Kalender- und CRM-Workflows ohne Entwicklungsressourcen benötigen.

Methodik

Was liefert eine verwaltete KI-Agentenplattform tatsächlich gegenüber ihren Wettbewerbern und gegenüber der Alternative, einen eigenen Agenten-Harness zu bauen? Der KI-Tooling-Bereich hat hier einen hartnäckigen blinden Fleck. „Managed Agent“-Produkte werden routinemäßig anhand derselben Aufgaben-Abschluss-Scorecards verglichen, die auch für reine Sprachmodelle verwendet werden, wodurch zwei sehr unterschiedliche Dinge vermischt werden: die Fähigkeit des Modells, korrekten Code zu generieren, und die Fähigkeit des Harness, diesen Code zuverlässig in einer verwalteten Laufzeit mit Zustand, Tools und Isolation auszuführen. Wir haben diesen Benchmark entwickelt, um diese Signale zu trennen.

Was ist eine verwaltete Agentenplattform?

Wir benchmarken eine bestimmte Kategorie: gehostete Laufzeiten, die LLM-Inferenz, Agentenorchestrierung und sandboxed Code-Ausführung in einem einzigen verwalteten Dienst bündeln. Dies unterscheidet sich von (1) reinen LLM-Inferenz-APIs, (2) Agentenorchestrierungs-Frameworks, die Sie selbst hosten, und (3) Compute-Sandboxen, die Sie mit Ihrem eigenen Modell kombinieren. Die vier getesteten Plattformen bilden jeweils eine etwas andere Form dieses Bündels:

• Claude Managed Agents (Anthropic): Vollständig verwalteter Harness. Agentendefinitionen, Sitzungen, ereignisbasiertes Streaming, Kompaktierung und Tool-Ausführung erfolgen alle serverseitig. Einer von zwei echten Wettbewerbern in dieser Kategorie.
• Vertex AI Agent Engine (Google): Vollständig verwalteter Harness. Stellen Sie einen ADK-definierten Agenten in einer verwalteten Laufzeit bereit; die Bereitstellung hostet den Agentenzustand und die Tool-Ausführung. Zugriff über das vertexai.agent_engines SDK.
• OpenAI Responses API mit Code Interpreter: Angrenzende Kategorie. Inferenz-API mit einem integrierten Python-Sandbox-Tool, aber ohne persistenten zustandsbehafteten Sitzungsstatus über mehrere Runden oder Mid-Stream-Steuerung.
• Kontrolle: Claude Messages API mit lokalem Tool-Loop: Als Baseline aufgenommen. Dasselbe Modell wie Claude MA (claude-sonnet-4-6), aber wir implementieren den Agenten-Loop lokal in etwa 150 Zeilen Python. Tools (bash, write, read, edit) werden in einem Tempdir pro Aufgabe auf dem Benchmark-Rechner ausgeführt. Dies isoliert, was der verwaltete Harness über „Modell plus Tool-Loop“ hinaus beiträgt. Die Ausführung der Messages-API mit lokalem Agenten-Loop ergibt einen Vergleich, bei dem das Modell identisch ist, der Harness jedoch fehlt. Jede Differenz zwischen Claude MA und der Kontrolle ist vollständig auf den Harness zurückzuführen, nicht auf die Modellfähigkeit.

Die Aufgabensuite

Zehn Programmieraufgaben aus drei Schwierigkeitsstufen. Jede Aufgabe hat einen festen Prompt, der das Ergebnis spezifiziert, und ein Verifikationsskript, das deterministische Bestanden/Nicht-bestanden-Kriterien festlegt. Jede Aufgabe wird pro Plattform dreimal ausgeführt, um die Varianz zu messen.

Harness-spezifische Stresstests

Die Aufgabensuite misst die End-to-End-Korrektheit. Sie kann keine Fähigkeiten messen, die nur durch einen verwalteten Harness existieren: zustandsbehaftete Sitzungspersistenz, Mid-Stream-Steuerung, Verbindungswiederaufnahme, automatische Kontextkompaktierung und verwaltete Dateisystem-Artefaktbehandlung. Dafür haben wir zwei zusätzliche Test-Suites entworfen.

Suite A: Steuerung & Unterbrechung

Drei Tests, die harness-spezifische Primitive ausüben.

A1 startet einen Agenten mit einer Programmieraufgabe, injiziert dann nach 10 Sekunden über POST /events ein neues Benutzerereignis, das die Anforderungen ändert, und überprüft durch Inspektion des Container-Dateisystems, dass das endgültige Artefakt die neue Anforderung und nicht die ursprüngliche widerspiegelt.

A2 öffnet einen SSE-Stream, trennt die Verbindung nach vier Ereignissen, verbindet erneut und überprüft, dass die Sitzung weiterhin status_idle erreicht.

A3 sendet einen bewusst widersprüchlichen Prompt und misst, ob der Agent um Klärung bittet oder stillschweigend eine Interpretation wählt.

Nur A3 ist plattformübergreifend portabel. Die Mid-Stream-Ereignisinjektion von A1 hat keine direkte Entsprechung bei OpenAI Responses (einzelne Anfrage/Antwort) oder Vertex Agent Engine (das Sitzungsmodell kennt keine In-Flight-Nachrichteninjektion). Das Trennen/Wiederverbinden von A2 hat ebenfalls keine Entsprechung anderswo. Dies sind echte strukturelle Vorteile des ereignisgesteuerten Sitzungsmodells von Claude MA und auf den Alternativen nicht benchmarkbar. Wir haben A1 und A2 nur mit Claude MA ausgeführt und A3 mit Claude MA und Vertex Agent Engine.

Suite B: Kompaktierung & Kontext

Zwei Tests, die Funktionen des verwalteten Kontexts ausüben.

B1 platziert eine eindeutige Canary-Zeichenkette (ein UUID-abgeleitetes Token) im ersten Zug einer Sitzung, führt 23 Füllrunden mit unzusammenhängenden kleinen Programmieraufgaben aus, die jeweils Tool-Aufrufe und Tool-Ergebnisse erzeugen, und bittet den Agenten dann, den Canary in Runde 25th aus dem Gedächtnis abzurufen, ohne dass eine Dateisuche erlaubt ist. Ein erfolgreicher Abruf nach 23 Füllrunden ist ein Beleg dafür, dass der Harness frühen Kontext durch die von ihm verwendete Kompaktierungsrichtlinie bewahrt.

B2 bittet den Agenten, eine Textdatei mit 50.000 Zeilen und einem versteckten Marker zu erzeugen, und dann eine Frage zu beantworten, die das Auffinden des Markers erfordert. Dies testet, ob der Agent über Artefakte nachdenken kann, die größer als sein Kontextfenster sind, ohne zu versuchen, die gesamte Datei zu lesen.

Sowohl B1 als auch B2 wurden mit Claude MA und Vertex Agent Engine unter Verwendung derselben Prompts und Protokolle ausgeführt.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

LLM-as-Judge für die Verhaltensbewertung

Für Suite A3 (Widersprüche) ist Bestanden/Nicht-bestanden keine deterministische Prüfung; wir haben „Hat der Agent um Klärung gebeten?“ als qualitative Bewertung des Gesprächsverhaltens behandelt. Wir verwenden ein LLM-as-Judge-Design mit drei methodischen Schutzmaßnahmen:

1. Das Richter-Modell unterscheidet sich vom getesteten Modell: Claude Opus 4.6 ist der Richter, um Selbstbewertungsverzerrungen zu vermeiden.
2. Strukturierte Rubrik mit 4 booleschen Dimensionen: Der Richter liefert JSON-Bewertung: recognized_contradiction, asked_for_clarification, proceeded_with_assumption, documented_assumption sowie eine einabsätzige Begründung.
3. Konsistenzprüfung über 3 Läufe: Jede Bewertung wird dreimal durchgeführt. Wir berichten die Mehrheitskonsens pro Dimension und die Übereinstimmungsrate pro Dimension. Wenn die Übereinstimmung einer Dimension unter 67 % fällt, wird der Richter für diese Dimension als inkonsistent markiert und das Ergebnis als gering vertrauenswürdig eingestuft.

Parallel läuft eine Keyword-Heuristik als Plausibilitätsprüfung. Abweichungen zwischen Heuristik und Richter werden für die manuelle Überprüfung protokolliert.

Bewertung

Für jeden Aufgabenlauf auf jeder Plattform:

• Bestanden/Nicht bestanden
• Laufzeit: Verstrichene Sekunden vom Senden des Prompts bis zum Empfang des terminalen Ereignisses (status_idle bei Claude MA, Aufgabenabschluss bei Vertex AE, Antwortabschluss bei OpenAI, Tool-Loop-Ende bei der Kontrolle).
• Anzahl der Tool-Aufrufe: Einzelne Tool-Aufrufe. Nützlich als Verhaltensfingerabdruck; weniger nützlich als Effizienzmetrik, da die Granularität der Tools zwischen den Plattformen erheblich variiert.
• Token-Nutzung: Geparst aus model_request_end-Ereignissen bei Claude MA, usage_metadata bei Vertex AE, response.usage bei OpenAI und der Akkumulation pro Runde im Nachrichten-Loop der Kontrolle. Aufgeschlüsselt nach Eingabe, Ausgabe, Cache-Lesen und Cache-Erstellung.
• Kosten in USD: Berechnet aus der Token-Nutzung anhand veröffentlichter Preise: claude-sonnet-4-6 zu $3/$15/$0,30/$3,75 pro Million; gpt-5.4 zu $2,50/$15/$0,25; gemini-2.5-pro zu $1,25/$10/$0.13. Plattformspezifische Infrastrukturgebühren werden hinzugefügt: die $0,08/Sitzungsstunde von Claude MA, anteilig nach Laufzeit, die $0,03/Container von OpenAI, wenn ein Tool-Aufruf stattfand, und die Hosting-Gebühr von Vertex AE von etwa $0,35/Stunde, anteilig nach Betriebszeit der Bereitstellung.

Die Ergebnisse von Suite A und B erfassen zusätzlich Sitzungsmetriken (Runden, Canary-Abruf, Richter-Konsens und Übereinstimmung).

Fairness-Überlegungen und bekannte Einschränkungen

Mehrere Asymmetrien im Setup beeinflussen, wie die Zahlen zu lesen sind; wir nennen sie ausdrücklich:

Die Kontrolle führt die Tool-Ausführung auf dem Benchmark-Rechner ohne Cloud-Roundtrip aus. Dies verschafft ihr einen unfairen Laufzeitvorteil, der weniger die Agentengeschwindigkeit als vielmehr das Überspringen des Netzwerks widerspiegelt. Wenn wir beobachten, dass die Kontrolle Aufgaben etwa 25 % schneller abschließt als Claude MA mit demselben Modell, ist etwa die Hälfte dieser Lücke auf die Roundtrip-Asymmetrie zurückzuführen.

OpenAI Code Interpreter arbeitet in einer netzwerkbeschränkten Sandbox. Die Aufgaben 06 (REST-API) und 10 (gleichzeitiger Downloader) erfordern ausgehendes HTTP, das CI nur unregelmäßig zulässt. Die Fehlschläge von OpenAI bei diesen Aufgaben sind Fehler der Sandbox-Richtlinie, nicht Fehler der Modellfähigkeit. GPT-5.4 kann korrekten gleichzeitigen HTTP-Code schreiben; die Plattform kann ihn nicht immer ausführen. Leser sollten „OpenAI scheitert bei Netzwerkaufgaben“ nicht als Aussage über das Modell interpretieren.

Gemini 3.1-pro-preview ist hinter einer projektbezogenen Vorschau-Zulassungsliste gesperrt. Wir haben versucht, dieses Modell sowohl über die direkte Vertex-API als auch über die Vertex Agent Engine zu benchmarken. Direkte API-Aufrufe gaben 404 zurück; Agent-Engine-Bereitstellungen mit dem Modell waren bei der Bereitstellung erfolgreich, aber Inferenzaufrufe lieferten null Ereignisse ohne Fehler. Wir sind auf gemini-2.5-pro zurückgefallen.

Eine Suite aus mehrstündigen Refactoring-Aufgaben, Debugging in unbekannten Codebasen oder lang laufenden autonomen Workloads würde die Harnesse anders belasten und die Top-Optionen wahrscheinlich deutlicher trennen.

Wir haben Bereitstellungslatenz, Kaltstartverhalten, gleichzeitige Sitzungsleistung oder Rate-Limit-Obergrenzen nicht gemessen. Diese sind für Produktions-Workloads mit hohem Durchsatz wichtig, lagen aber außerhalb des Umfangs dieser Runde.

Gemeinsame Funktionen aller KI-Agentenplattformen

Jede Plattform in diesem Vergleich bietet Basisfunktionen, die KI-Agenten-Kategorie definieren. Diese gemeinsamen Funktionen bilden das Minimum Viable Product für agentische Automatisierung, während differenzierende Funktionen die Plattformauswahl bestimmen.

Multi-Agenten-Orchestrierung: Alle Plattformen unterstützen Multi-Agenten-Orchestrierung, wobei die Implementierung variiert (siehe die einzelnen Plattformabschnitte oben).

Tool-Nutzung und externe Integrationen: Agenten auf jeder Plattform können externe APIs, Datenbanken und Geschäftsanwendungen aufrufen. Die Anzahl vorgefertigter Konnektoren reicht von ungefähr 50 (Dify) bis über 2.000 (Relevance KI), wobei alle Plattformen benutzerdefinierte API-Definitionen unterstützen.

Persistenter Speicher und Kontextverwaltung: Das Speichern von Informationen innerhalb von Sitzungen (Kurzzeitgedächtnis) und über Sitzungen hinweg (Langzeitgedächtnis) ist eine Standardfunktion, die je nach Plattform durch Vektordatenbanken, Sitzungsobjekte oder konfigurierbare Kontextfenster erreicht wird.

Monitoring und Observability: Jede Plattform stellt Logs, Traces oder Analysen zur Inspektion der Agentenausführung, zur Verfolgung von Token-Nutzung und Latenz sowie zur Identifizierung von Fehlern bereit.

Menschliche Aufsicht und Genehmigungskontrollen: Mechanismen für menschliche Überprüfung, Genehmigung oder Übersteuerung von Agentenaktionen sind auf jeder Plattform vorhanden. Beispiele sind Genehmigungs-Gates pro Tool in n8n, Interrupt-and-Resume-Primitive in LangGraph, Richtlinienkontrollen in Bedrock AgentCore, der ServiceNow KI Control Tower und die automatische Eskalation von Lindy.

Wissensdatenbank und Retrieval-Augmented Generation (RAG): Das Verankern von Agenten in individuellem Wissen durch Dokumentenindizierung und -abruf ist eine Basisfunktion der Kategorie. Zu den Implementierungen gehören die RAG-Pipeline von Dify, die Wissensdatenbank von Voiceflow, Bedrock Knowledge Bases, die Vertex AI RAG Engine und Kore.ai Search KI.

No-Code- oder Low-Code-Agenten-Builder-Oberfläche: Grafische oder auf natürlicher Sprache basierende Oberflächen zur Agentenerstellung sind auf jeder Plattform verfügbar. Unternehmensplattformen bieten No-Code-Studios (Agentforce Builder, Copilot Studio, watsonx Orchestrate), während Entwickler-Frameworks begleitende visuelle Tools bereitstellen (LangGraph Studio, AutoGen Studio, CrewAI Studio).

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{alper2026,
  author = {Alper, Şevval},
  title  = {{KI-Agentenplattformen-Benchmark: Claude Managed Agents vs Google Vertex Agent Engine}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/ai-agent-platforms}},
  note   = {AIMultiple. Abgerufen am 4. Mai 2026}
}

Referenzlinks

1.

Claude Managed Agents overview - Claude Platform Docs

2.

Agentforce: The AI Agent Platform | Salesforce

3.

Microsoft Copilot Studio Plans and Pricing

4.

Amazon Bedrock AgentCore - AWS

5.

IBM watsonx Orchestrate Agent Catalog

6.

AI Agents - ServiceNow 

7.

Agentic AI Applications for the Enterprise | Kore.ai

Kore.ai

8.

Pricing - Lindy

Şevval Alper

KI-Forscherin

Folgen auf

Şevval ist KI-Forscherin bei AIMultiple. Sie hat bereits Forschungserfahrung in der Erzeugung von Pseudozufallszahlen mithilfe chaotischer Systeme.
Şevval konzentriert sich auf KI-Programmierwerkzeuge, KI-Agenten und Quantentechnologien.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten