Benchmark des plateformes d'agents IA: Claude Managed Agents vs Google Vertex Agent Engine

Nous avons évalué 4 plateformes d'agents IA selon 3 dimensions : achèvement des tâches (10 tâches de codage × 3 exécutions), capacités spécifiques au harnais (pilotage, reconnexion, rappel de longue conversation, gestion de fichiers volumineux) et coût.

Résultats du benchmark des plateformes d'agents IA

Claude Managed Agents et Vertex AI Agent Engine atteignent tous deux un taux de réussite de 100 % sur la suite de tâches, Vertex l'emportant sur le coût ($1,45 contre $2,50). Pour les fonctionnalités spécifiques au harnais disponibles uniquement sur les plateformes gérées, comme le pilotage en cours de flux, la déconnexion/reconnexion, la compaction de longue conversation, Claude Managed Agents est la plus performante, mais Vertex Agent Engine l'égale sur les tests portables (compaction, gestion de fichiers volumineux).

Principaux enseignements du benchmark de tâches

1. Claude MA et Vertex AE sont à égalité sur le taux de réussite avec 30/30 (100 %). Les deux gèrent tous les types de tâches, y compris les tâches réseau (06, 10) qui ont mis en échec OpenAI.
2. Les échecs d'OpenAI proviennent de sa politique de sandbox. Les tâches 06 (client d'API REST) et 10 (téléchargeur concurrent) nécessitent toutes deux des requêtes HTTP sortantes. Le sandbox de Code Interpreter les restreint, et toutes deux ont échoué respectivement 2 fois sur 3 et 1 fois sur 3. Nous avons constaté que GPT-5.4 peut écrire le code, mais le sandbox ne l'exécute pas de manière fiable.
3. Vertex AE est le moins cher, avec un coût total de $1.45. Claude MA est le plus cher à $2.50. C'est 72 % de plus que Vertex sur la même suite de tâches avec le même taux de réussite.
4. Vertex AE est le plus lent. L'orchestration ADK gérée ajoute de la surcharge.

Capacités spécifiques au harnais

Deux plateformes sont comparées directement sur des fonctionnalités qui n'existent que grâce à un harnais géré.

Voir la méthodologie du benchmark ci-dessous.

Plateformes d'agents IA

Claude Managed Agents

Anthropic’s Claude Managed Agents fournit un runtime d'agent hébergé combinant sessions avec état, exécution d'outils intégrée, streaming basé sur les événements et compaction automatique pour les charges de travail autonomes de longue durée. La plateforme se différencie par des primitives uniques indisponibles dans les offres comparables, comme l'injection d'événements utilisateur en cours de flux pour le pilotage en vol, les flux SSE reprenables pour la déconnexion/reconnexion et l'intégration native de serveur MCP. Tout est fourni comme un service entièrement géré, sans infrastructure à provisionner pour les développeurs.¹

Le tarif est de $0,08 par heure de session en plus des coûts de tokens Claude API standard.

Avantages :

• Les sessions avec état, avec injection d'événements en cours de flux, permettent à de nouveaux messages utilisateur de piloter les agents pendant l'exécution en vol.
• Prise en charge de la déconnexion et de la reconnexion via des flux SSE persistants ; les sessions continuent de s'exécuter côté serveur malgré les interruptions réseau et les clients peuvent reprendre la consommation des événements lors de la reconnexion.
• La boîte à outils d'agent intégrée regroupe bash, les opérations sur les fichiers (read, write, edit, glob, grep) et les outils web (web_fetch, web_search), accessibles via un seul paramètre de configuration, éliminant ainsi le câblage d'outils personnalisés.
• Intégration native de serveur MCP (Model Context Protocol) pour les extensions d'outils personnalisées sans modifier la boîte à outils intégrée de l'agent.

Inconvénients :

• Actuellement en version bêta ; toutes les requêtes nécessitent l'en-tête bêta managed-agents-2026-04-01, et le comportement peut évoluer entre les versions.
• Limité à Claude, aucune flexibilité de model par rapport à des plateformes comme AWS Bedrock AgentCore ou Northflank qui prennent en charge plusieurs fournisseurs de models.

Salesforce Agentforce

Salesforce Agentforce se différencie par un accès natif aux données CRM via l'Atlas Reasoning Engine et des agents préconstruits pour les workflows de vente, de service, de marketing et de commerce.²

La plateforme s'intègre à MuleSoft Agent Fabric pour l'orchestration inter-systèmes et propose Agentforce 360 pour les partenariats AWS.

Agentforce s'adresse aux organisations qui ont besoin de workflows autonomes orientés client, intégrés directement dans leur infrastructure Salesforce Cloud existante.

Avantages :

– L'accès natif aux données CRM via l'Atlas Reasoning Engine permet des actions d'agent contextuelles.

– Les agents préconstruits disponibles pour la vente, le service, le marketing et le commerce réduisent le délai de déploiement.

– Autorisé FedRAMP sur Salesforce Government Cloud pour les secteurs réglementés.

– L'offre Foundations gratuit inclut 200 000 Flex Credits pour les premiers tests.

Inconvénients :

– Uniquement en SaaS cloud, sans option de déploiement sur site.

– Agnosticisme de model limité ; utilise par défaut les models gérés par Salesforce, avec un support limité des fournisseurs externes.

– Nécessite un investissement existant dans l'écosystème Salesforce pour en tirer toute la valeur.

Microsoft Copilot Studio

Avantages :

– Inclus avec les licences Microsoft 365 Copilot pour une utilisation d'agents internes sans frais supplémentaires.³

– Agents vocaux en temps réel et prise en charge de la téléphonie IVR pour les scénarios de service client.

– Autorisé FedRAMP via Azure Government pour les déploiements dans le secteur public.

– Prend en charge les models OpenAI, Anthropic et les frameworks open source dans un environnement de construction unique.

Inconvénients :

– Fonctionnalités limitées en dehors de l'écosystème Microsoft ; nécessite un engagement Azure ou M365 pour bénéficier de toutes les capacités.

– Pas d'offre permanente autonome gratuit ; nécessite un abonnement M365 Copilot existant pour l'utilisation incluse.

– Le model vocal d'IA en temps réel est hébergé uniquement en Amérique du Nord à partir d'avril 2026.

Copilot Studio est le plus rentable pour les organisations qui utilisent déjà Microsoft 365, Teams et Azure, et offre une automatisation orientée employés qui hérite des configurations existantes d'identité, de sécurité et de conformité.

Google Agentspace et Vertex AI Agent Builder

La double offre de Google combine Agentspace pour la gestion des connaissances d'entreprise et Vertex AI Agent Builder pour le développement low-code, se différenciant par l'intégration du model Gemini, le contexte inter-produits Google Workspace et la prise en charge d'entrées multimodales pour le texte, la voix et les images.

La plateforme offre $300 de crédits gratuit pour les nouveaux utilisateurs et une tarification à l'usage pour Vertex AI Agent Engine.

Avantages :

– $300 gratuit de crédits pour les nouveaux utilisateurs permet un prototypage étendu sans investissement initial.

– Déploiement sur site pris en charge via Google Distributed Cloud pour les environnements réglementés.

– Autorisé FedRAMP via Google Cloud.

– Google ADK (Agent Development Kit) prend en charge le développement code-first en Python, TypeScript, Go et Java.

Inconvénients :

– La conception principalement axée sur Gemini limite la flexibilité de model par rapport aux plateformes totalement agnostiques.

AWS Bedrock Agents et AgentCore

AWS Bedrock Agents et la plateforme plus récente AgentCore fournissent une gestion d'infrastructure serverless pour les agents à l'échelle de l'entreprise, lancés lors de re:Invent 2025.⁴

Les différenciateurs incluent une tarification à l'usage à $0,0895 par vCPU-heure pour le runtime AgentCore, des options de débit provisionné et Mem0 comme fournisseur de mémoire exclusif.

Avantages :

– Autorisé FedRAMP High sur AWS GovCloud pour les charges de travail sensibles.

– Le streaming bidirectionnel prend en charge les agents vocaux avec une parole simultanée de l'utilisateur et de l'agent.

– Un niveau gratuit est disponible pour les nouveaux clients AWS pour une première expérimentation.

– Accès aux models d'Anthropic, d'Amazon, de Meta, de Mistral et d'AI21 via le catalogue Bedrock.

Inconvénients :

– Pas de templates d'agent métier préconstruits ; nécessite de construire à partir de zéro à l'aide du SDK.

– Pas d'option de déploiement sur site ; fonctionne exclusivement sur l'infrastructure AWS.

– La construction d'agents nécessite un codage API/SDK important par rapport aux outils visuels.

AWS Bedrock s'adresse aux entreprises qui ont besoin d'une infrastructure d'agents serverless évolutive et profondément intégrée à l'écosystème AWS, en offrant une efficacité des coûts grâce à une facturation granulaire basée sur l'utilisation.

IBM watsonx Orchestrate

IBM watsonx Orchestrate cible les entreprises réglementées avec plus de 150 agents métier préconstruits pour les RH, les achats, la vente et la finance, ainsi que Skills Studio pour créer des compétences personnalisées.⁵

La plateforme offre une flexibilité de déploiement en cloud hybride et sur site via IBM Cloud Pak for Data et Software Hub.

Avantages :

– Installation sur site prise en charge via IBM Cloud Pak for Data pour les exigences de résidence des données.

– Plus de 150 agents et outils préconstruits d'IBM et de ses partenaires, avec plus de 80 intégrations d'applications d'entreprise, notamment SAP, Salesforce et Workday.

– Autorisation FedRAMP étendue en avril 2026 pour les déploiements fédéraux.

– Un véritable agnosticisme de model prenant en charge plusieurs fournisseurs de LLM sans dépendance vis-à-vis d'un fournisseur.

Inconvénients :

– Pas d'offre permanente gratuit ; nécessite un abonnement payant Essentials ou Standard pour une utilisation continue.

– Les capacités vocales et de téléphonie sont disponibles dans watsonx Orchestrate via la configuration vocale native dans l'ADK et des intégrations avec des fournisseurs tels que Deepgram et ElevenLabs, bien que la téléphonie avancée puisse nécessiter une configuration supplémentaire.

– Structure tarifaire complexe nécessitant des devis personnalisés pour les fonctionnalités d'entreprise.

ServiceNow IA Agents

ServiceNow IA Agents s'intègrent directement dans la Now Platform, se différenciant par une intégration native aux workflows informatiques, RH et de service client, plutôt que de fonctionner comme une plateforme autonome.

La plateforme comprend l'IA Control Tower pour la gouvernance, des workflows agentiques préconstruits pour l'ITSM et HRSD, et un Context Engine qui relie l'historique des politiques aux actions des agents.⁶

Avantages :

– Hérite de la gouvernance, des règles SLA et des workflows d'approbation existants de la Now Platform.

– Les IA Voice Agents prennent en charge Genesys Cloud, Twilio et 3CLogic comme fournisseurs CCaaS.

– Les IA Web Agents apprennent à partir de démonstrations humaines pour automatiser des tâches basées sur le navigateur.

Inconvénients :

– Pas d'offre permanente gratuit ; les nouveaux clients ne reçoivent que 100 gratuit appels Build Agent.

– L'autorisation FedRAMP High pour IA Agents, IA Agent Orchestrator et IA Agent Studio a été confirmée pour les clients Government Community Cloud (GCC) à partir de mars 2026.

– Valeur limitée pour les organisations qui n'utilisent pas déjà ServiceNow pour la gestion des services informatiques ou RH.

Kore.ai

Kore.ai se concentre sur l'IA conversationnelle d'entreprise avec plus de 300 agents préconstruits, plus de 250 intégrations d'entreprise et une architecture agnostique de model prenant en charge les déploiements cloud et sur site.

La plateforme dessert six secteurs verticaux, notamment la banque, la santé et la distribution.⁷

Avantages :

– Infrastructure vocale native offrant des interactions vocales mondiales à faible latence.

– Déploiement flexible incluant des options sur site et en cloud privé.

– Prise en charge de plusieurs fournisseurs de LLM.

Inconvénients :

– Pas d'offre permanente gratuit ; offre uniquement $500 en crédits uniques pour les premiers tests.

LangGraph

Avantages :

– La licence open source MIT permet une utilisation commerciale et une modification sans restriction.

– Le contrôle déterministe des workflows via une architecture en graphe garantit des chemins d'exécution reproductibles.

– L'intégration d'observabilité LangSmith fournit une surveillance et un traçage en production.

Inconvénients :

– Pas de constructeur visuel no-code ; nécessite du code Python ou JavaScript pour définir les graphes d'agents.

– Pas d'intégration vocale ou téléphonique native ; nécessite un codage personnalisé pour les canaux vocaux.

– Courbe d'apprentissage abrupte pour les équipes peu familières avec les paradigmes de programmation basés sur les graphes.

LangGraph convient aux équipes d'ingénierie qui construisent des agents de niveau production nécessitant une logique conditionnelle complexe, une récupération d'erreurs et une traçabilité des étapes d'exécution individuelles.

CrewAI

Avantages :

– L'abstraction basée sur les rôles reflète les structures d'équipes humaines pour une coordination d'agents intuitive.

– Un cœur open source gratuit sans frais de licence pour les déploiements auto-hébergés.

– Éditeur visuel et copilote IA disponibles dans l'offre gratuit pour les membres non techniques de l'équipe.

Inconvénients :

– Pas de marketplace de templates maintenue officiellement par l'éditeur ; repose sur les contributions de la communauté.

– L'approche code-first nécessite des connaissances en Python pour la création d'agents.

– Le tarif du plan Enterprise n'est disponible que sur demande, ce qui peut créer une incertitude budgétaire pour les petites équipes par rapport à d'autres options open source.

CrewAI permet un prototypage rapide de pipelines d'agents basés sur les rôles, particulièrement adapté au traitement de documents, aux workflows de recherche et aux tâches de génération de contenu en plusieurs étapes.

n8n

n8n fonctionne sous une licence fair-code (Sustainable Use License), offrant plus de 400 connecteurs d'applications natifs avec des nœuds d'IA visuels et une infrastructure auto-hébergeable.

Avantages :

– L'édition Community auto-hébergée inclut SSO SAML, LDAP, RBAC et des stockages de secrets chiffrés sans frais.

– Prise en charge native de LangChain et LlamaIndex dans les workflows visuels.

– L'éditeur de workflow visuel permet une automatisation complexe sans codage.

Inconvénients :

– La licence fair-code nécessite une licence payante pour l'hébergement commercial ou les produits SaaS.

– Pas de nœud vocal ou téléphonique natif ; nécessite une intégration API externe pour la voix.

– Aucune autorisation FedRAMP confirmée.

n8n fait le lien entre l'automatisation traditionnelle des workflows et les agents IA, au service des analystes métier techniques et des équipes DevOps qui ont besoin d'un déploiement auto-hébergé pour la résidence des données tout en conservant des capacités de construction visuelle.

Dify

Dify est une plateforme open source de LLMOps.

La plateforme prend en charge les pipelines RAG, les outils de prompt engineering et une architecture agnostique de model.

Avantages :

– L'édition Community auto-hébergée est définitivement gratuit avec un contrôle total des données via un déploiement Docker.

– Le constructeur de workflow visuel permet de créer des agents complexes sans codage.

– Prend en charge des centaines de LLMs propriétaires et open source provenant de dizaines de fournisseurs d'inférence.

Inconvénients :

– Le support vocal nécessite des plugins marketplace tels qu'Agora ou Tencent RTC ; pas de téléphonie PSTN native.

– Aucune autorisation FedRAMP.

– Le plan Cloud Team à $159 par mois peut être coûteux pour les petites équipes.

Dify convient aux équipes produit et opérations qui ont besoin d'agents sensibles aux documents avec de solides capacités RAG, en particulier celles qui privilégient le contrôle des données par l'auto-hébergement.

Voiceflow

Voiceflow se différencie comme la seule plateforme majeure à traiter la conception d'agents axée sur la voix comme un citoyen de première classe plutôt qu'un module complémentaire, avec une toile de conception spécialement conçue pour les agents vocaux et de chat avec une latence inférieure à 500ms.

La plateforme se spécialise dans l'automatisation des tickets de service client et les systèmes IVR.

Avantages :

– Canaux vocaux et téléphoniques natifs avec prise en charge IVR et une latence inférieure à 500ms.

– Capacités d'extraction d'entités pour les requêtes de base de connaissances.

– Le plan gratuit comprend 2 agents et 100 tokens d'IA mensuels sans expiration.

– Toile visuelle conçue spécifiquement pour les workflows d'IA conversationnelle.

Inconvénients :

– Déploiement sur site uniquement disponible via des accords d'entreprise personnalisés.

Voiceflow s'adresse aux équipes CX et support qui construisent des agents conversationnels orientés client nécessitant un déploiement sur les canaux vocaux, de chat et de messagerie à partir d'une interface de conception unique.

Relevance IA

Relevance IA offre une flexibilité bring-your-own-LLM (BYOLLM) avec un model de facturation basé sur les actions, permettant aux équipes non techniques de créer des équipes multi-agents à partir de descriptions en langage naturel.

Avantages :

– L'offre gratuite comprend 100 crédits par jour sans expiration.

– Plus de 2 000 intégrations, notamment HubSpot, Salesforce, Slack et Gmail.

– Un véritable agnosticisme de model prenant en charge plusieurs fournisseurs de LLM.

Inconvénients :

– Pas d'option d'auto-hébergement ou de déploiement sur site ; uniquement en SaaS cloud.

– Aucune autorisation FedRAMP pour les secteurs réglementés.

– Les capacités vocales nécessitent une intégration avec Vapi ou Twilio plutôt qu'une téléphonie native.

Lindy IA

Lindy IA fournit diverses intégrations via Pipedream, des templates d'agents préconstruits pour le tri des e-mails et la planification, ainsi que des capacités d'agents d'appels téléphoniques via la fonction vocale Gaia.⁸

La plateforme utilise un model d'exécution basé sur des crédits avec une offre gratuit disponible.

Avantages :

– L'offre gratuite comprend 400 crédits par mois et une base de connaissances d'un million de caractères.

– Un véritable agnosticisme de model et une vaste bibliothèque d'intégrations.

Inconvénients :

– Déploiement sur site uniquement disponible via des accords d'entreprise personnalisés pour les secteurs réglementés.

Idéal pour les utilisateurs métier individuels, les fondateurs et les équipes opérationnelles qui ont besoin d'une automatisation rapide des workflows de messagerie, de calendrier et de CRM sans ressources d'ingénierie.

Méthodologie

Qu'apporte réellement une plateforme d'agents IA gérée par rapport à ses concurrents, et par rapport à l'alternative consistant à construire son propre harnais d'agent ? L'espace des outils d'IA présente ici un angle mort persistant. Les produits « managed agent » sont couramment comparés à l'aide des mêmes tableaux de bord d'achèvement de tâches que ceux utilisés pour les models de langage bruts, ce qui confond deux choses très différentes : la capacité du model à générer du code correct et la capacité du harnais à exécuter ce code de manière fiable dans un runtime géré avec état, outils et isolation. Nous avons conçu ce benchmark pour séparer ces signaux.

Qu'est-ce qu'une plateforme d'agents gérée ?

Nous évaluons une catégorie spécifique : des runtimes hébergés qui regroupent l'inférence LLM, l'orchestration d'agents et l'exécution de code en sandbox dans un seul service géré. Cela se distingue (1) des LLM d'inférence APIs brutes, (2) des frameworks d'orchestration d'agents que vous hébergez vous-même et (3) des sandbox de calcul que vous associez à votre propre model. Les quatre plateformes testées prennent chacune une forme légèrement différente de ce regroupement :

• Claude Managed Agents (Anthropic) : harnais entièrement géré. Les définitions d'agents, les sessions, le streaming basé sur les événements, la compaction et l'exécution des outils sont tous côté serveur. L'un des deux véritables concurrents de cette catégorie.
• Vertex AI Agent Engine (Google) : harnais entièrement géré. Déployez un agent défini par ADK sur un runtime géré ; le déploiement héberge l'état de l'agent et l'exécution des outils. Accessible via le SDK vertexai.agent_engines.
• OpenAI Responses API avec Code Interpreter : catégorie adjacente. Inférence API avec un outil sandbox Python intégré, mais pas d'état de session multi-tours persistant ni de pilotage en cours de flux.
• Contrôle : Claude Messages API avec une boucle d'outils locale : inclus comme référence. Même model que Claude MA (claude-sonnet-4-6), mais nous implémentons la boucle d'agent localement en ~150 lignes de Python. Les outils (bash, write, read, edit) s'exécutent dans un tempdir par tâche sur la machine de benchmark. Cela isole ce que le harnais géré apporte au-delà de « model plus boucle d'outils ». L'exécution de Messages API avec une boucle d'agent locale produit une comparaison où le model est identique mais le harnais est absent. Toute différence entre Claude MA et le contrôle est entièrement attribuable au harnais, et non à la capacité du model.

La suite de tâches

Dix tâches de codage couvrant trois niveaux de difficulté. Chaque tâche a un prompt fixe précisant le livrable, un script de vérification encodant des critères déterministes de réussite/échec. Chaque tâche est exécutée trois fois par plateforme pour mesurer la variance.

Tests de résistance spécifiques au harnais

La suite de tâches mesure la justesse de bout en bout. Elle ne peut pas mesurer les capacités qui n'existent que grâce à un harnais géré : persistance des sessions avec état, pilotage en cours de flux, reprise de connexion, compaction automatique du contexte et gestion des artefacts du système de fichiers géré. Pour cela, nous avons conçu deux suites de tests supplémentaires.

Suite A : Pilotage et interruption

Trois tests exerçant des primitives spécifiques au harnais.

A1 démarre un agent sur une tâche de codage, puis injecte un nouvel événement utilisateur via POST /events après 10 secondes en modifiant les exigences, et vérifie en inspectant le système de fichiers du conteneur que l'artefact final reflète la nouvelle exigence plutôt que l'originale.

A2 ouvre un flux SSE, interrompt la connexion après quatre événements, se reconnecte et vérifie que la session atteint toujours status_idle.

A3 envoie un prompt délibérément contradictoire et mesure si l'agent demande des éclaircissements ou choisit silencieusement une interprétation.

Seul A3 est portable entre les plateformes. L'injection d'événements en cours de flux d'A1 n'a pas d'équivalent direct sur OpenAI Responses (requête/réponse unique) ni sur Vertex Agent Engine (le model de session ne permet pas l'injection de messages en vol). La déconnexion/reconnexion d'A2 n'a pas non plus d'équivalent ailleurs. Ce sont de véritables avantages structurels du model de session événementiel de Claude MA, qui ne peuvent pas être benchmarkés sur les alternatives. Nous avons exécuté A1 et A2 uniquement sur Claude MA et avons exécuté A3 à la fois sur Claude MA et sur Vertex Agent Engine.

Suite B : Compaction et contexte

Deux tests exerçant les fonctionnalités de contexte géré.

B1 insère une chaîne canari unique (un token dérivé d'un UUID) au premier tour d'une session, exécute 23 tours de remplissage de petites tâches de codage sans rapport, produisant chacune des appels d'outils et des résultats d'outils, puis demande à l'agent de se souvenir du canari de mémoire au 25e tour sans recherche de fichier autorisée. Le rappel réussi après 23 tours de remplissage est la preuve que le harnais préserve le contexte initial quelle que soit la politique de compaction utilisée.

B2 demande à l'agent de générer un fichier texte de 50 000 lignes avec un marqueur enfoui, puis de répondre à une question qui nécessite de trouver le marqueur. Cela teste si l'agent peut raisonner sur des artefacts plus grands que sa fenêtre de contexte sans tenter de lire l'intégralité du fichier.

B1 et B2 ont tous deux été exécutés à la fois sur Claude MA et sur Vertex Agent Engine, en utilisant les mêmes prompts et protocoles.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

LLM-as-judge pour la notation comportementale

Pour la suite A3 (contradictions), la réussite ou l'échec n'est pas un contrôle déterministe ; nous avons traité « l'agent a-t-il demandé des éclaircissements » comme un jugement qualitatif sur le comportement conversationnel. Nous utilisons une conception LLM-as-judge avec trois garde-fous méthodologiques :

1. Le model juge est différent du model testé : Claude Opus 4.6 est le juge pour éviter le biais d'auto-évaluation.
2. Grille structurée avec 4 dimensions booléennes : le juge renvoie une notation JSON : recognized_contradiction, asked_for_clarification, proceeded_with_assumption, documented_assumption et un raisonnement d'un paragraphe.
3. Contrôle de cohérence sur 3 exécutions : chaque jugement est exécuté 3 fois. Nous rapportons un consensus majoritaire par dimension et un taux d'accord par dimension. Si l'accord d'une dimension tombe en dessous de 67 %, le juge est signalé comme incohérent sur cette dimension et le résultat est traité comme peu fiable.

Une heuristique par mots-clés s'exécute en parallèle comme contrôle de cohérence. Les divergences entre l'heuristique et le juge sont journalisées pour une revue manuelle.

Notation

Pour chaque exécution de tâche sur chaque plateforme :

• Réussite/échec
• Temps écoulé : secondes écoulées entre l'envoi du prompt et la réception de l'événement terminal (status_idle pour Claude MA, achèvement de la tâche pour Vertex AE, achèvement de la réponse pour OpenAI, sortie de la boucle d'outils pour le contrôle).
• Nombre d'appels d'outils : invocations d'outils distinctes. Utile comme empreinte comportementale ; moins utile comme métrique d'efficacité car la granularité des outils diffère considérablement selon les plateformes.
• Utilisation de tokens : analysée à partir des événements model_request_end sur Claude MA, de usage_metadata sur Vertex AE, de response.usage sur OpenAI, et de l'accumulation par tour dans la boucle de messages du contrôle. Décomposée en entrée, sortie, lecture de cache et création de cache.
• Coût en USD : calculé à partir de l'utilisation de tokens selon les tarifs publiés : claude-sonnet-4-6 à $3/$15/$0,30/$3,75 par million ; gpt-5.4 à $2,50/$15/$0,25 ; gemini-2.5-pro à $1,25/$10/$0.13. Les frais d'infrastructure spécifiques à chaque plateforme sont ajoutés : Claude MA à $0,08/heure de session au prorata du temps écoulé, OpenAI à $0,03/conteneur lorsqu'un appel d'outil a eu lieu, Vertex AE à environ $0,35/heure de frais d'hébergement au prorata de la disponibilité du déploiement.

Les résultats des suites A et B capturent en outre des métriques au niveau de la session (tours, rappel du canari, consensus et accord du juge).

Considérations d'équité et limites connues

Plusieurs asymétries dans la configuration affectent la lecture des chiffres ; nous les signalons explicitement :

Le contrôle exécute les outils sur la machine de benchmark sans aller-retour cloud. Cela lui confère un avantage injuste en termes de temps écoulé qui reflète moins la vitesse de l'agent que l'absence de réseau. Lorsque nous observons que le contrôle termine les tâches environ 25 % plus vite que Claude MA sur le même model, environ la moitié de cet écart est due à l'asymétrie des allers-retours.

Le Code Interpreter d'OpenAI fonctionne dans un sandbox à accès réseau restreint. Les tâches 06 (client d'API REST) et 10 (téléchargeur concurrent) nécessitent des HTTP sortants, que CI n'autorise que par intermittence. Les échecs d'OpenAI sur ces tâches sont des échecs de politique de sandbox, pas des échecs de capacité du model. GPT-5.4 peut écrire du code HTTP concurrent correct ; la plateforme ne peut pas toujours l'exécuter. Les lecteurs ne doivent pas interpréter « OpenAI échoue sur les tâches réseau » comme une déclaration sur le model.

Gemini 3.1-pro-preview est soumis à une allowlist d'aperçu au niveau du projet. Nous avons tenté de benchmarker ce model à la fois sur l'API Vertex directe et sur le Vertex Agent Engine. Les appels directs à l'API ont renvoyé 404 ; les déploiements Agent Engine avec le model ont réussi au moment du déploiement, mais les appels d'inférence ont renvoyé zéro événement sans erreur. Nous sommes repliés sur gemini-2.5-pro.

Une suite de tâches de refactoring de plusieurs heures, de débogage dans des bases de code inconnues ou de workflows autonomes de longue durée solliciterait les harnais différemment et séparerait probablement plus clairement les options de premier plan.

Nous n'avons pas mesuré la latence de provisionnement, le comportement de démarrage à froid, les performances des sessions concurrentes ni les plafonds de limitation de débit. Ces éléments sont importants pour les charges de production à haut débit, mais ils étaient hors périmètre pour cette édition.

Fonctionnalités communes à toutes les plateformes d'agents IA

Chaque plateforme de cette comparaison fournit des capacités de base qui définissent la catégorie des agents IA. Ces fonctionnalités communes établissent le produit minimum viable pour l'automatisation agentique, tandis que les fonctionnalités différenciantes déterminent le choix de la plateforme.

Orchestration multi-agents : toutes les plateformes prennent en charge l'orchestration multi-agents, bien que la mise en œuvre varie (voir les sections individuelles des plateformes ci-dessus).

Utilisation d'outils et intégrations externes : les agents de toutes les plateformes peuvent appeler des APIs externes, des bases de données et des applications métier. Le nombre de connecteurs préconstruits va d'environ 50 (Dify) à plus de 2 000 (Relevance IA), toutes les plateformes prenant en charge des définitions d'API personnalisées.

Mémoire persistante et gestion du contexte : conserver des informations au sein des sessions (mémoire à court terme) et entre les sessions (mémoire à long terme) est une capacité standard, obtenue grâce à des bases de données vectorielles, des objets de session ou des fenêtres de contexte configurables selon la plateforme.

Surveillance et observabilité : chaque plateforme expose des logs, des traces ou des analyses pour inspecter l'exécution des agents, suivre l'utilisation des tokens et la latence, et identifier les défaillances.

Contrôle humain et approbations : des mécanismes de revue humaine, d'approbation ou d'annulation des actions des agents sont présents sur toutes les plateformes. Parmi les exemples figurent les portes d'approbation par outil de n8n, les primitives d'interruption et de reprise de LangGraph, les contrôles de politique de Bedrock AgentCore, ServiceNow IA Control Tower et l'escalade automatique de Lindy.

Base de connaissances et génération augmentée par récupération (RAG) : ancrer les agents dans des connaissances personnalisées grâce à l'indexation et à la récupération de documents est une capacité de base de la catégorie. Les implémentations incluent le pipeline RAG de Dify, la base de connaissances de Voiceflow, les bases de connaissances de Bedrock, le Vertex AI RAG Engine et Kore.ai Search IA.

Interface de construction d'agents no-code ou low-code : des interfaces graphiques ou en langage naturel pour la création d'agents sont disponibles sur chaque plateforme. Les plateformes d'entreprise offrent des studios no-code (Agentforce Builder, Copilot Studio, watsonx Orchestrate), tandis que les frameworks pour développeurs fournissent des outils visuels compagnons (LangGraph Studio, AutoGen Studio, CrewAI Studio).

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{alper2026,
  author = {Alper, Şevval},
  title  = {{Benchmark des plateformes d'agents IA: Claude Managed Agents vs Google Vertex Agent Engine}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/ai-agent-platforms}},
  note   = {AIMultiple. Consulté le 4 mai 2026}
}

Liens de référence

1.

Claude Managed Agents overview - Claude Platform Docs

2.

Agentforce: The AI Agent Platform | Salesforce

3.

Microsoft Copilot Studio Plans and Pricing

4.

Amazon Bedrock AgentCore - AWS

5.

IBM watsonx Orchestrate Agent Catalog

6.

AI Agents - ServiceNow 

7.

Agentic AI Applications for the Enterprise | Kore.ai

Kore.ai

8.

Pricing - Lindy

Şevval Alper

Chercheuse en IA

Suivre

Şevval est chercheuse en IA chez AIMultiple. Elle a une expérience de recherche préalable dans la génération de nombres pseudo-aléatoires à l’aide de systèmes chaotiques.
Şevval se concentre sur les outils de codage IA, les agents IA et les technologies quantiques.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire