Top 10+ des frameworks et outils d'orchestration d'agents

Nous avons comparé quatre frameworks multi-agents majeurs en utilisant un flux de travail de planification de voyage à cinq agents identique et des paramètres LLM cohérents. Chaque framework a été exécuté 100 fois, et nous avons mesuré la latence du pipeline, l'utilisation des jetons, les transitions entre agents et le délai d'exécution entre l'agent et l'outil afin d'isoler la véritable surcharge d'orchestration.

Référence d'orchestration d'agents

Tous les frameworks ont réussi la tâche sur 100 exécutions chacun. Cependant, LangGraph s'est avéré 2,2 fois plus rapide que CrewAI, tandis que LangChain et AutoGen ont affiché des différences d'efficacité de jetons de 8 à 9 fois. Ceci reflète des choix architecturaux fondamentaux quant à la manière dont chaque framework orchestre les flux de travail multi-agents depuis la couche d'orchestration, achemine les messages, gère l'état et coordonne les transferts d'agents.

Pour comprendre pourquoi, nous avons mesuré chaque phase du cycle de vie de l'agent.

Performance par agents

Agent d'analyse syntaxique : cet agent effectue une extraction de texte simple avec une complexité minimale. Tous les frameworks présentent une latence similaire.

Agent de recherche de vols : Nous constatons des différences significatives de latence et d'utilisation des jetons. Cet agent utilise l'API de recherche de vols, et nous observons un important décalage entre le démarrage de l'agent et l'appel effectif à l'outil. Nous examinerons ce décalage en détail plus loin dans notre analyse, où nous verrons que 5 secondes des 9 secondes de latence de CrewAI proviennent de ce décalage.

Agent de bulletin météo : Nous constatons que le même schéma de classement se poursuit pour la latence et l’utilisation des jetons que celui observé dans l’agent de recherche de vols.

LangChain génère un nombre de jetons nettement supérieur et une latence plus élevée que les autres frameworks, à l'exception de CrewAI, dont la surcharge provient principalement de l'écart entre l'agent et l'outil. Ceci est dû à l'approche de gestion de la mémoire de LangChain, qui conserve les étapes intermédiaires et l'historique complet des conversations, engendrant une surcharge dans les flux de travail multi-agents.

LangGraph se distingue comme le framework le plus rapide avec le moins de jetons. Son architecture basée sur un graphe ne transmet entre les nœuds que les variations d'état nécessaires, plutôt que l'historique complet des conversations, ce qui réduit considérablement le nombre de jetons.
utilisation et latence réduite.

Agent d'activité : La plupart des frameworks présentent des performances relativement proches. Sans appels d'outils, tous les frameworks convergent vers des plages similaires (6 à 8 secondes de latence, 650 à 744 jetons), ce qui suggère que
La principale variation réside dans le temps de génération du LLM, avec une surcharge d'orchestration minimale. Cependant, le véritable écart de performance apparaît au niveau de l'agent Travel Planner.

Agent de planification de voyages : Cet agent reçoit et synthétise les résultats des quatre agents précédents (analyseur syntaxique, recherche de vols, bulletin météo et recommandation d’activités) dans chaque framework. Cependant, le fonctionnement de chaque framework varie.
La gestion de cette agrégation contextuelle révèle des différences architecturales fondamentales.

CrewAI transmet la sortie complète et non modifiée de chaque tâche précédente directement dans le contexte du planificateur via son système de paramètres de contexte. Le LLM reçoit l'intégralité des jetons des sorties des agents précédents, ainsi que la tâche.
La description elle-même. Cette approche n'est pas une limitation mais une philosophie de conception fondamentale : CrewAI privilégie une synthèse complète et contextuelle où les agents ont une visibilité totale sur le travail précédent.
Le résultat est un itinéraire détaillé de 5 339 jetons qui intègre de manière exhaustive toutes les informations disponibles.

LangChain, AutoGen et LangGraph gèrent le contexte différemment. Bien que ces trois frameworks transmettent les sorties précédentes des agents au planificateur, ils mettent en œuvre diverses stratégies d'optimisation afin de réduire la charge contextuelle cumulative. La gestion de la mémoire de LangChain permet de compresser ou de résumer les sorties intermédiaires, et le framework peut ne pas conserver l'intégralité des détails de la réponse de chaque agent lors de leur enchaînement. Il en résulte une sortie de 3 187 jetons plus concise que celle de CrewAI, mais toujours conséquente.

AutoGen présente un comportement similaire avec 3 316 jetons, ce qui suggère des approches de gestion du contexte comparables entre ces deux frameworks. La gestion d'état basée sur un graphe de LangGraph ne transmet que les états nécessaires.
deltas entre les nœuds, aboutissant à la sortie la plus efficace de 2 589 jetons grâce à ses transitions d'état optimisées.

Écart entre l'agent et l'outil

Le délai entre l'agent et l'outil correspond au temps qui s'écoule entre le moment où un agent reçoit sa tâche et le moment où il invoque effectivement l'outil.

L'écart de 5 secondes constaté par CrewAI dans le Flight Finder représente le temps de délibération réel, tandis que d'autres frameworks affichent des appels d'outils quasi instantanés.

L'architecture de CrewAI repose sur une philosophie d'agent autonome. Lorsque l'agent Flight Finder reçoit sa tâche, il n'exécute pas immédiatement l'outil get_flights. Il suit plutôt un processus de raisonnement :

1. Compréhension de la tâche : L’agent analyse les informations dont il a besoin pour atteindre l’objectif.
2. Évaluation des options : Elle examine les outils disponibles et détermine lequel est le plus approprié.
3. Planification de l'approche : L'agent définit les paramètres et la stratégie d'exécution
4. Passage à l'action : Enfin, l'outil est lancé avec les paramètres définis. Ce délai de 5 secondes correspond à la phase de réflexion de CrewAI avant l'action, un choix de conception privilégiant la qualité de la décision et le raisonnement autonome à la vitesse pure. L'agent ne reçoit pas l'instruction « utiliser cet outil précis » ; il détermine lui-même la meilleure solution.

CrewAI ne propose pas d'option permettant de désactiver la délibération et de passer à l'appel direct des outils.

À l'inverse, les frameworks LangGraph, LangChain et Autogen utilisent des approches d'exécution directe des outils, atteignant des intervalles d'exécution inférieurs à la milliseconde.

LangChain et LangGraph prennent en charge les agents de type ReAct, dont le raisonnement suit le schéma « pensée → action → observation ». Cependant, la composante « Pensée » de ReAct se limite à des invites textuelles. Par exemple, le LLM peut générer « Pensée : Je devrais… ». Cela introduit une génération de jetons supplémentaire, mais ne crée pas de cycle de délibération distinct comme l’intervalle de 5 secondes de CrewAI. Ces étapes de « pensée » sont générées au sein du même appel LLM, dans le cadre d’un processus de génération unique.

Frais généraux d'orchestration entre agents

Nous avons mesuré la latence entre agents en calculant le temps moyen entre la fin d'exécution d'un agent et le démarrage du suivant sur 100 exécutions. Les différences observées étaient minimes, de l'ordre de la milliseconde. Ceci indique que l'architecture du framework influe davantage sur les modèles d'exécution des outils et la gestion du contexte que sur les transferts d'agents. Les différences de performance entre les frameworks proviennent de la prise en compte du contexte par les outils et de la synthèse du contexte, et non du temps passé à basculer entre les agents.

Qu'est-ce que l'orchestration agentique ?

L'orchestration agentique coordonne des agents d'IA autonomes au sein d'un système unifié pour accomplir des tâches complexes et structurées à travers plusieurs systèmes et domaines.

La multi-orchestration permet à plusieurs agents de collaborer comme une équipe virtuelle, chaque agent remplissant un rôle spécifique : certains collectent des données, d’autres les analysent et quelques-uns prennent des décisions. La couche d’orchestration garantit la communication, la planification des tâches et la collaboration entre ces agents.

Contrairement aux scripts d'automatisation statiques, l'orchestration agentique exploite l'IA générative et les modèles d'IA pour s'adapter au contexte, minimiser le besoin d'intervention humaine et permettre une exécution transparente sur divers systèmes.

Orchestration agentique vs orchestration LLM

Ces termes sont parfois utilisés indifféremment car les deux impliquent la coordination de systèmes d'IA, mais ils diffèrent par leur objectif :

• L'orchestration LLM est centrée sur le modèle, optimisant les interactions et les flux de travail entre plusieurs modèles de langage.
• L'orchestration agentique coordonne des agents autonomes pour résoudre des tâches en plusieurs étapes à travers différents systèmes, avec une intervention humaine minimale.

Principes fondamentaux

1. Autonomie : Les agents peuvent agir indépendamment dans le cadre de leurs rôles définis, grâce à l'appel de fonctions vers des systèmes externes.
2. Collaboration : Plusieurs agents d'IA communiquent pour résoudre des problèmes complexes, répartir de multiples tâches et parvenir à une automatisation de bout en bout.
3. Alignement : Les systèmes maintiennent des objectifs cohérents et assurent la conformité aux exigences organisationnelles et réglementaires dans les secteurs fortement réglementés.
4. Observabilité : Les journaux, les outils de surveillance et les évaluations permettent une surveillance et une optimisation continues.
5. Supervision humaine : Les approches avec intervention humaine combinent l’automatisation et l’apport humain dans les contextes à haut risque ou ambigus.

Modèles d'orchestration

L'orchestration multi-agents peut être catégorisée selon plusieurs modèles, en fonction de la manière dont les agents sont coordonnés au sein d'un système. Ces modèles déterminent le flux des tâches, la communication entre les agents et l'architecture globale du système.

Orchestration centralisée

Dans ce modèle, un seul gestionnaire ou agent de routage est chargé d'attribuer les tâches, de contrôler le flux de travail et de garantir l'atteinte des objectifs. Ce gestionnaire fait office de plateforme centrale, distribuant les tâches aux agents spécialisés selon des règles prédéfinies ou un plan dynamique.

Les modèles spécifiques de cette catégorie comprennent :

• Orchestration séquentielle : un pipeline linéaire où un gestionnaire dirige les tâches à travers une séquence fixe d’agents, étape par étape. Ce modèle est idéal pour les processus présentant des dépendances claires, comme les pipelines de traitement de données.

• Orchestration hiérarchique : une structure évolutive et à plusieurs niveaux où une relation manager-subordonné est utilisée pour gérer des tâches complexes au sein de plusieurs départements ou équipes.

Orchestration décentralisée

Ce modèle élimine le point de contrôle unique, permettant à plusieurs agents d'interagir directement et d'accomplir une tâche complexe. Cette approche renforce la résilience et offre une plus grande flexibilité pour la résolution collaborative de problèmes.

Les modèles spécifiques de cette catégorie comprennent :

• Orchestration des conversations de groupe : les agents collaborent via un fil de discussion partagé, s’appuyant sur les contributions des uns et des autres pour parvenir à une décision ou résoudre un problème. Un gestionnaire de conversation peut faciliter les échanges, mais les agents communiquent directement pour parvenir à un consensus.

• Orchestration des transferts : les agents se délèguent dynamiquement des tâches sans l’intervention d’un responsable central. Chaque agent évalue la tâche et décide de la prendre en charge ou de la transférer à un autre agent possédant une expertise plus appropriée, selon un système de recommandation similaire à celui d’un système de parrainage.

Orchestration fédérée

Ce modèle est particulièrement adapté aux environnements fortement réglementés ou distribués. Il favorise la collaboration entre différents systèmes ou services organisationnels tout en garantissant la gouvernance et la sécurité des données. Il combine souvent des éléments des approches centralisées et décentralisées pour gérer un vaste réseau d'agents et de systèmes.

Outils et cadres de travail

Plusieurs frameworks d'agents d'IA fournissent l'infrastructure nécessaire aux flux de travail multi-agents et à l'orchestration multi-agents. En voici quelques exemples :

Voici la liste complète de ces outils par ordre alphabétique :

• LangGraph par LangChain : Fournit une conception modulaire et des flux de travail basés sur des graphes pour les flux de travail complexes et les tâches structurées.
• MetaGPT par FoundationAgents : Encode la collaboration basée sur les rôles (par exemple, ingénieur logiciel, QA) pour coordonner plusieurs agents dans le développement logiciel.
• AutoGen par Microsoft: Se concentre sur la collaboration conversationnelle entre agents numériques, souvent configurés comme des boucles planificateur-exécuteur-critique.
• CrewAI : Organise les agents spécialisés en « équipes » ayant des objectifs spécifiques à chaque rôle, ce qui est utile pour les processus métier et les opérations courantes.
• SDK Agents par OpenAI: Permet une orchestration légère et des transferts d'agents avec appel de fonction à des outils externes.
• CAMEL-AI : Fournit des sociétés modulaires d'agents d'IA autonomes avec des coordinateurs pour les simulations à grande échelle et les processus complexes.
• Kit de développement d'agents par Google : Prend en charge l'orchestration multi-agents avec des capacités intégrées d'évaluation, de débogage et de déploiement.
• Langroid : Implémente un style de modèle d'acteur pour l'orchestration multi-agents, mettant l'accent sur la modularité et la délégation.
• BeeAI : Met l'accent sur l'interopérabilité grâce au protocole de contexte de modèle et à l'intégration d'agents tiers pour une intégration transparente.
• Service d'agent Azure AI Foundation : permet le fonctionnement des agents en environnements de développement, de déploiement et de production en simplifiant l'infrastructure.

Comparez ces frameworks et découvrez leurs fonctionnalités principales :

• référentiel des cadres d'agents
• Systèmes et outils multi-agents

Protocoles de communication des agents

Les frameworks d'orchestration d'agents open source tels que LangGraph, CrewAI et AutoGen implémentent chacun leurs propres conventions de communication entre agents. Cela engendre des problèmes d'interopérabilité lorsqu'il s'agit de combiner des agents issus de différents frameworks au sein d'une même couche d'orchestration. Deux protocoles émergents visent à combler cette lacune.

Le protocole MCP (Model Context Protocol) de Anthropic standardise la manière dont les agents se connectent aux outils externes et aux sources de données. Au lieu que chaque framework implémente sa propre couche d'intégration d'outils, le MCP fournit une interface commune que les plateformes d'orchestration peuvent exploiter pour une communication cohérente entre les agents et les outils.

Le protocole Agent-to-Agent (A2A) de Google permet aux agents construits sur différents frameworks de découvrir leurs capacités respectives et d'échanger des messages. A2A est conçu pour compléter MCP : tandis que MCP gère les interactions agent-outil, A2A se concentre sur la collaboration entre agents. Les agents annoncent leurs capacités via des « cartes d'agent », des documents de métadonnées JSON qui décrivent leur identité, leurs points de terminaison et les modalités prises en charge.

Pourquoi les protocoles sont importants pour l'orchestration :

• Interopérabilité : A2A bénéficie du soutien de plus de 150 organisations, dont LangChain, Salesforce et SAP, permettant ainsi aux agents de différents fournisseurs de collaborer.
• Découverte : Les agents peuvent découvrir et comprendre dynamiquement les capacités des autres agents lors de l'exécution grâce à des mécanismes standardisés.
• Conception complémentaire : un système orchestré peut utiliser A2A pour la communication inter-agents tandis que chaque agent utilise en interne MCP pour accéder à ses outils.
• Complexité réduite : les protocoles standardisés réduisent le besoin d’adaptateurs personnalisés lors de la combinaison d’agents provenant de différents écosystèmes.

Les frameworks qui adoptent A2A ou MCP peuvent s'intégrer plus facilement avec des agents et des outils externes, réduisant ainsi la dépendance vis-à-vis des fournisseurs et simplifiant les déploiements multi-frameworks.

Applications d'orchestration d'agents

L'orchestration multi-agents est la capacité essentielle qui transforme les agents individuels en un système cohérent et orienté vers un objectif. Voici quelques exemples d'applications concrètes où des systèmes multi-agents se coordonnent pour générer de la valeur ajoutée pour l'entreprise.

processus métier

L'orchestration par agents permet une automatisation de bout en bout entre plusieurs services et systèmes. Elle coordonne des agents spécialisés pour gérer des flux de travail complexes et à plusieurs étapes sans intervention manuelle.

• Ressources humaines : Coordonne une équipe d'agents pour gérer l'ensemble du cycle de vie des employés, de l'intégration et des questions-réponses sur les politiques à la gestion des effectifs et au départ des employés.
• Intégration des clients :
• Opérations clients : Les systèmes orchestrés améliorent la qualité du service en gérant les interactions clients sur différents canaux, un groupe d’agents traitant les demandes initiales, fournissant des informations provenant de différentes bases de données et transmettant les problèmes complexes à un intervenant humain pour vérification.

Explorez les agents d'IA pour l'automatisation des flux de travail

Chaîne d'approvisionnement

L'orchestration multi-agents améliore la gestion de la chaîne d'approvisionnement en coordonnant plusieurs agents spécialisés afin de gérer et d'optimiser un réseau complexe de planification, d'approvisionnement, de logistique et de gestion des stocks.

• Maintenance prédictive : une plateforme d’orchestration coordonne des agents pour analyser les données des équipements en temps réel, prédire les pannes potentielles et déclencher automatiquement un agent de maintenance pour planifier une réparation ou commander de nouvelles pièces.
• Gestion des stocks : des agents sont coordonnés pour suivre les niveaux de stock, réapprovisionner automatiquement les approvisionnements lorsqu’un seuil est atteint et communiquer avec les agents logistiques pour gérer les perturbations en temps réel telles que les retards de livraison.
• Intégration des fournisseurs : Un système coordonné d’agents numériques gère l’ensemble du processus, depuis les contrôles de conformité et la génération des contrats jusqu’à l’intégration des nouveaux fournisseurs dans les flux de travail existants de l’entreprise.

Systèmes d'entreprise

L'orchestration agentique fournit la logique de base des processus pilotés par l'IA qui nécessitent une collaboration transparente entre différentes plateformes d'entreprise, telles que les ERP, les CRM et les RPA.

• Processus d'achat et de paiement : une série d'agents coordonnés gère l'intégralité du cycle d'approvisionnement, depuis la passation de la commande par l'agent d'achat jusqu'au traitement de la facture par le service comptabilité fournisseurs, réduisant ainsi les délais et améliorant la transparence.
• De la commande à l'encaissement : un système multi-agents accélère l'ensemble du processus, de la réception de la commande au paiement, en coordonnant les agents qui gèrent le traitement des commandes, leur exécution et les comptes clients, améliorant ainsi les flux de trésorerie et la satisfaction client.
• Règlement des litiges : Un flux de travail orchestré automatise le suivi des réclamations et des rétrofacturations : un agent recueille les informations, un autre analyse le litige et un troisième communique la résolution, simplifiant et accélérant ainsi le processus.

Découvrez comment les agents d'IA sont utilisés dans les systèmes d'entreprise, tels que :

• ERP IA Agentic
• Agents d'IA SAP
• Oracle Agents IA

Services bancaires et financiers

Dans ce secteur, l'orchestration est utilisée pour des flux de travail complexes et sensibles aux risques qui nécessitent la collaboration de plusieurs acteurs afin de garantir l'exactitude et la conformité.

• Conformité réglementaire : Un système coordonné d'agents assure la conformité en validant les informations client par rapport aux listes de surveillance, en signalant les anomalies et en conservant une piste d'audit transparente de chaque action à des fins de contrôle réglementaire.
• Traitement des prêts et des hypothèques : Un flux de travail orchestré permet à un groupe d’agents de gérer l’intégralité du processus d’approbation des prêts, depuis la collecte et la vérification des documents jusqu’à l’application des modèles financiers et l’autorisation finale pour examen par un analyste humain.
• Détection et prévention des fraudes : Il s’agit d’un exemple classique d’orchestration, où un agent surveille les transactions, un autre identifie et signale les activités suspectes, et un troisième bloque le compte et génère un rapport d’incident pour une équipe de sécurité humaine.

Découvrez comment les agents d'IA et les LLM agentsiques sont utilisés dans la finance :

• Agents d'IA en comptabilité
• Benchmark 30 LLM en finance
• Trading d'actions basé sur l'IA

Énergie et services publics

L'orchestration agentique permet la gestion de systèmes hautement distribués et complexes, tels que les réseaux électriques et la gestion de la main-d'œuvre, en permettant à des agents spécialisés de communiquer et d'agir en temps réel.

• Gestion du réseau : Un système multi-agents avec des agents distincts pour les centrales de production, les centres de distribution, les compteurs intelligents individuels et les solutions de réseau intelligent travaillent ensemble pour équilibrer l'offre et la demande d'énergie, optimiser la distribution et prévenir les pannes.
• Du compteur à l'encaissement : Un processus orchestré du compteur à l'encaissement peut automatiser l'intégralité du cycle de facturation, en coordonnant les agents qui gèrent le relevé automatisé des compteurs, la génération des factures et le recouvrement des paiements afin d'améliorer la précision et l'efficacité.
• Gestion des effectifs : Un système d'orchestration optimise la planification et le déploiement des techniciens de terrain en permettant aux agents de coordonner le suivi de la disponibilité des techniciens, d'attribuer des tâches en fonction du lieu et des compétences, et de fournir des mises à jour en temps réel sur l'avancement des travaux.

Télécom

Dans le secteur des télécommunications, l'orchestration est utilisée pour gérer et automatiser les réseaux complexes à grande échelle et les opérations orientées client.

• Opérations réseau : Un système coordonné d'agents surveille différentes parties du réseau afin de détecter automatiquement les pannes, de diagnostiquer le problème et de déclencher une série d'actions pour le résoudre, garantissant ainsi la fiabilité du réseau et minimisant les temps d'arrêt.
• Intégration des clients : l’orchestration accélère le processus en permettant aux agents de coordonner l’activation de la carte SIM, la configuration de l’appareil et l’activation du service, offrant ainsi une expérience client fluide du début à la fin.
• Gestion de la facturation et des revenus : Un flux de travail orchestré automatise les ajustements de facturation complexes, les paiements et les remboursements en confiant la gestion de chaque étape à des agents spécialisés, ce qui améliore la précision et la satisfaction client.

• Systèmes multi-agents : applications et comparaison des outils

Avantages

79 % des dirigeants utilisent des agents d'IA. Pourtant, 19 % des entreprises rencontrent des difficultés de coordination. ⁷ L'orchestration d'agents facilite la gestion des agents entre différentes applications. Voici quelques avantages de l'orchestration d'agents :

• Efficacité opérationnelle : Rationalise les opérations courantes, réduit les coûts et améliore l'évolutivité.
• Agilité opérationnelle : Permet de répondre dynamiquement aux données en temps réel et aux perturbations.
• Collaboration sans faille : assure la coopération entre les agents, les humains et les multiples systèmes.
• Avantages concurrentiels : Favorise l’innovation tout en permettant aux systèmes d’IA de fonctionner aux côtés du personnel humain.
• Amélioration de la satisfaction : Permet d'offrir une expérience client supérieure et d'obtenir des améliorations mesurables de la qualité du service.

Défis

• Gouvernance : Nécessite une gouvernance des données robuste pour prévenir les risques liés à l'interaction de plusieurs acteurs avec des systèmes divers.
• Conformité : Les systèmes doivent garantir la conformité dans les secteurs fortement réglementés, notamment la finance et la santé.
• Supervision humaine : Un déploiement efficace nécessite des seuils clairs pour l'intervention et l'escalade humaines.
• L'intégration transparente aux flux de travail existants et aux systèmes hérités demeure un obstacle majeur. Ces systèmes plus anciens peuvent reposer sur des architectures obsolètes incompatibles avec les technologies d'IA modernes.

Méthodologie de référence

Architecture de flux de travail

Notre flux de travail séquentiel pour agents traite les demandes de voyage en cinq étapes :

1. Agent d'analyse syntaxique : extrait des données structurées à partir d'une entrée en langage naturel (« Je souhaite voyager de Berlin à Rome le 25 octobre 2025. Je resterai 3 jours ») pour identifier l'origine, la destination, les dates et la durée.
2. Agent de recherche de vols : Appelle l’API Amadeus pour récupérer les vols disponibles à l’aide des codes IATA et des dates de départ extraits.
3. Agent de bulletin météo : Récupère les prévisions météorologiques pour la destination pendant toute la durée du séjour à l'aide de WeatherAPI.
4. Agent de recommandation d'activités : associe les activités aux conditions météorologiques (musées en cas de pluie, visites en plein air en cas de soleil).
5. Agent de planification de voyages : Synthétise tous les résultats précédents en un itinéraire détaillé jour par jour avec
   Vols, prévisions météorologiques et activités recommandées.

Variables contrôlées

Afin de garantir une comparaison équitable, nous avons conservé des composants identiques dans tous les frameworks :
Configuration LLM :

• Modèle : Claude Haiku 4.5 via OpenRouter
• Température : 0,1
• Aucune limite maximale de jetons n'est imposée à aucun agent.

Fonctions de l'outil :

• Implémentations Python identiques des fonctions get_flights() et get_weather() dans tous les frameworks.
• Appels API externes vers Amadeus (vols) et WeatherAPI (météo)

Paramètres de test

• Taille de l'échantillon : 100 exécutions par framework
• Mode d'exécution : Exécution séquentielle des agents (pas de traitement parallèle)
• Agrégation des métriques : valeurs moyennes sur toutes les exécutions

Métriques mesurées

1. Latence du pipeline : Temps d’exécution total de bout en bout, de l’entrée à l’itinéraire final
2. Transitions entre agents : Surcharge du framework entre les transferts d'agents séquentiels
3. Latence par agent : temps d’exécution individuel pour chacun des cinq agents
4. Écart entre l'agent et l'outil : temps écoulé entre l'initialisation de l'agent et le premier appel à l'outil
5. Utilisation des jetons : Jetons de sortie générés.

Implémentation du chronométrage : Tous les chronométrages ont été effectués à l’aide de la fonction `time.time()` de Python, avec une précision à la milliseconde. Pour chaque agent, nous avons enregistré l’heure de début avant l’exécution et l’heure de fin après l’achèvement, et calculé la latence comme suit :
différence. Pour l'exécution de l'outil, nous avons mesuré le temps juste avant l'appel à l'API et juste après la réception de la réponse. Les transitions entre agents ont capturé l'intervalle entre le moment où un agent termine et
Lorsque le framework démarre l'agent suivant, cette surcharge propre au framework exclut le temps d'exécution de LLM et de l'outil.

Comptage des jetons : Nous avons utilisé une approche à double source pour plus de précision :

1. Suivi intégré au framework (lorsqu'il est disponible) :

• LangChain : cb.total_tokens à partir des rappels
• LangGraph : Utilisation des jetons à partir des points de contrôle d’état
• AutoGen : agent.get_total_usage() à partir des résultats de chat

1. Estimation du jeton TikTok (solution de repli pour Claude via OpenRouter)
   Étant donné que Claude n'expose pas le nombre de jetons via OpenRouter dans tous les frameworks, nous avons utilisé tiktoken comme approximation cohérente dans toutes les implémentations.

Infrastructure d'observabilité : Toutes les métriques sont validées par des outils d'observabilité :

• Laminaire : Collecte de traces en temps réel, mesures de latence et suivi des jetons.
• AgentOps : Suivi de l’exécution des agents, surveillance des performances.
  Ces plateformes ont permis de valider sur le terrain notre instrumentation manuelle, garantissant ainsi la précision des mesures.
  précision dans différents contextes.

Résultats agrégés sous forme de moyennes sur 100 essais.

Lectures complémentaires sur l'orchestration agentique

Pour en savoir plus sur Agentic AI, consultez :

• Les 7 couches de la pile d'IA agentique
• 4 Modèles de conception d'IA agentique et exemples concrets .

Liens de référence

1.

ResearchGate - Temporarily Unavailable

2.

AI Agent Orchestration Patterns - Azure Architecture Center | Microsoft Learn

3.

4.

5.

6.

AI Orchestration | BA Insight

Upland Software

7.

AI agent survey: PwC

Hazal Şimşek

Analyste du secteur

Suivre

Hazal est analyste sectorielle chez AIMultiple, spécialisée dans l'exploration de processus et l'automatisation informatique.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire