Les agents s'appuient sur des interfaces web pour accomplir des tâches sur le web. Pour comparer l'exécution des tâches entre différentes interfaces web, nous avons construit le benchmark Web Agentique AIM et exécuté 100 tâches sur 7 interfaces, 5 fois chacune, pour 3 500 résultats notés.
Taux de réussite
Bright Data CLI et Bright Data MCP ont terminé 8.2 et 8.4 tâches de plus pour 100 que Firecrawl MCP, le meilleur des cinq autres.
Dix tâches d'exemple sont sur GitHub, et la méthodologie explique comment nous avons exécuté le benchmark.
Cohérence entre les exécutions
Bright Data MCP a la meilleure exécution avec 52 %. L'écart entre la meilleure et la pire exécution sur Oxylabs MCP n'est que de 5 tâches sur 5 exécutions. C'est l'interface la plus cohérente du panel, suivie par :
- Bright Data CLI : 7
- Nimble MCP : 7
- Nimble CLI : 9
- Firecrawl MCP : 10
- ZenRows MCP : 11
- Bright Data MCP : 15
Coût et rapidité
Bright Data MCP est l'interface la plus rapide avec une médiane de 186 secondes par tâche, et les cinq outils MCP ont enregistré des médianes inférieures aux deux outils CLI. Chez le même fournisseur, le CLI a mis 1.9 fois plus de temps que le serveur MCP pour Bright Data et 3.3 fois plus de temps pour Nimble. Nimble CLI est le plus lent avec 830 secondes et a réessayé 144 de ses 500 tâches après des délais d'attente, plus que toute autre interface.
Le coût total correspond à la dépense en tokens de l'agent plus les frais du fournisseur. Nimble MCP affiche le total le plus bas, à 0.072 $ par tâche. Pour les deux interfaces Bright Data et ZenRows MCP, qui utilisent un navigateur distant facturé à la bande passante, les frais du fournisseur représentent de 40 à 51 pour cent du total. Le chiffre de Firecrawl exclut les sessions de navigateur facturées à la minute ; il s'agit donc d'une borne inférieure.
Causes d'échec
Bright Data CLI a été bloqué en moyenne 17.6 fois pour 100 tâches, le chiffre le plus faible du panel, tandis que Firecrawl MCP, Nimble MCP et Oxylabs MCP ont été bloqués de 1.7 à 2 fois plus souvent.
Nimble CLI a été bloqué le moins parmi les cinq interfaces non-Bright Data, avec 18.2, mais n'a rien renvoyé sur 28.4 tâches pour 100, le taux de non-livraison le plus élevé du panel, ce qui reflète l'atteinte de la limite de 30 minutes dans 36.3 pour cent de ses tentatives (les tentatives dépassent les tâches car les tâches ayant expiré ont été réessayées une fois).
Ajouter comme source préféréeMéthodologie
Chaque interface a été exécutée sur son propre VPS. L'agent était OpenClaw, exécutant MiniMax M3 via OpenRouter, sans aucune exécution de tâches en parallèle. Chaque serveur disposait de 2 vCPU et de 2GB de RAM.
L'ensemble de tâches utilisé était identique pour les sept interfaces lors des 5 exécutions.
Avant chaque exécution, une sonde récupérait une page à faible coût via le compte du fournisseur, et l'exécution refusait de démarrer si cette récupération échouait. Chaque tentative disposait de 30 minutes.
Une tâche qui a expiré ou qui a renvoyé moins de 500 octets de sortie a eu droit à une nouvelle tentative, sauf les quatre tâches à changement d'état, qui n'ont jamais été réessayées car une première tentative pouvait déjà avoir modifié un panier. La nouvelle tentative est celle qui est notée, et le coût du model et le temps en proviennent, même lorsqu'elle a également atteint la limite.
Versions utilisées dans ce benchmark :
Tâches d'exemple
Dix des 100 tâches sont publiées intégralement sur GitHub, avec l'instruction donnée à l'agent, le format de sortie, les règles de réussite et la façon dont chaque interface a été notée.
Dataset
Les 100 tâches couvrent 29 sites web répartis en six catégories. Nous avons sélectionné des sites web parmi les 20 premiers sites de SimilarWeb en termes de trafic dans chaque catégorie au 15 mai 2026, en commençant par le haut de chaque liste.
Nous avons exclu les sites qui desservent un marché unique non américain, les copies régionales d'un site choisi, les applications de messagerie, les sites nécessitant une connexion et les sites n'ayant aucune annonce publique à rechercher.
Nous avons préparé de 2 à 5 tâches par site web selon le nombre d'actions que le site prend en charge. Quatre-vingt-seize tâches récupèrent des informations, et quatre modifient un état sur le site distant.
Évaluation
Chaque tâche et ses conditions de réussite ont été rédigées en anglais. Le correcteur lit le fichier de règles et ne note que lorsque chaque règle qui s'y applique est respectée.
Bloqué signifie que l'agent a renvoyé un message d'erreur au lieu des données, par exemple que le fournisseur n'a pas pu atteindre le site ou qu'une ventilation des frais n'était pas affichée sur la page.
Contourné signifie que l'agent a récupéré la page directement plutôt qu'en utilisant l'interface du fournisseur, généralement via une requête directe depuis le shell. Nous les repérons dans les journaux de session. Une tâche contournée ne rapporte rien et reste dans le total des 100 tâches.
Les cellules « Non déterminé » sont celles pour lesquelles le correcteur n'a pas pu décider si la réponse était correcte. Elles n'ont été comptées ni comme correctes ni comme bloquées. Cela concerne de 8 à 18 tâches par interface et par exécution, toutes issues des mêmes 28 tâches.
Les mêmes tâches, les mêmes instructions et le même model ont été utilisés sur les sept interfaces, et les règles ont été figées avant la première exécution.
Coût
Le graphique additionne deux nombres. Le coût du model est ce que l'agent a dépensé en tokens, MiniMax M3 via OpenRouter, à raison de 0.30 $ par million de tokens d'entrée, 1.20 $ par million de tokens de sortie et 0.06 $ par million de lectures de cache, compté à partir de la tentative notée de chaque tâche.
Le coût de l'interface est ce que le fournisseur a facturé pour le même travail, en moyenne sur cinq exécutions :
- Bright Data : provient de la facturation du compte par zone et par jour. Scraping Browser est à 8 $ par Go plus 0.10 $ par heure, Web Unlocker à 1.50 $ par 1K requêtes, SERP à 1.50 $ par 1K.
- ZenRows : depuis leur panneau, la bande passante des sessions de navigateur plus les crédits de fetch tels qu'enregistrés. Le forfait est de 129,99 EUR par 1M crédits ; le navigateur revient à environ 40 500 crédits par Go, et le fetch a utilisé en moyenne 14 crédits par requête après les multiplicateurs de rendu JS et de proxy premium.
- Oxylabs : nombre de requêtes issu des transcriptions de l'agent à 1.15 $ par 1K résultats.
- Firecrawl : crédits comptés à partir des transcriptions à 83 $ par 100K crédits, 1 crédit par scrape.
- Nimble : requêtes comptées à partir des transcriptions à 1.00 $ par 1K pour l'extraction et 1.10 $ par 1K pour la recherche.
Limites
Nimble CLI a expiré dans 36.5 pour cent de ses tentatives.
Toutes les interfaces ont des vitesses différentes ; toutes les tâches n'ont pas commencé ni fini au même moment. Certaines tâches dépendent de la date ou de ce qui est listé à ce moment-là ; c'est pourquoi, sur celles-ci, certains fournisseurs n'ont pas vu la même page. Les règles de réussite ont été rédigées pour tester le format et la récupération, et non une annonce précise ; ainsi, une page modifiée ne change pas le score.
Citer cette recherche
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Kalelioğlu, Berk},
title = {{Benchmark Web Agentique AIM}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/agentic-web}},
note = {AIMultiple. Consulté le 29 septembre 2026}
}Résultats et horodatages de 16 points de données. Téléchargez les données de synthèse présentées dans les graphiques et les tableaux de cet article sous forme de fichier ZIP contenant 2 fichiers CSV.
Vous voulez les données détaillées derrière ? Rejoindre Premium
Le travail de Cem chez AIMultiple a été cité par des publications mondiales de premier plan, notamment Business Insider, Forbes, Morning Brew et Washington Post, par des entreprises mondiales comme Deloitte et HPE, par des ONG comme World Economic Forum et par des organisations supranationales comme European Commission. [1], [2], [3], [4], [5]
Tout au long de sa carrière, Cem a été consultant en technologies, acheteur de technologies et entrepreneur technologique. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la digitalisation.
Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité du PDG. Il a également dirigé la croissance commerciale de l'entreprise de technologie profonde Hypatos, qui a atteint un revenu récurrent annuel à 7 chiffres et une valorisation à 9 chiffres, passant de 0 à ce résultat en deux ans. Le travail de Cem chez Hypatos a été couvert par des publications technologiques de premier plan comme TechCrunch et Business Insider.
Cem intervient régulièrement lors de conférences technologiques internationales. Il est diplômé de Bogazici University en tant qu'ingénieur informatique et titulaire d'un MBA de la Columbia Business School.
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.