Les agents s'appuient sur des interfaces web pour accomplir des tâches sur le web. Pour mesurer l'impact du choix de l'interface sur l'accomplissement des tâches, nous avons conçu le Benchmark Web Agentique AIM et tenté 3 500 tâches (100 tâches accomplies via 7 interfaces web au cours de 5 exécutions).
Taux de réussite
Une interface Bright Data a dominé chaque exécution. La CLI Bright Data a récupéré 8 tâches de plus que la meilleure interface non-Bright Data, à savoir Firecrawl MCP.
Examinez 10 tâches d'exemple sur GitHub et découvrez comment nous exécutons ce benchmark dans la méthodologie
Cohérence entre les exécutions
Bright Data MCP a réalisé la meilleure exécution avec 52 %. L'écart entre la meilleure et la pire exécution sur Oxylabs MCP n'est que de 5 tâches sur 5 exécutions. C'est l'interface la plus régulière du panel, suivie par :
- Bright Data CLI : 7
- Nimble MCP : 7
- Nimble CLI : 9
- Firecrawl MCP : 10
- ZenRows MCP : 11
- Bright Data MCP : 15
Coût et vitesse
L'axe du coût ajoute la dépense de tokens de l'agent à ce que le fournisseur a facturé pour la même tâche. En matière de temps, les outils MCP battent les deux outils CLI sans chevauchement. Travailler avec la CLI signifie que l'agent lance un shell, relit le texte et réessaie souvent la syntaxe, et chaque tour supplémentaire réintègre l'intégralité de la conversation. Les lectures de cache dominent le coût, de sorte que le graphique compte surtout le nombre de tours nécessaires à une interface avant que l'agent puisse répondre.
Nimble MCP est l'interface la moins chère et la plus rapide du benchmark à $0,065 par tâche, suivie de Firecrawl MCP à $0.08. Bright Data MCP est la plus rapide, avec une médiane de 186 secondes par tâche. La CLI Nimble a eu plus de nouvelles tentatives que les autres outils en raison de délais dépassés. Une tâche qui arrive à expiration bénéficie d'une deuxième tentative, et seule cette deuxième tentative est évaluée. Le coût et la latence proviennent de cette même tentative évaluée, qui peut elle-même avoir atteint la limite.
Raisons des échecs
La CLI Bright Data a été bloquée en moyenne 17.6 fois pour 100 tâches, soit le chiffre le plus bas du panel, tandis que Firecrawl MCP, Nimble MCP et Oxylabs MCP ont été bloqués presque deux fois plus souvent.
La CLI Nimble a été la moins bloquée des quatre interfaces autres que Bright Data, avec 18.2, mais n'a rien renvoyé sur 28.4 tâches pour 100, soit le taux le plus élevé de non-livraison du panel, ce qui reflète l'atteinte de la limite de 30 minutes sur 36.5 pour cent de ses tentatives (les tentatives dépassent les tâches car les tâches ayant expiré ont été réessayées une fois).
Ajouter comme source préféréeMéthodologie
Chaque interface a fonctionné sur son propre VPS. L'agent était OpenClaw exécutant MiniMax M3 via OpenRouter, sans aucune exécution de tâche en parallèle. Chaque serveur disposait de 2 vCPU et de 2GB de RAM.
L'ensemble de tâches utilisé était identique pour les sept interfaces lors des 5 exécutions.
Chaque tentative disposait de 30 minutes. Une tâche ayant expiré a eu droit à une nouvelle tentative, à l'exception des quatre tâches modifiant un état, qui n'ont jamais été réessayées. Avant chaque exécution, une sonde a récupéré une page à faible coût via le compte du fournisseur, et l'exécution refusait de démarrer si cette récupération échouait.
Versions utilisées dans ce benchmark ;
Tâches d'exemple
Dix des 100 tâches sont publiées intégralement sur GitHub, avec l'instruction donnée à l'agent, le format de sortie, les règles de réussite et la manière dont chaque interface a été évaluée.
Jeu de données
Les 100 tâches couvrent 29 sites web dans les catégories suivantes : e-commerce (24 tâches), voyage (21), immobilier (17), billetterie (15), réseaux sociaux (15) et emploi (8). Nous avons préparé 2 à 5 tâches par site web selon le nombre d'actions que le site prend en charge. Quatre-vingt-seize tâches consistent à récupérer des informations, et quatre modifient l'état sur le site distant et ne sont jamais réessayées, car une première tentative peut déjà avoir modifié un panier.
Évaluation
Chaque tâche et ses conditions de réussite ont été rédigées en anglais. L'évaluateur lit le fichier de règles et n'attribue de score que lorsque chaque règle applicable est respectée.
Bloqué signifie que le fournisseur n'a pas pu atteindre le site et l'a signalé. La réponse est revenue sous forme de message d'erreur au lieu de données.
Contourné signifie que l'agent a récupéré la page directement au lieu d'utiliser l'interface du fournisseur, généralement via une requête directe depuis le shell. Nous les repérons dans les journaux de session. Une tâche contournée ne rapporte rien et reste dans le total de 100 tâches.
Les cellules « Non déterminé » sont celles pour lesquelles l'évaluateur n'a pas pu décider si la réponse était correcte. Elles n'ont été comptées ni comme correctes ni comme bloquées. Cela concerne de 8 à 18 tâches par interface et par exécution, toutes issues des mêmes 27 tâches.
Les mêmes tâches, instructions et model ont été utilisés sur les sept interfaces, et les règles ont été verrouillées avant la première exécution.
Coût
Le graphique additionne deux chiffres. Le coût du model correspond à ce que l'agent a dépensé en tokens, MiniMax M3 via OpenRouter à raison de $0,30 par million de tokens en entrée, $1,20 par million de tokens en sortie et $0,06 par million de lectures de cache, calculé à partir de la tentative évaluée de chaque tâche.
Le coût de l'interface correspond à ce que le fournisseur a facturé pour le même travail, en moyenne sur cinq exécutions :
- Bright Data : relevé sur la facturation du compte par zone et par jour. Scraping Browser est facturé $8 par Go plus $0,10 par heure, Web Unlocker $1,50 par 1K requêtes, SERP $1,50 par 1K.
- ZenRows : d'après leur panneau, bande passante de session navigateur plus crédits de fetch tels qu'enregistrés. Le forfait est de 129,99 EUR par 1M crédits ; le navigateur revient à environ 40 500 crédits par Go, et le fetch a été en moyenne de 14 crédits par requête après le rendu JS et les multiplicateurs de proxy premium.
- Oxylabs : comptage des requêtes d'après les transcriptions de l'agent à $1,15 par 1K résultats.
- Firecrawl : crédits comptés d'après les transcriptions à $83 par 100K crédits, 1 crédit par extraction.
- Nimble : requêtes comptées d'après les transcriptions à $1,00 par 1K pour l'extraction et $1,10 par 1K pour la recherche.
Limites
La CLI Nimble a expiré sur 36.5 pour cent de ses tentatives.
Les interfaces ont toutes des vitesses différentes, et les tâches ne commencent ni ne se terminent pas toutes en même temps. Certaines tâches dépendent de la date ou de ce qui est affiché à ce moment-là ; pour celles-ci, certains fournisseurs n'ont pas vu la même page. Les règles de réussite ont été rédigées pour tester le format et la récupération, et non une annonce particulière, de sorte qu'une page modifiée ne change pas le score.
Citer cette recherche
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Kalelioğlu, Berk},
title = {{Benchmark Web Agentique AIM}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/agentic-web}},
note = {AIMultiple. Consulté le 29 septembre 2026}
}Résultats et horodatages de 0 points de données. Téléchargez les données de synthèse présentées dans les graphiques et les tableaux de cet article sous forme de fichier ZIP contenant 0 fichiers CSV.
Vous voulez les données détaillées derrière ? Rejoindre Premium
Le travail de Cem chez AIMultiple a été cité par des publications mondiales de premier plan, notamment Business Insider, Forbes, Morning Brew et Washington Post, par des entreprises mondiales comme Deloitte et HPE, par des ONG comme World Economic Forum et par des organisations supranationales comme European Commission. [1], [2], [3], [4], [5]
Tout au long de sa carrière, Cem a été consultant en technologies, acheteur de technologies et entrepreneur technologique. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la digitalisation.
Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité du PDG. Il a également dirigé la croissance commerciale de l'entreprise de technologie profonde Hypatos, qui a atteint un revenu récurrent annuel à 7 chiffres et une valorisation à 9 chiffres, passant de 0 à ce résultat en deux ans. Le travail de Cem chez Hypatos a été couvert par des publications technologiques de premier plan comme TechCrunch et Business Insider.
Cem intervient régulièrement lors de conférences technologiques internationales. Il est diplômé de Bogazici University en tant qu'ingénieur informatique et titulaire d'un MBA de la Columbia Business School.
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.