Benchmarks de web scraping

AIM Web Data Scraping Index Methodology

L'indice réutilise les résultats bruts de chaque benchmark de données web que nous avons publié. Un benchmark est pris en compte s'il teste des fournisseurs de données web et enregistre le résultat de chaque requête. Le score d'un fournisseur dans l'indice est la moyenne de ses taux de réussite dans les benchmarks auxquels il a participé. Un fournisseur n'est classé que s'il a été testé dans au moins 80 % des benchmarks, la même règle que le SDG Index. Les fournisseurs en dessous restent visibles dans les graphiques, mais sans rang. Chaque benchmark a le même poids : une étude de 1 400 requêtes compte autant qu'une étude de 260 000. Une réussite signifie que la réponse a renvoyé la page cible avec le contenu demandé. Nous le vérifions face aux pages de bots et aux pages vides, si bien qu'une réponse 200 contenant une page de challenge compte comme un échec. Si un fournisseur n'a jamais été testé dans un benchmark, nous affichons un tiret au lieu d'un zéro.

Les cibles proviennent de la liste Tranco, qui classe les domaines en faisant la moyenne de plusieurs classements de trafic. Avant les tests, nous retirons les hôtes inactifs, pour adultes, de jeux d'argent et malveillants. Les domaines sont regroupés en catégories : e-commerce, réseaux sociaux, moteurs de recherche, vidéo et streaming, voyage, avis, livraison de repas, boutiques d'applications, immobilier, offres d'emploi, presse et édition, développeurs et SaaS, finance, ainsi qu'administration et éducation. La couverture des domaines et la prise en charge du JSON structuré sont vérifiées sur le top 100. Le coût est exprimé pour 1 000 pages réussies, et non pour 1 000 requêtes envoyées. Nous prenons l'offre la moins chère proposée par un fournisseur pour ce volume et la divisons par le taux de réussite mesuré. Le temps d'exécution correspond à la durée d'une requête du début à la fin. Les champs de métadonnées sont les champs analysés qu'un fournisseur renvoie lorsqu'il répond en JSON. Prêt pour l'IA est la part des réponses renvoyées en markdown propre. Les résultats anti-bot proviennent de deux de nos campagnes, le benchmark d'unblockers sur 10 000 domaines et le benchmark e-commerce sur les 100 premiers domaines, chaque domaine étant associé au fournisseur qui le protège. Les barres d'erreur sont des intervalles de confiance à 95 %.