Benchmark de données web éthiques & conformes

À mesure que les entreprises développent leurs opérations de données web, les responsables de la conformité, des données et des risques évaluent de plus en plus les risques éthiques, réputationnels et juridiques.

Nous avons comparé 5 principaux services de collecte de données web selon 3 dimensions et testé chaque service avec plus de 20 scénarios potentiellement contraires à l'éthique.

Notre travail vous aide à évaluer la position éthique de vos pratiques de collecte de données et à comprendre les conséquences potentielles des approches non éthiques. Nous fournissons également des lignes directrices pour une collecte de données web éthique et évaluons les services de collecte de données web sous l'angle de l'éthique et de la conformité :

Évaluation des services de collecte de données web

Nous avons évalué les principaux services de collecte de données web (également appelés fournisseurs de données web ou infrastructure de données web) à l'aide de notre liste de contrôle des données web éthiques. Ces scores représentent des niveaux de maturité, 5 étant le niveau le plus élevé :

* Il s'agit de codes pour les noms des fournisseurs. Ces fournisseurs ne souhaitaient pas être référencés dans ce rapport et sont répertoriés en bas de la liste jusqu'à ce que nous résolvions ce problème.

** ✅ indique que l'entreprise a choisi de partager ses certificats d'assurance avec AIMultiple. ❌ indique que l'entreprise a décidé de ne pas partager ses certificats d'assurance avec nous et que nous n'avons donc pas pu valider leur couverture d'assurance. La couverture d'assurance est la seule catégorie où nous avons compté sur la participation des sociétés de services de données web pour les évaluer.

Trié par score récapitulatif.

Modèle de notation pour des données web éthiques

Ci-dessous, nous expliquons comment ces scores sont calculés. Vous pouvez également consulter la logique de sélection de ces dimensions de notation.

Dans les 2 premières catégories, nous avons identifié 5 compétences, et les entreprises ont reçu des scores en fonction du nombre de compétences satisfaites. Le niveau 5 représente la maturité la plus élevée observée sur le marché, reflétant les meilleures pratiques actuelles plutôt que la perfection.

Capacités pour une utilisation éthique par les clients

• Processus efficaces pour une utilisation éthique : nous évaluons la capacité de chaque fournisseur à empêcher une utilisation non éthique de ses services de proxy résidentiels à l'aide de scénarios de test contrôlés. Si l'une de nos demandes est bloquée par le fournisseur, cela est atteint.
• Processus améliorés pour une utilisation éthique : similaire aux « processus efficaces pour une utilisation éthique », mais cette capacité indique que le fournisseur de services a bloqué plus d'une de nos tentatives d'utiliser ses services à des fins non éthiques.
• Processus de meilleure pratique pour une utilisation éthique : similaire aux « processus efficaces pour une utilisation éthique », mais cette capacité indique que le fournisseur de services a bloqué la plupart de nos tentatives d'utiliser ses services à des fins non éthiques.
• Fondation de la gestion des abus : publication d'une politique de gestion des abus et d'un moyen de signaler les abus
• Gestion des abus réactive : nous avons mesuré la manière dont les entreprises répondaient à plusieurs signalements d'abus. Même en l'absence de ligne directe pour signaler les abus, nous avons utilisé les adresses e-mail indiquées par l'entreprise pour contacter leur équipe. Si nous n'avions reçu aucune réponse à notre signalement dans un délai d'une semaine, l'entreprise est considérée comme non réactive.

Capacités pour un approvisionnement éthique

L'approvisionnement éthique consiste à acquérir des adresses IP de manière éthique. Notre analyse de marché a identifié les niveaux de transparence suivants concernant l'approvisionnement éthique en IP :

• Niveau 1 : Publication d'une politique d'approvisionnement en IP.
• Niveau 2 : A divulgué au moins une source (par exemple une application mobile) pour les IP qui fournit des IP de manière éthique. La source divulguée doit avoir au total au moins 10k avis sur des plateformes tierces, incluant Google, Apple, les magasins d'applications Amazon et Trustpilot.
• Niveau 3 : Identique au niveau 3 mais avec 100k avis
• Niveau 4 : Identique au niveau 3 mais avec 1M avis
• Niveau 5 : Identique au niveau 4 mais avec 10M avis

Les avis sont un indicateur de la popularité des applications et constituent un signal important pour cette évaluation. Les services de collecte de données web doivent travailler avec des applications populaires pour pouvoir satisfaire les besoins en IP de leurs clients.

Pour être admissibles, les applications divulguées doivent suivre ces bonnes pratiques. Nous ne vérifierons pas cela pour chaque application divulguée, mais pour quelques-unes sélectionnées au hasard :

• Consentement éclairé :
  • Les utilisateurs doivent donner leur consentement avant de partager leur connexion internet. L'écran d'adhésion doit indiquer :
    • Le fournisseur
    • Le service
    • Comment leur IP sera utilisée
  • Les utilisateurs doivent pouvoir accéder à des informations détaillées sur
    • Comment leur connexion internet sera utilisée
    • La politique de confidentialité
• Valeur : Les utilisateurs doivent recevoir une certaine valeur de l'application (par exemple un paiement, la possibilité de sauter des publicités ou une autre fonctionnalité)
• Confidentialité : Collecte limitée et transparente des données utilisateur.

Pour les réseaux de proxy résidentiels, les acheteurs doivent également vérifier si le consentement est spécifique, éclairé, révocable et distinct des autorisations d'application non liées. Ils doivent se demander si les utilisateurs peuvent facilement se retirer, si l'utilisation de la bande passante est plafonnée, si les mineurs sont exclus et si le fournisseur audite les applications ou les SDKs qui fournissent des IP résidentielles.

Certification externe

Nous avons évalué la certification externe en fonction de l'obtention par les entreprises des certificats pertinents pour la sécurité et la conformité de niveau entreprise.

• Certification PII : Capacité démontrée à gérer les PII en obtenant la norme ISO 27018
• Certification de sécurité des données : Pratiques de sécurité des données démontrées en obtenant l'un de ces certificats : SOC 2 ou ISO/IEC 27001
• Source IP sur liste blanche : Les fournisseurs de certification externe comme McAfee certifient soit :
  • Des applications 3rd party spécifiques qui fournissent des IP
  • Un SDK qui collecte des IP à partir d'applications 3rd party
• Pratiques éthiques évaluées : Un projet d'assurance ISAE 3000 peut être réalisé pour évaluer la conformité interne et les pratiques éthiques.

Assurance

Nous avons demandé aux fournisseurs de nous fournir ces documents d'assurance :

• Certificat d'assurance responsabilité civile professionnelle offrant une couverture pour les responsabilités des fournisseurs en cas de problèmes dans le service
• Certificat d'assurance cyber offrant une couverture pour les responsabilités des fournisseurs en cas de problèmes liés à la sécurité de l'information.

Score récapitulatif

Ce score est la somme de tous les scores divisée par 3. Les scores sont :

• 0 à 5 pour les capacités d'utilisation éthique par les clients
• 0 à 5 pour les capacités d'approvisionnement éthique
• 0 à 3 pour la certification externe
• 0 à 2 pour les assurances

Principaux services de collecte de données web

AIMultiple a sélectionné les 7 plus grands services de collecte de données web en termes d'employés sur LinkedIn. Nous avons choisi cet indicateur car il est à la fois public et devrait être corrélé aux revenus de l'entreprise et à sa maturité pour les entreprises. De meilleurs indicateurs tels que les revenus ou le nombre d'employés en paie ne sont pas disponibles publiquement pour ces sociétés privées.

Toutes les entreprises sélectionnées ont plus de 100 employés connectés à leurs pages de profil LinkedIn en avril 2025. Actuellement, 5 des 7 sélectionnées sont affichées sur cette page et les 2 autres entreprises ont choisi de ne pas être incluses dans le rapport.

Produits de collecte de données web concernés

Ces entreprises proposent une gamme de produits incluant des proxies, des APIs de data scraping et des datasets. Bien que tous les produits puissent être examinés d'un point de vue éthique, nous sommes initialement concentrés sur le produit qui offre le plus de flexibilité et qui alimente la plupart des autres produits : les proxies résidentiels.

Les produits de collecte de données web peuvent être considérés comme une hiérarchie où les proxies forment la couche de base sur laquelle tous les autres services sont construits. En effet, les proxies permettent aux machines d'accéder à Internet via différentes destinations, permettant un ensemble diversifié et étendu de connexions Internet cruciales pour la collecte de données. Par conséquent, les proxies sont le produit de collecte de données web le plus performant, pouvant être utilisé pour réaliser des fonctions qui ne seraient pas possibles avec des datasets ou des APIs de data scraping.

Parmi les proxies, les proxies résidentiels sont le produit le plus difficile à identifier comme proxy pour les sites web. Par exemple, d'autres proxies tels que les proxies de datacenter sont faciles à identifier en raison de leur emplacement. Par conséquent, les proxies résidentiels alimentent la plupart des autres produits de données web comme les APIs de data scraping.

Vérifiez : votre collecte de données web est-elle conforme & éthique ?

Votre entreprise exploite très probablement des données web. Cependant, le secteur est peu réglementé, d'où l'importance de choisir un fournisseur éthique et conforme. Pour y parvenir, nous avons préparé un cadre holistique prenant en compte différents aspects de la collecte de données web, notamment l'approvisionnement éthique, l'utilisation éthique et la certification externe.

Les données web sont un actif opérationnel courant

En tant qu'entreprise, votre activité repose en partie sur les données web en raison de leurs nombreux cas d'utilisation, tels que :

• Tarification dynamique pour le retail & e-commerce
• Données alternatives en temps réel pour les fonds d'investissement
• Processus KYC dans la banque commerciale
• Entraînement ou fine-tuning de modèles d'IA
• Inférence IA ou RAG
• Étude de marché

Avec l'IA, les données web sont désormais plus importantes

Bien que la collecte de données web soit aussi ancienne que le web, son importance a considérablement augmenté après l'essor des modèles d'IA générative. Les créateurs de ces modèles, tels que OpenAI et Anthropic, ont démarré sans partenariats de contenu significatifs et ont utilisé principalement des données en ligne pour construire leurs modèles initiaux, ce qui a conduit à l'essor de l'industrie de l'IA valant des milliards de dollars.

Supervision réglementaire limitée

Bien que la réglementation de l'IA soit sous les spotlight, l'industrie de la collecte de données reste largement non réglementée dans la plupart des pays. Les activités illégales claires en ligne sont bien définies. Cependant, il existe peu d'exigences réglementaires pour que les acteurs du secteur préviennent de manière proactive l'utilisation abusive de leurs services par les utilisateurs.

Il appartient aux plateformes elles-mêmes de définir les meilleures pratiques et les normes de conformité pour garantir une collecte de données et une utilisation des proxies éthiques. Par conséquent, le choix de votre fournisseur est plus important dans la collecte de données que dans les secteurs fortement réglementés comme la banque, où chaque prestataire de services est tenu de respecter de nombreuses réglementations.

La position éthique de vos fournisseurs fait partie de la réputation de votre entreprise

Que vous collectiez ou consommiez les données, vous êtes responsable de leur processus d'acquisition.

Les responsabilités des entreprises pour les activités illégales dans leur chaîne d'approvisionnement dépendent de la juridiction. Par exemple, en Allemagne, les entreprises sont tenues de mener des activités KYS et de gestion des risques pour identifier et prévenir les préjudices causés par leur chaîne d'approvisionnement. Même lorsque les entreprises ne sont pas responsables des préjudices causés par leur chaîne d'approvisionnement, elles peuvent subir un risque de réputation.

Quel est le coût d'une collecte de données non éthique & non conforme ?

Risque de réputation

S'il devient public qu'une entreprise utilise un service de collecte de données web qui adopte un comportement non éthique ou des actions mettant en danger sa sécurité des données, cela peut entraîner des dommages importants à sa réputation, tels qu'une perte d'activité, une attrition de la clientèle, une fuite des talents et une perte de confiance des investisseurs.

Exemples concrets de perte de réputation liée aux fournisseurs d'entreprise :

• Nike a subi des dommages de réputation à plusieurs reprises en raison des pratiques de travail non éthiques de ses fournisseurs.¹
• De nombreuses entreprises comme EY ont perdu la confiance de leurs clients lorsqu'elles ont été affectées par la brèche du logiciel de transfert de fichiers géré MOVEit. ²

Risque juridique

La perte de réputation, surtout lorsqu'elle entraîne une indignation publique, est généralement suivie de poursuites judiciaires de la part des clients de l'entreprise ou d'autres parties prenantes lésées par les pratiques non éthiques.

Exemple concret : Starbucks est l'une des marques récentes à être poursuivie pour s'approvisionner auprès d'entreprises ayant des pratiques non éthiques.³

Liste de contrôle des données web éthiques

Les données web d'entreprise doivent satisfaire 3 exigences pour être éthiques :

Utilisation éthique par les clients

Dans le cadre de leurs processus Know Your Supplier, les entreprises évitent d'utiliser des services qui permettent des activités non éthiques. L'utilisation de tels services expose les entreprises à des risques de réputation.

Exemple concret : Dans les cas où un fournisseur a été documenté comme permettant l'utilisation de sa plateforme pour des activités non éthiques, de nombreuses entreprises ont pris leurs distances avec ce fournisseur jusqu'à ce qu'il améliore ses pratiques.⁴

Comment cela se rapporte aux données web : Les données web sont collectées via différentes adresses IP. Ces adresses peuvent être utilisées pour mener diverses activités illégales telles que les attaques DDOS pour empêcher la fourniture de services numériques, la collecte non autorisée de données non publiques ou la fraude publicitaire. Les acteurs malveillants ont besoin d'IP pour alimenter leurs actions et les fournisseurs d'infrastructure de données web/proxy sont les plus grands fournisseurs d'IP aux utilisateurs finaux.

Approvisionnement éthique

Les services utilisés à des fins éthiques peuvent entraîner des actions non éthiques et nuisibles au cours de leur production. Par exemple, des marques comme Nike et Nestlé ont subi des préjudices de réputation et ont fait face à des poursuites en raison du recours au travail des enfants par leurs sous-traitants.

Comment cela se rapporte aux données web :

Les entreprises doivent accéder à un grand nombre de sources de bande passante diverses pour une collecte de données rapide et mondiale. Cela nécessite l'utilisation de proxies résidentiels : bien que la collecte de données publiques soit légale dans de nombreuses conditions, ⁵ les sites web peuvent également choisir de bloquer certains de leurs visiteurs. Par exemple, ils peuvent bloquer les crawlers de leurs concurrents. Dans de tels cas, les entreprises doivent s'appuyer sur un grand nombre de connexions d'utilisateurs finaux ou d'autres 3rd parties pour collecter des données web.

Les fournisseurs de proxy collectent des millions de connexions Internet à partir de diverses sources et les fournissent aux entreprises qui utilisent des adresses IP pour accéder à ces connexions. Certaines de ces IP proviennent d'appareils d'utilisateurs résidentiels. La collecte de ces connexions peut être légale ou illégale :

• Légal : les pratiques conformes à la loi impliquent d'obtenir le consentement éclairé des utilisateurs, de fournir une compensation et d'offrir des mécanismes de retrait conformément aux réglementations locales. Le fournisseur de données web doit
  • Informer les utilisateurs de l'utilisation qui sera faite de leur bande passante
  • Obtenir leur consentement par voie numérique
  • Les rémunérer en retour
  • Leur permettre de se retirer à tout moment
• Illégal : les acteurs malveillants peuvent accéder aux appareils des utilisateurs et utiliser leur connexion Internet sans autorisation ni compensation. Cela peut se produire via des applications malveillantes, des appareils compromis, des installations masquées, une adhésion automatique et d'autres méthodes pouvant mettre en danger le propriétaire de l'appareil.

Les entreprises utilisant des proxies obtenus illégalement peuvent par inadvertance payer des acteurs malveillants pour un accès non autorisé aux appareils.

Exemples concrets :

• Des fournisseurs de proxy résidentiels cotés en bourse ont été documentés comme partageant leur infrastructure avec des SDKs qui utilisent les connexions d'appareils sans le consentement de l'utilisateur.^{6 7}
• Des routeurs et des appareils IoT ont été compromis pour des opérations de botnet et vendus comme proxies résidentiels.^{8 9}
• Certains fournisseurs de proxy font la promotion de leurs services dans des forums fréquentés par des acteurs malveillants. Ces IPs sont probablement obtenues illégalement.¹⁰
• Des applications VPN sur le Google Play Store ont également été utilisées pour acquérir des IPs résidentielles sans le consentement des utilisateurs.¹¹

Bien que ces opérations aient été fermées, il est probable que des acteurs malveillants accèdent encore à des IPs résidentielles sans consentement via des botnets et des applications compromises ou malveillantes.

Certification externe

Les acheteurs d'entreprise ont besoin de solutions sécurisées et prêtes pour l'entreprise. Nous avons identifié les ingrédients d'une organisation mature de données web qui peut être documentée via une certification externe :

Sécurité des données

Le manque de sécurité des données dans les systèmes des fournisseurs peut éroder l'avantage concurrentiel d'une entreprise ou entraîner une perte de données et des temps d'arrêt du système. La perte de fonctionnalité du système peut éroder la confiance et conduire à la dévaluation d'une entreprise.

Intrusion dans le système

Les services de collecte de données ne sont pas aussi profondément intégrés aux systèmes d'une entreprise que les services numériques de base (par exemple un système d'enregistrement comme un CRM). Par conséquent, leurs références de sécurité ne sont pas examinées aussi minutieusement que celles d'un système central tel qu'un système d'enregistrement. Cependant, la sécurité des données est essentielle pour les clients des services de collecte de données car ces services :

• Sont parfois intégrés à des systèmes plus centraux comme les moteurs de tarification.
• Peuvent infecter les systèmes d'entreprise même lorsqu'ils ne sont pas intégrés à ces systèmes. L'utilisation d'un service de collecte de données implique la réception de données de ce service. Même certaines des formes les plus sécurisées de transfert de données comportent des risques.

L'intrusion dans le système peut également amener les attaquants à cibler les appareils qui fournissent des IPs résidentielles à un service de proxy. Cela peut entraîner un préjudice de réputation pour les clients de ce service de proxy.

Exemple concret de vulnérabilité dans un fournisseur de proxy résidentiel :

Les opérateurs du botnet Kimwolf ont acheté des services de proxy auprès du fournisseur de proxy résidentiel IPIDEA. En utilisant des commandes malveillantes, ils ont infecté les réseaux internes des appareils fournissant des IPs à IPIDEA. Ces réseaux ont ensuite été scannés et d'autres appareils vulnérables sur ces réseaux locaux ont également été infectés.

On estime que Kimwolf s'est propagé à plus de 2 millions d'appareils avec cette méthode. Les données collectées par les clients d'IPIDEA ont également transité par ces réseaux infectés.¹²

Perte de données

Sans sécurité des données, les acteurs malveillants peuvent accéder aux données collectées par les entreprises pour identifier leurs activités et stratégies, entraînant une perte d'avantage concurrentiel ou d'opportunités commerciales.

Exemple concret :

Bien que les données web soient publiques, les entreprises peuvent les utiliser de manière novatrice pour obtenir un avantage concurrentiel. Par exemple, les investisseurs consacrent jusqu'à 10% de leur budget de données de marché aux données alternatives¹³ , mais ils divulguent rarement leurs stratégies car ils estiment que cela peut les aider à prendre l'avantage sur leurs concurrents. Une fuite de données peut entraîner l'exposition de leurs stratégies et donc leur réplication par leurs concurrents.

Gestion des PII

Les données web incluent des données privées derrière une connexion ou des PII qui peuvent être divulguées accidentellement ou intentionnellement sur des sites web publics. Si les services de collecte de données web ne gèrent pas correctement les PII, ces données peuvent être acquises par des acteurs malveillants. Cela peut entraîner un préjudice de réputation pour le service de collecte de données web et ses clients.

Sécurité des applications

Les applications ou programmes intermédiaires tels que les SDKs qui fournissent les IPs des services de collecte de données web peuvent être mis sur liste blanche par des fournisseurs de certification externe comme McAfee. Cela renforce la confiance des entreprises dans les pratiques d'approvisionnement éthique du service de collecte de données web.

Couverture d'assurance

Les entreprises exigent généralement ces assurances de la part de tout fournisseur numérique :

• Assurance responsabilité civile professionnelle
• Certificat d'assurance cyber

Benchmark détaillé : évaluation des fournisseurs d'infrastructure de données web

Benchmark : Utilisation éthique par les clients

Nous cherchons ici à répondre à la question : l'entreprise s'assure-t-elle que l'utilisation de sa solution est éthique et conforme aux lois et réglementations applicables ? Résumé de nos conclusions :

* Non applicable : étant donné que Zyte et Apify achètent des proxies auprès de leurs fournisseurs et ne les collectent pas directement auprès des utilisateurs résidentiels, ils ne seraient pas contactés par les propriétaires de sites web pour des abus et n'ont donc pas besoin de créer un formulaire de contact pour les sites web.

Tout d'abord, nous avons examiné les politiques :

Examen de la politique d'utilisation acceptable

Tous les fournisseurs interdisent les activités illégales et donnent des exemples comme les attaques DoS, les messages en masse non sollicités, l'usurpation d'identité ou le spoofing.

En outre, certains fournisseurs soulignent également qu'ils interdisent les activités susceptibles d'être illégales. Ci-dessous, nous listons les activités interdites en fonction des politiques d'utilisation acceptable et de leurs annexes (par exemple l'annexe sur le traitement des données) pour chaque fournisseur.

Nous avons recherché des conditions qui interdiraient des activités susceptibles d'être illégales et pouvant être identifiées sur la base de l'activité des utilisateurs. Par exemple, une part importante d'utilisateurs utilisant des proxies pour répondre à des sondages rémunérés pourrait utiliser des proxies pour induire en erreur les fournisseurs de sondages sur leur emplacement réel. Par conséquent, cette activité est à la fois susceptible d'être illégale et peut être identifiée en fonction de l'activité de l'utilisateur (c'est-à-dire lorsqu'un utilisateur se connecte à un site de sondages rémunérés).

Bien qu'identifier clairement les activités interdites soit bénéfique, ce n'est pas une exigence et cela n'a pas d'impact sur nos scores. Les entreprises peuvent choisir de mentionner qu'elles n'autorisent pas les activités illégales plutôt que de mentionner chaque instance possible d'activités illégales.

Le fait de mentionner une activité comme interdite ne signifie pas que ces activités seront examinées ou bloquées. Nos scores reposent sur la manière dont ces politiques sont mises en œuvre, comme indiqué ci-dessous :

Processus pour une utilisation éthique

Alors que certaines catégories énoncées dans les politiques d'utilisation acceptable sont assez larges (par exemple le data scraping ou l'accès non autorisé), d'autres sont suffisamment spécifiques pour être converties en actions préventives (par exemple le blocage d'accès) que les services de collecte de données peuvent mettre en œuvre pour les utilisateurs qui n'ont pas terminé leur processus KYC.

Sur la base de ces utilisations interdites spécifiques, nous avons préparé une liste exhaustive des utilisations susceptibles d'être des utilisations illégales de proxies. Pour chaque cas d'utilisation, nous avons identifié des scénarios incluant les domaines web et les actions pertinents. Par exemple, dans le scénario d'engagement artificiel sur les réseaux sociaux, nous avons tenté de nous connecter à un réseau social en utilisant un proxy pour aimer une publication existante.

Ensuite, pour tester si les entreprises autorisent une utilisation non éthique par les clients, nous avons créé un compte sur le service de chaque fournisseur en utilisant une adresse e-mail non-AIMultiple. Nous n'avons pas effectué de processus KYC avec ce compte et avons utilisé les services pour comprendre ce que les utilisateurs anonymes peuvent réaliser avec chaque service. Le KYC est une étape cruciale au cours de laquelle l'utilisateur soumet des données pour valider l'entité juridique qu'il représente. Cela lie l'activité de l'utilisateur à une entité juridique :

• Qui peut être tenue responsable.
• Dont la justification des actions en ligne (par exemple l'utilisation de proxies pour se connecter à des sites web gouvernementaux) peut être examinée. Par exemple, après avoir compris leur cas d'utilisation, un chercheur ou une agence gouvernementale peut être autorisé à se connecter à un site web gouvernemental en utilisant un proxy.

Nous attendions à ce que ces cas d'utilisation déclenchent un processus KYC, mais chez la plupart des fournisseurs, cela n'a pas été le cas. Une coche indique que la demande a été bloquée pour les utilisateurs qui n'avaient pas encore terminé le processus KYC :

Pour plus de clarté, les sociétés de services de collecte de données n'ont aucune obligation légale de bloquer ces sites web et certains de ces scénarios peuvent faire partie d'une utilisation légale. Par exemple, un chercheur peut vouloir utiliser des proxies pour mener une expérience contrôlée sur les réseaux sociaux. Cependant, compte tenu du potentiel d'abus dans ces scénarios, nous attendions à ce que les services de collecte de données les bloquent pour les utilisateurs qui n'ont pas terminé le processus KYC.

Comment les marques communiquent les domaines qu'elles bloquent

• Bright Data répertorie les catégories de domaines restreints dans sa politique d'utilisation acceptable.

Respect des préférences des sites web concernant la collecte automatisée de données

Qu'est-ce que robots.txt ?

robots.txt est un nom de fichier pour la mise en œuvre du protocole d'exclusion des robots. Ce protocole est utilisé par les sites web pour indiquer les parties du site que le propriétaire préfère que les bots ne visitent pas. Le respect de robots.txt est volontaire.

Avantages et inconvénients du respect de robots.txt

➕ Respecte les préférences du site web.

➖ Peut ne pas être mis à jour récemment et donc être obsolète.

➖ Il contient généralement des conditions indiquant que le propriétaire du site web préfère que certaines sections publiques ne soient pas accessibles par les bots.

Robots.txt peut également offrir un accès inégal aux bots. Par exemple, les propriétaires de sites web peuvent indiquer qu'ils ne préfèrent pas que les bots des moteurs de réponses visitent certaines URL que les bots des moteurs de recherche visitent.

Robots.txt n'est pas un document juridique et il peut demander de bloquer l'accès des bots à des pages qui sont légalement :

• autorisées à être scrapées (par exemple des données publiques) ou
• non autorisées à être scrapées (par exemple des données derrière une connexion où les CGU du propriétaire du site interdisent le scraping de ces données).

Les fournisseurs de services de collecte de données web peuvent demander aux utilisateurs de proxies résidentiels de terminer un processus KYC et de prouver qu'ils ont un cas d'utilisation légal et éthique avant que ces utilisateurs puissent ignorer robots.txt.

Pour les tests, nous avons envoyé des requêtes à des pages dans des sous-dossiers dont le blocage est demandé par robots.txt. Les domaines que nous avons utilisés étaient aimultiple.com et 5 domaines web parmi les 100 les plus visités. Seul Bright Data a bloqué ces requêtes :

Exemple de CNN

Le robots.txt de CNN bloque le dossier /terms¹⁴ . Pour les tests, nous avons navigué vers ce dossier avec des proxies résidentiels et reçu des messages 200 avec les données de la page de tous les fournisseurs sauf Bright Data. La réponse de Bright Data est : « Residential Failed (bad_endpoint): Requested site is not available for immediate residential (no KYC) access mode in accordance with robots.txt. To get full residential access for targeting this site, fill in the KYC form: https://brightdata.com/cp/kyc ».

Gestion des abus

Nous avons décrit une méthodologie pour évaluer les pratiques de gestion des abus des fournisseurs et collecté des données pour répondre à nos critères d'évaluation :

* Non applicable : Zyte achète des proxies auprès d'autres fournisseurs de proxy et, par conséquent, lorsque le service de Zyte est utilisé à des fins abusives, les propriétaires de sites web contacteraient ses fournisseurs de proxy plutôt que Zyte.

Bien que tous les fournisseurs fournissent des moyens pour les 3rd parties ou leurs clients de les contacter, leur existence est importante pour la résolution des problèmes :

• Politique publique en matière d'abus
• Une adresse e-mail dédiée pour signaler les abus
• Une méthode de contact alternative (par exemple un formulaire web ou une interface de messagerie) qui permet aux déclarants de contacter l'entreprise. Ceci est utile car les e-mails peuvent être filtrés et ne pas arriver dans la boîte de réception.
• Réactivité aux messages

3 fournisseurs dans le benchmark (Bright Data) ont fourni un e-mail pour signaler les abus. Tous ces fournisseurs ont également décrit leurs politiques dans ce domaine.

Nous attendons à ce que tous les autres fournisseurs fassent de même et que cela devienne une pratique industrielle répandue à court terme.

Enfin, nous avons évalué la réactivité de la gestion des abus en envoyant des signalements d'abus depuis des domaines tiers (c'est-à-dire non-AIMultiple) et en mesurant les temps de réponse. Si nous ne trouvions pas d'adresse e-mail pour les abus, nous l'envoyions au formulaire de contact général. Nous avons testé cela via 3 lots d'e-mails envoyés le :

• Vendredi 2 mai 2025 depuis :
  • Un service de vente de billets avec un trafic mensuel d'environ 30k
  • Un cabinet d'avocats avec un trafic mensuel d'environ 1k dans
• Le 17 mai 2025 depuis le service de vente de billets.
• Le 24 mai 2025 depuis une agence de médias sociaux avec un trafic en ligne limité.

Les premiers e-mails envoyés le 2 mai 2025 l'ont été aux entreprises qui fournissaient des e-mails dédiés. Plus tard, nous avons élargi notre liste et inclus des adresses e-mail plus générales répertoriées dans les sections de contact de tous les services de collecte de données web benchmarkés. Si une entreprise répondait à nos e-mails, nous cessions de lui envoyer d'autres e-mails.

Dans nos e-mails, nous avons mentionné que nos sites web recevaient un trafic suspect de bots via des proxies et avons demandé leur aide pour identifier la source des proxies. Nous avons réussi à obtenir des réponses de toutes les équipes de conformité sauf une. Presque toutes les réponses ont été reçues le jour même.

Transparence d'utilisation

Les propriétaires de sites web qui fournissent des données web et des services de collecte web n'ont historiquement pas eu d'échange de données sur les activités de collecte de données. Pour limiter les activités de crawling, les propriétaires de sites web pouvaient soit :

• Contacter les services de collecte de données web pour signaler des abus
• Travailler avec des fournisseurs de gestion de bots comme Cloudflare pour rendre le crawling plus difficile.

Désormais, il existe des initiatives pour un échange de données plus structuré entre ces parties. Bright Data a lancé la console Webmaster Bright Data pour que les webmasters puissent surveiller les activités de crawling sur leurs sites web. Une plus grande transparence est susceptible d'améliorer les pratiques de collecte de données web.

Notre expérience avec la console Webmaster

Nous sommes inscrits en vérifiant la propriété de notre domaine et en ajoutant un fichier collectors.txt sur le domaine.

Nous avons désormais accès à l'activité des bots de Bright Data sur notre site web :

Benchmark : Approvisionnement éthique

* Les avis sur ces plateformes 3rd party ont été inclus : Amazon Appstore, App Store, Google Play Store, Trustpilot. Pour plus de commodité, cette valeur a été calculée pour 5 applications principales pour Bright Data, et non pour toutes les 120 applications figurant sur leur site web.

Transparence des partenaires

La bande passante requise par les sociétés d'infrastructure de données web peut être fournie de manière éthique en offrant des avantages (par exemple des paiements, des fonctionnalités comme la possibilité de sauter des publicités) en échange du consentement au partage de sa connexion Internet. Cependant, il est également possible d'obtenir un accès non autorisé aux systèmes des utilisateurs finaux et de vendre leurs connexions.

Les fournisseurs d'infrastructure de données web peuvent formuler des politiques et des processus, réaliser des audits externes et publier leur approche et les conclusions des audits pour créer de la transparence sur la manière dont ils acquièrent leurs connexions Internet. Cela peut favoriser la confiance dans l'approvisionnement éthique de leur service.

Nous avons créé un cadre pour la transparence de l'approvisionnement en données web et avons noté les fournisseurs à l'aide de ce cadre. Nous avons appliqué ce cadre indépendamment du fait qu'un service de collecte de données web acquière lui-même des IPs résidentielles ou via d'autres proxies. Notre objectif est d'apporter de la transparence à l'ensemble de la chaîne d'approvisionnement des IPs, car les pratiques non éthiques peuvent provenir de n'importe quel point de la chaîne d'approvisionnement.

Vous trouverez ici nos résultats détaillés :

Bright Data

Bright Data est classé au Niveau 5 car ils publient

• Leur approche d'approvisionnement et comment les développeurs d'applications peuvent travailler avec eux via leur SDK^{15 16}
• Des détails sur 120 fournisseurs ont été partagés publiquement. Nous avons pu vérifier les avis de ces fournisseurs sur les plateformes 3rd party pour estimer leur popularité. ¹⁷

Examen des applications sélectionnées

Bright Data partage 120 applications sur son site web. Des applications comme Bright VPN sont certifiées par des 3rd parties sur leur divulgation et leur UX.¹⁸ Nous avons également téléchargé ces applications pour les examiner plus en détail :

• Bright VPN
• EarnApp
• Sling Kong

Formulaire d'adhésion avec obligation de ne pas collecter de données personnellement identifiables : Formulaire de consentement avec une explication claire de

Bright VPN :

Earn App :

Sling Kong :

• L'utilisateur se voit présenter l'offre pendant le jeu :

• Adhésion :

• Informations supplémentaires lors de l'adhésion :

• Retrait :

Valeur fournie par les applications :

• Bright VPN : service VPN gratuit
• EarnApp : paiements
• Sling Kong : monnaie virtuelle en jeu

Autres

Bien que la plupart des fournisseurs soient conscients de l'éthique dans le web scraping et aient publié sur le sujet (par exemple ¹⁹ , nous n'avons pas identifié leurs engagements spécifiques sur ce front à l'exception de Zyte.²⁰

Nous attendons à ce que cela change et que la plupart des fournisseurs passent au moins au Niveau 1 à court terme.

Certification externe

* Indique que l'entreprise a obtenu toutes les certifications externes dans cette catégorie

Il est crucial pour les fournisseurs de disposer des systèmes, du personnel et des processus appropriés pour protéger les données des clients et sécuriser les applications qui fournissent leurs IPs. Consultez notre méthodologie de mesure de la certification externe pour comprendre la logique derrière notre notation.

Conformité RGPD & CCPA

Tous les fournisseurs affirment publiquement être conformes aux deux réglementations sur la confidentialité des données. Par conséquent, cela n'a pas été inclus dans la notation.

Comment nous avons mesuré les maturités organisationnelles

Sur la base des capacités que nous avons identifiées dans ce domaine, nous avons vérifié l'existence de ces certificats chez chaque fournisseur en utilisant leurs déclarations publiques :

• Certification de sécurité des données & certification PII : ^{21 22 23 24}
• Source IP sur liste blanche : ²⁵
• Pratiques éthiques évaluées : ²⁶

Certains fournisseurs qui ne détiennent pas de certificats ISO 27018 ont affirmé qu'ils devraient être considérés comme certifiés car ils utilisent des fournisseurs de services cloud qui détiennent des certificats ISO 27018. L'avis de notre conseiller en cybersécurité était que, bien que cela faciliterait l'obtention du certificat, ils devraient tout de même faire certifier leurs politiques et contrôles pour obtenir le certificat.

Couverture d'assurance

3 sociétés de collecte de données web ont partagé leurs certificats d'assurance. Nous ne publions pas les certificats mais nous avons examiné les documents pour nous assurer que :

• ils couvraient ces 2 catégories d'assurance
• La limite d'assurance dans chaque catégorie est d'au moins plusieurs millions de dollars US.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Avis de non-responsabilité et recommandations pour les prochaines étapes

Tous les fournisseurs de ce benchmark, à l'exception de Nimble, sont clients de AIMultiple. Comme toujours, nous avons suivi nos engagements éthiques au cours de cette recherche.

Nous avons réalisé un examen exhaustif de la collecte de données web éthique et, bien que nous soyons satisfaits de la portée de ce benchmark, nous aimerions augmenter sa participation. Nous remercions les entreprises suivantes d'avoir partagé leur couverture d'assurance : Apify, Bright Data, Zyte.

Nous attendons les réponses de Nimble. Nous mettrons à jour le rapport dès que nous aurons plus de nouvelles de leur part. 2 fournisseurs ont choisi de ne pas participer à cette itération du benchmark. Nous mettons à jour ce rapport en permanence si l'une de ces 7 entreprises suggère des changements basés sur des faits, équitables pour tous les fournisseurs et aidant les entreprises à prendre de meilleures décisions.

NetNut faisait partie des entreprises que nous avions évaluées lors de la première publication de ce rapport en 2025. Ils avaient obtenu le score le plus bas possible (Niveau 0) dans notre analyse approfondie de l'approvisionnement éthique où nous avons examiné les sources d'IPs de ces fournisseurs. NetNut a été fermé en 2026 après que le FBI a identifié ses liens avec des botnets.²⁷ Nous espérons que cela incitera tous les fournisseurs à être transparents sur leur approvisionnement.

Il s'agit du premier rapport à se concentrer sur les données web éthiques selon nos recherches. Nous espérons que cette transparence pourra aider l'industrie des données web à trouver des solutions créatives à ses défis. Ces solutions devront trouver un équilibre entre les intérêts des collecteurs de données web, des utilisateurs d'automatisation web, des propriétaires de sites web et des utilisateurs résidentiels qui fournissent leurs IPs à l'industrie.

Limites de la méthodologie

Ce benchmark mesure des indicateurs de maturité observables, notamment les contrôles d'utilisation par les clients, la transparence de l'approvisionnement en IP, les certifications externes et le partage d'assurance. Cependant, la notation ne détermine pas entièrement si un fournisseur est légalement conforme dans chaque cas d'utilisation client.

Par conséquent, un score élevé au benchmark doit être considéré comme un élément d'information pour la diligence raisonnable en matière d'approvisionnement, et non comme une garantie de légalité ou d'utilisation éthique.

Références

Citer cette recherche

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Benchmark de données web éthiques & conformes}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/web-scraping-ethics}},
  note   = {AIMultiple. Consulté le 21 Juin 2026}
}

Liens de référence

1.

Workers Fainted at Nike Clothing Factory Despite a Vow to Reform — ProPublica

ProPublica

2.

2023 MOVEit data breach - Wikipedia

Contributors to Wikimedia projects

3.

https://www.courthousenews.com/wp-content/uploads/2024/01/starbucks-labor-rights-violations-suit.pdf

4.

Verifying Device

The Times

5.

Court Rules in Favor of Bright Data in Meta v. Bright Data Case - Bright Data

Bright Data

6.

Popa: From Sourcing to Distribution | Synthient

Synthient

7.

‘Popa’ Botnet Linked to Publicly-Traded Israeli Firm – Krebs on Security

8.

https://media.defense.gov/2024/Sep/18/2003547016/-1/-1/0/CSA-PRC-LINKED-ACTORS-BOTNET.PDF

9.

Internet Crime Complaint Center (IC3) | Home Internet Connected Devices Facilitate Criminal Activity

10.

A Look at the Residential Proxy Market | Intel 471

Website

11.

Satori Threat Intelligence Alert: PROXYLIB and LumiApps Transform Mobile Devices into Proxy Nodes - HUMAN Security

HUMAN Security

12.

Kimwolf Botnet Lurking in Corporate, Govt. Networks – Krebs on Security

13.

Subscribe to read

Financial Times

14.

https://edition.cnn.com/robots.txt

15.

Ethically Sourcing Residential Proxies | Bright Data

Bright Data

16.

homepage - Bright SDK

Bright SDK

17.

How Bright Data Obtains Its Residential IPs - Bright Data

Bright Data

18.

Bright VPN Compliance with guidelines - Google Sheets

19.

What is ethical scraping and how do you do it?

Apify Blog

20.

Web Scraping Data Compliance | Zyte

21.

https://brightdata.com/trustcenter/data-security-overview-protection-measures

22.

Security | Platform | Apify Documentation

23.

Nimble Trust Center | Security, Compliance & Reliability

24.

Trust Center | Zyte

25.

Bright SDK Compliance with Guidelines - Google Sheets

26.

pwc-report - Bright Data

Bright Data

27.

FBI Seizes NetNut Proxy Platform, Popa Botnet – Krebs on Security

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017. AIMultiple informe chaque mois des centaines de milliers d'entreprises (selon similarWeb), dont 55 % des entreprises du classement Fortune 500. Les travaux de Cem ont été cités par des publications internationales de premier plan telles que Business Insider, Forbes et le Washington Post, ainsi que par des entreprises mondiales comme Deloitte et HPE, des ONG comme le Forum économique mondial et des organisations supranationales comme la Commission européenne. Vous trouverez d'autres entreprises et ressources réputées ayant fait référence à AIMultiple. Tout au long de sa carrière, Cem a exercé les fonctions de consultant, d'acheteur et d'entrepreneur dans le secteur des technologies. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la numérisation. Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité directe du PDG. Il a également piloté la croissance commerciale de la société de deep tech Hypatos, qui a atteint un chiffre d'affaires annuel récurrent à sept chiffres et une valorisation à neuf chiffres en seulement deux ans. Les travaux de Cem chez Hypatos ont été présentés dans des publications technologiques de référence telles que TechCrunch et Business Insider. Cem intervient régulièrement lors de conférences internationales sur les technologies. Diplômé en génie informatique de l'université de Bogazici, il est également titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire