Référence sur les données web éthiques et conformes

Alors que les entreprises développent leurs opérations de données web, les responsables conformité, données et risques évaluent de plus en plus les risques éthiques, réputationnels et juridiques associés.

Nous avons évalué 5 services de collecte de données web de premier plan sur 3 dimensions et testé chaque service avec plus de 20 scénarios potentiellement non éthiques.

Notre travail vous aide à évaluer la position éthique de vos pratiques de collecte de données et à comprendre les conséquences potentielles des approches non éthiques. Nous fournissons également des lignes directrices pour une collecte de données web éthique et évaluons les services de collecte de données web sous l'angle de l'éthique et de la conformité :

Évaluation des services de collecte de données web

Nous avons évalué les principaux services de collecte de données web (également appelés fournisseurs de données web ou infrastructure de données web) en utilisant notre checklist de données web éthiques. Ces scores représentent des niveaux de maturité, 5 étant le niveau le plus élevé :

* Il s'agit de codes pour les noms des fournisseurs. Ces fournisseurs n'ont pas souhaité être référencés dans ce rapport et sont listés en bas de la liste jusqu'à ce que nous résolvions ce problème.

** ✅ indique que l'entreprise a choisi de partager ses certificats d'assurance avec AIMultiple. ❌ indique que l'entreprise a décidé de ne pas partager ses certificats d'assurance avec nous et que nous n'avons donc pas pu valider leur couverture d'assurance. La couverture d'assurance est la seule catégorie où nous avons compté sur la participation des entreprises de services de données web pour les évaluer.

Trié par score récapitulatif.

Modèle de notation pour les données web éthiques

Ci-dessous, nous expliquons comment ces scores sont obtenus. Vous pouvez également consulter la justification du choix de ces dimensions de notation.

Dans les 2 premières catégories, nous avons identifié 5 compétences, et les entreprises ont reçu des scores en fonction du nombre de compétences qu'elles satisfont. Le niveau 5 représente la maturité la plus élevée observée sur le marché, reflétant les meilleures pratiques actuelles plutôt que la perfection.

Capacités pour une utilisation éthique par les clients

• Processus efficaces pour une utilisation éthique : Nous évaluons la capacité de chaque fournisseur à empêcher une utilisation non éthique de ses services de proxy résidentiels par le biais de scénarios de test contrôlés. Si l'une de nos demandes est bloquée par le fournisseur, cet objectif est atteint.
• Processus améliorés pour une utilisation éthique : Similaire aux « processus efficaces pour une utilisation éthique ». Cependant, cette capacité indique que le fournisseur de services a bloqué plus d'une de nos tentatives d'utiliser ses services pour des cas d'usage non éthiques.
• Processus de meilleures pratiques pour une utilisation éthique : Similaire aux « processus efficaces pour une utilisation éthique ». Cependant, cette capacité indique que le fournisseur de services a bloqué la plupart de nos tentatives d'utiliser ses services pour des cas d'usage non éthiques.
• Fondation de gestion des abus : Publication d'une politique de gestion des abus et d'une méthode pour signaler les abus
• Gestion réactive des abus : Nous avons mesuré la manière dont les entreprises ont répondu à plusieurs signalements d'abus. Même s'il n'existait pas de ligne directe pour signaler les abus, nous avons utilisé les adresses e-mail indiquées par l'entreprise pour contacter leur équipe. Si nous n'avons reçu aucune réponse à notre signalement dans un délai d'une semaine, l'entreprise est considérée comme non réactive.

Capacités pour un approvisionnement éthique

L'approvisionnement éthique consiste à acquérir des adresses IP de manière éthique. Notre analyse du marché a identifié les niveaux de transparence suivants concernant l'approvisionnement éthique en IP :

• Niveau 1 : Publication d'une politique d'approvisionnement en IP.
• Niveau 2 : Divulgation d'au moins une source (par exemple, une application mobile) d'IP qui fournit des IP de manière éthique. La source divulguée doit avoir au total au moins 10k avis sur des plateformes tierces, notamment Google, Apple, les magasins d'applications Amazon et Trustpilot.
• Niveau 3 : Identique au niveau 2 mais avec 100k avis
• Niveau 4 : Identique au niveau 3 mais avec 1M avis
• Niveau 5 : Identique au niveau 4 mais avec 10M avis

Les avis sont un indicateur de la popularité des applications et constituent un signal important pour cette évaluation. Les services de collecte de données web doivent travailler avec des applications populaires pour pouvoir satisfaire les besoins en IP de leurs clients.

Pour être qualifiées, les applications divulguées doivent suivre ces meilleures pratiques. Nous ne vérifierons pas cela pour toutes les applications divulguées, mais nous le vérifierons pour quelques-unes sélectionnées au hasard :

• Consentement éclairé :
  • Les utilisateurs doivent donner leur consentement explicite avant de partager leur connexion internet. L'écran d'opt-in doit préciser :
    • Le fournisseur
    • Le service
    • Comment leur IP sera utilisée
  • Les utilisateurs doivent pouvoir accéder à des informations détaillées sur
    • Comment leur connexion internet sera utilisée
    • Politique de confidentialité
• Valeur : Les utilisateurs doivent recevoir une certaine valeur de l'application (par exemple, paiement, possibilité de sauter des publicités ou une autre fonctionnalité)
• Confidentialité : Collecte de données utilisateur limitée et transparente.

Pour les réseaux de proxies résidentiels, les acheteurs doivent également vérifier si le consentement est spécifique, éclairé, révocable et distinct des autorisations d'application non liées. Ils doivent demander si les utilisateurs peuvent facilement se désengager, si l'utilisation de la bande passante est plafonnée, si les mineurs sont exclus et si le fournisseur audite les applications ou les SDK qui fournissent des IP résidentielles.

Certification externe

Nous avons évalué la certification externe en fonction de l'acquisition par les entreprises de ces certificats pertinents pour la sécurité et la conformité de niveau entreprise.

• Certification PII : Capacité démontrée à gérer les PII en obtenant la norme ISO 27018
• Certification de sécurité des données : Pratiques de sécurité des données démontrées par l'obtention de l'un de ces certificats : SOC 2 ou ISO/IEC 27001
• Source IP sur liste blanche : Des fournisseurs de certification externes comme McAfee certifient soit :
  • Des applications 3rd parties spécifiques qui fournissent des IP
  • Le SDK qui collecte les IP à partir d'applications 3rd parties
• Pratiques éthiques évaluées : Un projet d'assurance ISAE 3000 peut être réalisé pour évaluer les pratiques internes de conformité et d'éthique.

Assurance

Nous avons demandé aux fournisseurs de nous fournir ces documents d'assurance :

• Certificat d'assurance responsabilité civile professionnelle couvrant les responsabilités des fournisseurs en cas de problèmes dans le service
• Certificat d'assurance cyber couvrant les responsabilités des fournisseurs en cas de problèmes liés à la sécurité des informations.

Score récapitulatif

Ce score est la somme de tous les scores divisée par 3. Les scores sont :

• 0 à 5 pour les capacités d'utilisation éthique par les clients
• 0 à 5 pour les capacités d'approvisionnement éthique
• 0 à 3 pour la certification externe
• 0 à 2 pour les assurances

Principaux services de collecte de données web

AIMultiple a sélectionné les 7 plus grands services de collecte de données web en termes d'employés sur LinkedIn. Nous avons choisi cette métrique car elle est à la fois publique et devrait être corrélée avec les revenus et la maturité entreprise de l'entreprise. De meilleures métriques telles que les revenus ou le nombre d'employés inscrits sur la liste de paie ne sont pas disponibles publiquement pour ces entreprises privées.

Toutes les entreprises sélectionnées ont plus de 100 employés connectés à leurs pages de profil LinkedIn en avril 2025. Actuellement, 5 des 7 entreprises sélectionnées sont affichées sur cette page et les 2 autres ont choisi de ne pas être incluses dans le rapport.

Produits de collecte de données web examinés

Ces entreprises proposent une gamme de produits comprenant des proxies, des APIs de scraping de données et des jeux de données. Bien que tous les produits puissent être examinés d'un point de vue éthique, nous nous sommes d'abord concentrés sur le produit qui offre le plus haut niveau de flexibilité et qui alimente la plupart des autres produits : les proxies résidentiels.

Les produits de collecte de données web peuvent être considérés comme une hiérarchie où les proxies forment la couche de base sur laquelle tous les autres services sont construits. Cela s'explique par le fait que les proxies permettent aux machines d'accéder à internet via différentes destinations, ce qui permet d'obtenir un ensemble diversifié et important de connexions internet cruciales pour la collecte de données. Par conséquent, les proxies sont le produit de collecte de données web le plus performant ; il peut être utilisé pour exécuter des fonctions qui ne seraient pas possibles avec des jeux de données ou des APIs de scraping de données.

Parmi les proxies, les proxies résidentiels sont le produit le plus difficile à identifier pour les sites web. Par exemple, d'autres proxies comme les proxies de datacenter sont faciles à identifier en raison de leur emplacement. Par conséquent, les proxies résidentiels alimentent la plupart des autres produits de données web tels que les APIs de scraping de données.

Vérifiez : Votre collecte de données web est-elle conforme et éthique ?

Votre entreprise exploite très probablement des données web. Cependant, l'industrie fait face à une réglementation limitée, ce qui rend important le choix d'un fournisseur éthique et conforme. Pour y parvenir, nous avons préparé un cadre holistique prenant en compte différents aspects de la collecte de données web, notamment l'approvisionnement éthique, l'utilisation éthique et la certification externe.

Les données web sont un actif opérationnel courant

En tant qu'entreprise, votre activité repose en partie sur les données web en raison de ses nombreux cas d'usage tels que :

• Tarification dynamique pour le commerce de détail et le e-commerce
• Données alternatives en temps réel pour les fonds d'investissement
• Processus KYC dans la banque commerciale
• Entraînement ou fine-tuning de modèles d'IA
• Inférence IA ou RAG
• Études de marché

Avec l'IA, les données web sont désormais plus importantes

Bien que la collecte de données web soit aussi vieille que le web, son importance a considérablement augmenté après l'essor des modèles d'IA générative. Les créateurs de ces modèles, tels que OpenAI et Anthropic, ont commencé sans partenariats de contenu significatifs et ont principalement utilisé des données en ligne pour construire leurs modèles initiaux, ce qui a conduit à l'émergence de l'industrie de l'IA pesant des billions de dollars.

Surveillance réglementaire limitée

Bien que la réglementation de l'IA soit sous les projecteurs, l'industrie de la collecte de données reste en grande partie non réglementée dans la plupart des pays. Les activités en ligne clairement illégales sont bien définies. Cependant, il existe peu d'exigences réglementaires pour que les acteurs du secteur empêchent de manière proactive l'utilisation abusive de leurs services par les utilisateurs.

Il incombe aux plateformes elles-mêmes d'établir des meilleures pratiques et des normes de conformité pour garantir une collecte de données éthique et une utilisation des proxies éthique. Par conséquent, votre choix de fournisseur est plus important dans la collecte de données que dans des secteurs fortement réglementés comme la banque, où chaque fournisseur de services est tenu de se conformer à de nombreuses réglementations.

La position éthique de vos fournisseurs fait partie de la réputation de votre entreprise

Que vous collectiez ou consommiez les données, vous êtes responsable de leur processus d'acquisition.

La responsabilité des entreprises pour les activités illégales dans leur chaîne d'approvisionnement dépend de la juridiction. Par exemple, en Allemagne, les entreprises sont tenues de mener des activités de KYS (Know Your Supplier) et de gestion des risques pour identifier et prévenir les préjudices causés par leur chaîne d'approvisionnement. Même lorsque les entreprises ne sont pas responsables des préjudices causés par leur chaîne d'approvisionnement, elles peuvent subir un risque réputationnel.

Quel est le coût d'une collecte de données non éthique et non conforme ?

Risque réputationnel

S'il devient public qu'une entreprise utilise un service de collecte de données web qui adopte des comportements non éthiques ou des actions mettant en danger sa sécurité des données, cela peut entraîner des dommages réputationnels importants tels qu'une perte d'activité, une attrition des clients, une fuite des talents et une perte de confiance des investisseurs.

Exemples concrets de situations où les fournisseurs d'entreprises ont entraîné une perte de réputation :

• Nike a subi des dommages réputationnels à de nombreuses reprises en raison des pratiques de travail non éthiques de ses fournisseurs.¹
• De nombreuses entreprises comme EY ont perdu la confiance de leurs clients lorsqu'elles ont été touchées par la brèche du logiciel de transfert de fichiers géré MOVEit. ²

Risque juridique

La perte de réputation, surtout si elle entraîne une indignation publique, est généralement suivie de poursuites judiciaires de la part des clients de l'entreprise ou d'autres parties prenantes qui ont été lésées par les pratiques non éthiques.

Exemple concret : Starbucks est l'une des marques récentes à avoir été poursuivie pour s'approvisionner auprès d'entreprises aux pratiques non éthiques.³

Checklist pour des données web éthiques

Les données web d'entreprise doivent satisfaire 3 exigences pour être éthiques :

Utilisation éthique par les clients

Dans le cadre de leurs processus de connaissance fournisseur (Know Your Supplier), les entreprises évitent d'utiliser des services qui permettent des activités non éthiques. L'utilisation de tels services expose les entreprises à des risques réputationnels.

Exemple concret : Dans les cas où un fournisseur a été documenté comme permettant l'utilisation de sa plateforme pour des activités non éthiques, de nombreuses entreprises se sont distanciées du fournisseur jusqu'à ce qu'il améliore ses pratiques.⁴

Lien avec les données web : Les données web sont collectées via différentes adresses IP. Ces adresses peuvent être utilisées pour mener diverses activités illégales telles que des attaques DDOS visant à empêcher la fourniture de services numériques, la collecte non autorisée de données non publiques ou la fraude publicitaire. Les acteurs malveillants ont besoin d'IP pour alimenter leurs actions, et les fournisseurs d'infrastructure de données web/proxies sont les plus grands fournisseurs d'IP aux utilisateurs particuliers.

Approvisionnement éthique

Les services utilisés à des fins éthiques peuvent entraîner des actions non éthiques et nuisibles lors de leur production. Par exemple, des marques comme Nike et Nestlé ont subi des dommages réputationnels et ont fait face à des poursuites en raison du recours au travail des enfants par leurs sous-traitants.

Lien avec les données web :

Les entreprises ont besoin d'accéder à un grand nombre et à une diversité de sources de bande passante pour une collecte de données rapide et mondiale. Cela nécessite l'utilisation de proxies résidentiels : Bien que la collecte de données publiques soit légale sous de nombreuses conditions, ⁵ les sites web peuvent également choisir de bloquer certains de leurs visiteurs. Par exemple, ils peuvent bloquer les robots d'exploration de leurs concurrents. Dans de tels cas, les entreprises doivent s'appuyer sur un grand nombre de connexions provenant d'utilisateurs particuliers ou d'autres 3rd parties pour collecter des données web.

Les fournisseurs de proxies collectent des millions de connexions internet auprès de diverses sources et les fournissent aux entreprises qui utilisent des adresses IP pour accéder à ces connexions. Certaines de ces IP proviennent d'appareils d'utilisateurs résidentiels. La collecte de ces connexions peut être légale ou illégale :

• Légal : Les pratiques conformes à la loi impliquent d'obtenir le consentement éclairé des utilisateurs, de fournir une compensation et de proposer des mécanismes de retrait conformément aux réglementations locales. Le fournisseur de données web doit
  • Informer les utilisateurs sur la manière dont leur bande passante sera utilisée
  • Obtenir leur consentement par voie numérique
  • Les rémunérer en retour
  • Leur permettre de se désengager à tout moment
• Illégal : Des acteurs malveillants peuvent accéder aux appareils des utilisateurs et utiliser leur connexion internet sans autorisation ni compensation. Cela peut se produire par le biais d'applications malveillantes, d'appareils compromis, d'installations masquées, d'acceptation automatique et d'autres méthodes qui peuvent mettre en danger le propriétaire de l'appareil.

Les entreprises utilisant des proxies obtenus illégalement peuvent involontairement payer des acteurs malveillants pour un accès non autorisé à des appareils.

Exemples concrets :

• Des fournisseurs de proxies résidentiels cotés en bourse ont été documentés comme partageant leur infrastructure avec des SDK qui utilisent les connexions des appareils sans le consentement des utilisateurs.^{6 7}
• Des routeurs et des appareils IoT ont été compromis pour des opérations de botnet et vendus comme proxies résidentiels.^{8 9}
• Certains fournisseurs de proxies font la promotion de leurs services dans des forums fréquentés par des acteurs malveillants. Ces IP sont probablement obtenues illégalement.¹⁰
• Des applications VPN sur le Google Play Store ont également été utilisées pour acquérir des IP résidentielles sans le consentement des utilisateurs.¹¹

Bien que ces opérations aient été fermées, il est probable que des acteurs malveillants accèdent encore à des IP résidentielles sans consentement via des botnets et des applications compromises ou malveillantes.

Certification externe

Les acheteurs d'entreprise ont besoin de solutions sécurisées et prêtes pour l'entreprise. Nous avons identifié les ingrédients pour une organisation de données web mature qui peuvent être documentés via une certification externe :

Sécurité des données

Le manque de sécurité des données dans les systèmes d'un fournisseur peut éroder l'avantage concurrentiel d'une entreprise, entraîner une perte de données et des temps d'arrêt du système. La perte de fonctionnalité du système peut éroder la confiance et entraîner la dévalorisation d'une entreprise.

Intrusion dans le système

Les services de collecte de données ne sont pas aussi profondément intégrés aux systèmes d'une entreprise que les services numériques de base (par exemple, un système d'enregistrement comme un CRM). Par conséquent, leurs informations d'identification de sécurité ne sont pas examinées aussi minutieusement que celles d'un système central comme un système d'enregistrement. Cependant, la sécurité des données est essentielle pour les clients des services de collecte de données, car ces services :

• Sont parfois intégrés à des systèmes plus centraux comme les moteurs de tarification.
• Peuvent infecter les systèmes d'entreprise même lorsqu'ils ne sont pas intégrés à ces systèmes. L'utilisation d'un service de collecte de données implique de recevoir des données de ce service. Même certaines des formes les plus sécurisées de transfert de données comportent des risques.

L'intrusion dans le système peut également amener les attaquants à cibler les appareils qui fournissent des IP résidentielles à un service de proxy. Cela peut entraîner des dommages réputationnels pour les clients de ce service de proxy.

Exemple concret de vulnérabilité chez un fournisseur de proxies résidentiels :

Les opérateurs du botnet Kimwolf ont acheté des services de proxy auprès du fournisseur de proxies résidentiels IPIDEA. En utilisant des commandes malveillantes, ils ont infecté les réseaux internes des appareils fournissant des IP à IPIDEA. Ces réseaux ont ensuite été scannés et d'autres appareils vulnérables sur ces réseaux locaux ont également été infectés.

Kimwolf se serait propagé à plus de 2 millions d'appareils avec cette méthode. Les données collectées par les clients d'IPIDEA ont également transité par ces réseaux infectés.¹²

Perte de données

Sans sécurité des données, des acteurs malveillants peuvent accéder aux données collectées par les entreprises pour identifier leurs activités et stratégies, entraînant une perte d'avantage concurrentiel ou d'opportunités commerciales.

Exemple concret :

Bien que les données web soient publiques, les entreprises peuvent les utiliser de manière innovante pour obtenir un avantage concurrentiel. Par exemple, les investisseurs consacrent jusqu'à 10% de leur budget de données de marché aux données alternatives¹³ , mais ils divulguent rarement leurs stratégies car ils pensent que cela peut les aider à prendre l'avantage sur leurs concurrents. Une fuite de données peut entraîner l'exposition de leurs stratégies et donc leur réplication par leurs concurrents.

Gestion des PII

Les données web incluent des données privées derrière une connexion ou des PII qui peuvent être divulguées accidentellement ou intentionnellement sur des sites web publics. Si les services de collecte de données web ne gèrent pas correctement les PII, ces données peuvent être acquises par des acteurs malveillants. Cela peut entraîner des dommages réputationnels pour le service de collecte de données web et ses clients.

Sécurité des applications

Les applications ou programmes intermédiaires comme les SDK qui fournissent les IP des services de collecte de données web peuvent être mis sur liste blanche par des fournisseurs de certification externes comme McAfee. Cela renforce la confiance des entreprises dans les pratiques d'approvisionnement éthique du service de collecte de données web.

Couverture d'assurance

Les entreprises exigent généralement ces assurances de la part de tout fournisseur numérique :

• Assurance responsabilité civile professionnelle
• Certificat d'assurance cyber

Benchmark détaillé : Évaluation des fournisseurs d'infrastructure de données web

Benchmark : Utilisation éthique par les clients

Nous cherchons ici à répondre à la question : L'entreprise s'assure-t-elle que l'utilisation de sa solution est éthique et conforme aux lois et réglementations applicables ? Résumé de nos conclusions :

* Non applicable : Comme Zyte et Apify achètent des proxies auprès de leurs fournisseurs et ne les collectent pas directement auprès des utilisateurs résidentiels, ils ne seraient pas contactés par les propriétaires de sites web en cas d'abus et n'ont donc pas besoin de créer un formulaire de contact pour les sites web.

Tout d'abord, nous avons examiné les politiques :

Examen de la politique d'utilisation acceptable

Tous les fournisseurs interdisent les activités illégales et fournissent des exemples tels que les attaques DoS, les messages en masse non sollicités, l'usurpation d'identité ou le spoofing.

En outre, certains fournisseurs soulignent également qu'ils interdisent les activités susceptibles d'être illégales. Ci-dessous, nous énumérons les activités interdites sur la base des politiques d'utilisation acceptable et de leurs annexes (par exemple, l'avenant de traitement des données) pour chaque fournisseur.

Nous avons recherché des termes qui interdiraient les activités susceptibles d'être illégales et pouvant être identifiées en fonction de l'activité de l'utilisateur. Par exemple, une part importante d'utilisateurs utilisant des proxies pour répondre à des sondages rémunérés pourrait utiliser des proxies pour induire en erreur les fournisseurs de sondages sur leur emplacement réel. Par conséquent, cette activité est à la fois susceptible d'être illégale et peut être identifiée en fonction de l'activité de l'utilisateur (c'est-à-dire lorsqu'un utilisateur se connecte à un site web de sondages rémunérés).

Bien que l'identification claire des activités interdites soit bénéfique, elle n'est pas une exigence et n'a pas d'impact sur nos scores. Les entreprises peuvent choisir de mentionner qu'elles n'autorisent pas les activités illégales plutôt que de mentionner chaque instance possible d'activités illégales.

Le fait de mentionner une activité comme interdite ne signifie pas que ces activités seront examinées ou bloquées. Nos scores reposent sur la manière dont ces politiques sont mises en œuvre, comme indiqué ci-dessous :

Processus pour une utilisation éthique

Alors que certaines catégories énoncées dans les politiques d'utilisation acceptable sont assez larges (par exemple, le scraping ou l'accès non autorisé aux données), d'autres sont suffisamment spécifiques pour être converties en actions préventives (par exemple, le blocage de l'accès) que les services de collecte de données peuvent mettre en œuvre pour les utilisateurs qui n'ont pas terminé leur processus KYC.

Sur la base de ces utilisations interdites spécifiques, nous avons préparé une liste exhaustive d'utilisations susceptibles d'être des utilisations illégales de proxies. Pour chaque cas d'usage, nous avons identifié des scénarios comprenant des domaines web et des actions pertinents. Par exemple, dans le scénario d'engagement social artificiel, nous avons tenté de nous connecter à un réseau social en utilisant un proxy pour aimer une publication existante.

Ensuite, pour tester si les entreprises permettent une utilisation non éthique par les clients, nous avons créé un compte sur le service de chaque fournisseur en utilisant une adresse e-mail non-AIMultiple. Nous n'avons pas effectué de processus KYC avec ce compte et avons procédé à l'utilisation des services pour comprendre ce que les utilisateurs anonymes peuvent réaliser avec chaque service. Le KYC est une étape cruciale au cours de laquelle l'utilisateur soumet des données pour valider l'entité juridique qu'il représente. Cela lie l'activité de l'utilisateur à une entité juridique :

• Qui peut être tenue responsable.
• Dont la justification des actions en ligne (par exemple, l'utilisation de proxies pour se connecter à des sites web gouvernementaux) peut être examinée. Par exemple, après avoir compris leur cas d'usage, un chercheur ou une agence gouvernementale peut être autorisé à se connecter à un site web gouvernemental en utilisant un proxy.

Nous nous attendions à ce que ces cas d'usage déclenchent un processus KYC, mais chez la plupart des fournisseurs, cela ne s'est pas produit. Une coche indique que la demande a été bloquée pour les utilisateurs qui n'avaient pas encore terminé le processus KYC :

Pour plus de clarté, les entreprises de services de collecte de données n'ont aucune obligation légale de bloquer ces sites web et certains de ces scénarios peuvent faire partie d'une utilisation légale. Par exemple, un chercheur peut vouloir utiliser des proxies pour mener une expérience contrôlée sur les médias sociaux. Cependant, compte tenu du potentiel d'abus dans ces scénarios, nous nous attendions à ce que les services de collecte de données les bloquent pour les utilisateurs qui n'ont pas terminé le processus KYC.

Comment les marques communiquent les domaines qu'elles bloquent

• Bright Data répertorie les catégories de domaines restreints dans sa politique d'utilisation acceptable.

Respect des préférences des sites web concernant la collecte automatisée de données

Qu'est-ce que robots.txt ?

robots.txt est un nom de fichier pour la mise en œuvre du protocole d'exclusion des robots. Ce protocole est utilisé par les sites web pour indiquer les parties du site que le propriétaire du site préfère que les robots ne visitent pas. L'adhésion au robots.txt est volontaire.

Avantages et inconvénients de l'adhésion au robots.txt

➕ Respecte les préférences du site web.

➖ Peut ne pas être mis à jour récemment et donc être obsolète.

➖ Il implique généralement des termes qui indiquent que le propriétaire du site web préfère que certaines sections publiques du site ne soient pas accessibles par les robots.

Le robots.txt peut également fournir un accès inégal aux robots. Par exemple, les propriétaires de sites web peuvent indiquer qu'ils ne préfèrent pas que les robots des moteurs de réponse visitent certaines URL que les robots des moteurs de recherche visitent.

Le robots.txt n'est pas un document juridique et il peut demander de bloquer l'accès des robots pour des pages qui sont légalement :

• autorisées à être scrapées (par exemple, des données publiques) ou
• non autorisées à être scrapées (par exemple, des données derrière une connexion où les conditions d'utilisation du propriétaire du site interdisent le scraping de ces données).

Les fournisseurs de services de collecte de données web peuvent demander aux utilisateurs de proxies résidentiels de suivre un processus KYC et de prouver qu'ils ont un cas d'usage légal et éthique avant que ces utilisateurs puissent ignorer le robots.txt.

Pour les tests, nous avons envoyé des requêtes à des pages dans des sous-dossiers dont le blocage est demandé par le robots.txt. Les domaines que nous avons utilisés étaient aimultiple.com et 5 domaines web parmi les 100 les plus visités. Seul Bright Data a bloqué ces requêtes :

Exemple de CNN

Le robots.txt de CNN bloque le dossier /terms¹⁴ . Pour les tests, nous avons accédé à ce dossier avec des proxies résidentiels et avons reçu des messages 200 avec les données de la page de tous les fournisseurs sauf Bright Data. La réponse de Bright Data est : « Residential Failed (bad_endpoint) : Le site demandé n'est pas disponible pour le mode d'accès résidentiel immédiat (sans KYC) conformément au robots.txt. Pour obtenir un accès résidentiel complet pour cibler ce site, remplissez le formulaire KYC : https://brightdata.com/cp/kyc ».

Gestion des abus

Nous avons défini une méthodologie pour évaluer les pratiques de gestion des abus des fournisseurs et collecté des données pour répondre à nos critères d'évaluation :

* Non applicable : Zyte achète des proxies auprès d'autres fournisseurs de proxies et par conséquent, lorsque le service de Zyte est utilisé à des fins abusives, les propriétaires de sites web contacteraient ses fournisseurs de proxies plutôt que Zyte.

Bien que tous les fournisseurs offrent des moyens aux 3rd parties ou à leurs clients de les contacter, il est important de disposer de ces éléments pour la résolution des problèmes :

• Politique publique de gestion des abus
• Une adresse e-mail dédiée pour signaler les abus
• Une méthode de contact alternative (par exemple, un formulaire web ou une interface de messagerie) qui permet aux déclarants de joindre l'entreprise. Cela est utile car les e-mails peuvent être filtrés et ne pas parvenir dans la boîte de réception.
• Réactivité aux messages

3 fournisseurs dans le benchmark (Bright Data) ont fourni un e-mail pour signaler les abus. Tous ces fournisseurs ont également présenté leurs politiques dans ce domaine.

Nous nous attendons à ce que tous les autres fournisseurs fassent de même et que cela devienne une pratique courante dans l'industrie à court terme.

Enfin, nous avons évalué la réactivité de la gestion des abus en envoyant des signalements d'abus depuis des domaines tiers (c'est-à-dire non-AIMultiple) et en mesurant les temps de réponse. Si nous ne trouvions pas d'adresse e-mail pour les abus, nous l'envoyions au formulaire de contact général. Nous avons testé cela via 3 séries d'e-mails envoyés le :

• Vendredi 2 mai 2025 depuis :
  • Un service de vente de billets avec un trafic mensuel d'environ 30k
  • Un cabinet d'avocats avec un trafic mensuel d'environ 1k
• Le 17 mai 2025 depuis le service de vente de billets.
• Le 24 mai 2025 depuis une agence de médias sociaux avec un trafic en ligne limité.

Les premiers e-mails envoyés le 2 mai 2025 ont été adressés aux entreprises qui fournissaient des adresses e-mail dédiées. Par la suite, nous avons élargi notre liste et inclus des adresses e-mail plus générales figurant dans les sections de contact de tous les services de collecte de données web évalués. Si une entreprise répondait à nos e-mails, nous cessions de lui envoyer d'autres e-mails.

Dans nos e-mails, nous avons mentionné que nos sites web avaient reçu un trafic suspect de bots via des proxies et avons demandé leur aide pour identifier la source des proxies. Nous avons réussi à obtenir une réponse de toutes les équipes de conformité sauf une. Presque toutes les réponses ont été reçues le jour même.

Transparence d'utilisation

Les propriétaires de sites web qui fournissent des données web et des services de collecte de données web n'ont historiquement eu aucun échange de données sur les activités de collecte de données. Pour limiter les activités d'exploration, les propriétaires de sites web pouvaient soit :

• Contacter les services de collecte de données web pour signaler un abus
• Travailler avec des fournisseurs de gestion de bots comme Cloudflare pour rendre l'exploration plus difficile.

Il existe désormais des initiatives pour un échange de données plus structuré entre ces parties. Bright Data a lancé la console Bright Data Webmaster pour permettre aux webmestres de surveiller les activités d'exploration sur leurs sites web. Une plus grande transparence est susceptible d'améliorer les pratiques de collecte de données web.

Notre expérience avec la console Webmaster

Nous nous sommes inscrits en vérifiant la propriété de notre domaine et en ajoutant un fichier collectors.txt sur le domaine.

Nous avons désormais accès à l'activité des bots de Bright Data sur notre site web :

Benchmark : Approvisionnement éthique

* Les avis sur ces plateformes 3rd parties étaient inclus : Amazon Appstore, App Store, Google Play Store, Trustpilot. Pour plus de commodité, cette valeur a été calculée pour 5 applications majeures de Bright Data, et non pour l'ensemble des 120 applications présentées sur leur site web.

Transparence des partenaires

La bande passante requise par les entreprises d'infrastructure de données web peut être fournie de manière éthique en offrant des avantages (par exemple, des paiements, des fonctionnalités comme la possibilité de sauter des publicités) en échange du consentement pour partager sa connexion internet. Cependant, il est également possible d'obtenir un accès non autorisé aux systèmes des utilisateurs particuliers et de vendre leurs connexions.

Les fournisseurs d'infrastructure de données web peuvent formuler des politiques et des processus, effectuer des audits externes et publier leur approche et les résultats des audits pour créer de la transparence sur la manière dont ils acquièrent leurs connexions internet. Cela peut renforcer la confiance dans l'approvisionnement éthique de leur service.

Nous avons créé un cadre pour la transparence du côté de l'offre dans les données web et avons évalué les fournisseurs à l'aide de ce cadre. Nous avons appliqué ce cadre, que le service de collecte de données web ait acquis lui-même des IP résidentielles ou par l'intermédiaire d'autres proxies. Notre objectif est d'apporter de la transparence à l'ensemble de la chaîne d'approvisionnement des IP, car des pratiques non éthiques peuvent survenir à tout moment de la chaîne d'approvisionnement.

Vous trouverez ici nos résultats détaillés :

Bright Data

Bright Data est classé au niveau 5 car ils publient

• Leur approche d'approvisionnement et comment les développeurs d'applications peuvent travailler avec eux via leur SDK^{15 16}
• Des détails sur 120 fournisseurs ont été partagés publiquement. Nous avons pu vérifier les avis sur ces fournisseurs sur des plateformes 3rd parties pour estimer leur popularité. ¹⁷

Examen des applications sélectionnées

Bright Data partage 120 applications sur son site web. Des applications comme Bright VPN sont certifiées par des 3rd parties concernant leur divulgation et leur expérience utilisateur (UX).¹⁸ Nous avons également téléchargé ces applications pour les examiner plus en détail :

• Bright VPN
• EarnApp
• Sling Kong

Formulaire d'acceptation avec obligation de ne pas collecter de données personnelles identifiables : Formulaire de consentement avec une explication claire de

Bright VPN :

Earn App :

Sling Kong :

• L'utilisateur se voit présenter l'offre pendant le jeu :

• Opt-in :

• Informations supplémentaires lors de l'opt-in :

• Opt-out :

Valeur fournie par les applications :

• Bright VPN : Service VPN gratuit
• EarnApp : Paiements
• Sling Kong : Monnaie virtuelle dans le jeu

Autres

Bien que la plupart des fournisseurs soient conscients de l'éthique dans le web scraping et aient publié sur le sujet (par exemple, ¹⁹ , nous n'avons pas identifié leurs engagements spécifiques à cet égard, à l'exception de Zyte.²⁰

Nous nous attendons à ce que cela change et à ce que la plupart des fournisseurs passent au moins au niveau 1 à court terme.

Certification externe

* Indique que l'entreprise a obtenu toutes les certifications externes dans cette catégorie

Il est crucial pour les fournisseurs de disposer des bons systèmes, du personnel et des processus pour protéger les données des clients et sécuriser les applications qui fournissent leurs IP. Consultez notre méthodologie de mesure de la certification externe pour comprendre la logique de notre notation.

Conformité au RGPD et au CCPA

Tous les fournisseurs affirment publiquement être conformes aux deux réglementations sur la confidentialité des données. Par conséquent, cela n'a pas été inclus dans la notation.

Comment nous avons mesuré la maturité organisationnelle

Sur la base des capacités que nous avons identifiées dans ce domaine, nous avons vérifié l'existence de ces certificats chez chaque fournisseur en utilisant leurs déclarations publiques :

• Certification de sécurité des données et certification PII : ^{21
  22 23
  24}
• Source IP sur liste blanche : ²⁵
• Pratiques éthiques évaluées : ²⁶

Certains fournisseurs qui ne détiennent pas de certificats ISO 27018 ont affirmé qu'ils devraient être considérés comme certifiés puisqu'ils utilisent des fournisseurs de services cloud qui détiennent des certificats ISO 27018. L'avis de notre conseiller en cybersécurité était que, bien que cela faciliterait l'acquisition du certificat, ils devraient toujours faire certifier leurs politiques et contrôles pour obtenir le certificat.

Couverture d'assurance

3 entreprises de collecte de données web ont partagé leurs certificats d'assurance. Nous ne publions pas les certificats mais avons examiné les documents pour nous assurer que

• elles couvraient ces 2 catégories d'assurance
• Le plafond de l'assurance dans chaque catégorie est d'au moins plusieurs millions de dollars américains.

Découvrez davantage de nos benchmarks et analyses basées sur les données dans la recherche Google.

Ajouter comme source préférée

Avertissements et recommandations pour les prochaines étapes

Tous les fournisseurs de ce benchmark, à l'exception de Nimble, sont des clients d'AIMultiple. Comme toujours, nous avons suivi nos engagements éthiques lors de cette recherche.

Nous avons réalisé un examen exhaustif de la collecte de données web éthiques et, bien que nous soyons satisfaits de la portée de ce benchmark, nous aimerions en accroître la participation. Nous remercions ces entreprises d'avoir partagé leur couverture d'assurance : Apify, Bright Data, Zyte.

Nous attendons des réponses de Nimble. Nous mettrons à jour le rapport dès que nous aurons plus de nouvelles de leur part. 2 fournisseurs ont choisi de ne pas participer à cette itération du benchmark. Nous mettons toujours à jour ce rapport si l'une de ces 7 entreprises suggère des modifications factuelles, équitables pour tous les fournisseurs et aidant les entreprises à prendre de meilleures décisions.

Il s'agit du premier rapport à se concentrer sur les données web éthiques, selon nos recherches. Nous espérons que cette transparence pourra aider l'industrie des données web à trouver des solutions créatives à ses défis. Ces solutions devront équilibrer les intérêts des collecteurs de données web, des utilisateurs d'automatisation web, des propriétaires de sites web et des utilisateurs résidentiels qui fournissent leurs IP à l'industrie.

Limites de la méthodologie

Ce benchmark mesure des indicateurs de maturité observables, notamment les contrôles d'utilisation par les clients, la transparence de l'approvisionnement en IP, les certifications externes et le partage des assurances. Cependant, la notation ne détermine pas entièrement si un fournisseur est légalement conforme dans chaque cas d'usage client.

Par conséquent, un score élevé au benchmark doit être considéré comme un élément de diligence raisonnable pour les achats, et non comme une garantie de légalité ou d'utilisation éthique.

Références

Citer cette recherche

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Référence sur les données web éthiques et conformes}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/web-scraping-ethics}},
  note   = {AIMultiple. Consulté le 21 Juin 2026}
}

Liens de référence

1.

Workers Fainted at Nike Clothing Factory Despite a Vow to Reform — ProPublica

ProPublica

2.

2023 MOVEit data breach - Wikipedia

Contributors to Wikimedia projects

3.

https://www.courthousenews.com/wp-content/uploads/2024/01/starbucks-labor-rights-violations-suit.pdf

4.

Verifying Device

The Times

5.

Court Rules in Favor of Bright Data in Meta v. Bright Data Case - Bright Data

Bright Data

6.

Popa: From Sourcing to Distribution | Synthient

Synthient

7.

‘Popa’ Botnet Linked to Publicly-Traded Israeli Firm – Krebs on Security

8.

https://media.defense.gov/2024/Sep/18/2003547016/-1/-1/0/CSA-PRC-LINKED-ACTORS-BOTNET.PDF

9.

Internet Crime Complaint Center (IC3) | Home Internet Connected Devices Facilitate Criminal Activity

10.

A Look at the Residential Proxy Market | Intel 471

Website

11.

Satori Threat Intelligence Alert: PROXYLIB and LumiApps Transform Mobile Devices into Proxy Nodes - HUMAN Security

HUMAN Security

12.

Kimwolf Botnet Lurking in Corporate, Govt. Networks – Krebs on Security

13.

Subscribe to read

Financial Times

14.

https://edition.cnn.com/robots.txt

15.

Ethically Sourcing Residential Proxies | Bright Data

Bright Data

16.

homepage - Bright SDK

Bright SDK

17.

How Bright Data Obtains Its Residential IPs - Bright Data

Bright Data

18.

Bright VPN Compliance with guidelines - Google Sheets

19.

What is ethical scraping and how do you do it?

Apify Blog

20.

Web Scraping Data Compliance | Zyte

21.

https://brightdata.com/trustcenter/data-security-overview-protection-measures

22.

Security | Platform | Apify Documentation

23.

Nimble Trust Center | Security, Compliance & Reliability

24.

Trust Center | Zyte

25.

Bright SDK Compliance with Guidelines - Google Sheets

26.

pwc-report - Bright Data

Bright Data

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017. AIMultiple informe chaque mois des centaines de milliers d'entreprises (selon similarWeb), dont 55 % des entreprises du classement Fortune 500. Les travaux de Cem ont été cités par des publications internationales de premier plan telles que Business Insider, Forbes et le Washington Post, ainsi que par des entreprises mondiales comme Deloitte et HPE, des ONG comme le Forum économique mondial et des organisations supranationales comme la Commission européenne. Vous trouverez d'autres entreprises et ressources réputées ayant fait référence à AIMultiple. Tout au long de sa carrière, Cem a exercé les fonctions de consultant, d'acheteur et d'entrepreneur dans le secteur des technologies. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la numérisation. Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité directe du PDG. Il a également piloté la croissance commerciale de la société de deep tech Hypatos, qui a atteint un chiffre d'affaires annuel récurrent à sept chiffres et une valorisation à neuf chiffres en seulement deux ans. Les travaux de Cem chez Hypatos ont été présentés dans des publications technologiques de référence telles que TechCrunch et Business Insider. Cem intervient régulièrement lors de conférences internationales sur les technologies. Diplômé en génie informatique de l'université de Bogazici, il est également titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire