Évaluation éthique et conforme des données web

À mesure que les entreprises développent leurs opérations de données web, les responsables de la conformité, des données et des risques évaluent de plus en plus les risques éthiques, réputationnels et légaux associés.

Nous avons évalué 5 principaux services de collecte de données web selon 3 dimensions et testé chaque service avec plus de 20 scénarios potentiellement non éthiques.

Notre travail vous aide à évaluer la position éthique de vos pratiques de collecte de données et à comprendre les conséquences potentielles des approches non éthiques. Nous fournissons également des lignes directrices pour la collecte éthique de données web et évaluons les services de collecte de données web d'un point de vue éthique et de conformité :

Évaluation des services de collecte de données web

Nous avons évalué les principaux services de collecte de données web (également appelés fournisseurs de données web ou infrastructure de données web) en utilisant notre liste de contrôle des données web éthiques. Ces scores représentent des niveaux de maturité, 5 étant le niveau le plus élevé :

* Ce sont des codes pour les noms des fournisseurs. Ces fournisseurs ne souhaitaient pas être mentionnés dans ce rapport et sont listés au bas de la liste jusqu'à ce que nous résolvions ce problème.

** ✅ indique que l'entreprise a choisi de partager ses certificats d'assurance avec AIMultiple. ❌ indique que l'entreprise a décidé de ne pas partager ses certificats d'assurance avec nous et nous n'avons donc pas pu valider sa couverture d'assurance. La couverture d'assurance est la seule catégorie où nous nous sommes appuyés sur la participation des entreprises de services de données web pour les évaluer.

Trié par score de résumé.

Modèle de notation pour les données web éthiques

Ci-dessous, nous expliquons comment ces scores sont dérivés. Vous pouvez également voir la justification du choix de ces dimensions de notation.

Dans les deux premières catégories, nous avons identifié 5 compétences, et les entreprises ont reçu des scores basés sur le nombre de compétences qu'elles ont satisfaites. Le niveau 5 représente la maturité la plus élevée observée sur le marché, reflétant les meilleures pratiques actuelles plutôt que la perfection.

Capacités pour un usage éthique par les clients

• Processus efficaces pour un usage éthique : Nous évaluons la capacité de chaque fournisseur à empêcher l'utilisation non éthique de ses services de proxy résidentiels grâce à des scénarios de test contrôlés. Si l'une de nos demandes est bloquée par le fournisseur, alors cela est atteint.
• Processus améliorés pour un usage éthique : Similaire aux « processus efficaces pour un usage éthique ». Cependant, cette capacité indique que le fournisseur de services a bloqué plus d'une de nos tentatives d'utiliser ses services pour des cas d'utilisation non éthiques.
• Processus de meilleure pratique pour un usage éthique : Similaire aux « processus efficaces pour un usage éthique ». Cependant, cette capacité indique que le fournisseur de services a bloqué la plupart de nos tentatives d'utiliser ses services pour des cas d'utilisation non éthiques.
• Fondement de la gestion des abus : Publication d'une politique de gestion des abus et d'une méthode pour signaler les abus
• Gestion réactive des abus : Nous avons mesuré comment les entreprises ont répondu à plusieurs rapports d'abus. Même s'il n'y avait pas de ligne directe pour signaler les abus, nous avons utilisé les e-mails listés par l'entreprise pour joindre son équipe. Si nous n'avons reçu aucune réponse à notre rapport dans la semaine, l'entreprise est considérée comme non réactive.

Capacités pour un approvisionnement éthique

L'approvisionnement éthique implique l'acquisition d'adresses IP de manière éthique. Notre analyse de marché a identifié les niveaux de transparence suivants concernant l'approvisionnement éthique en IP :

• Niveau 1 : Politique de sourcing d'IP publiée.
• Niveau 2: A divulgué au moins une source (par exemple une application mobile) pour les IP qui fournissent des IP de manière éthique. La source divulguée doit avoir au total au moins 10k avis sur des plateformes tierces, y compris Google, Apple, Amazon app stores, et Trustpilot.
• Niveau 3: Même que le niveau 3 mais avec 100k avis
• Niveau 4: Même que le niveau 3 mais avec 1M avis
• Niveau 5: Même que le niveau 4 mais avec 10M avis

Les avis sont un indicateur de la popularité des applications et constituent un signal important pour cette évaluation. Les services de collecte de données web doivent travailler avec des applications populaires pour pouvoir satisfaire les besoins en IP de leurs clients.

Pour la qualification, les applications divulguées doivent suivre ces meilleures pratiques. Nous ne vérifierons pas cela pour chaque application divulguée, mais pour quelques-unes sélectionnées au hasard :

• Consentement éclairé :
  • Les utilisateurs doivent accepter avant de partager leur connexion Internet. L'écran d'acceptation doit décrire :
    • Le fournisseur
    • Le service
    • Comment leur IP sera utilisée
  • Les utilisateurs doivent pouvoir accéder à des informations détaillées sur
    • Comment leur connexion Internet sera utilisée
    • Politique de confidentialité
• Valeur : Les utilisateurs doivent recevoir une certaine valeur de l'application (par exemple paiement, capacité de sauter les publicités ou une autre fonctionnalité)
• Confidentialité : Collecte de données utilisateur limitée et transparente.

Pour les réseaux de proxy résidentiels, les acheteurs doivent également vérifier si le consentement est spécifique, éclairé, révocable et séparé des permissions d'application non liées. Ils doivent demander si les utilisateurs peuvent facilement se désabonner, si l'utilisation de la bande passante est plafonnée, si les mineurs sont exclus, et si le fournisseur audite les applications ou les SDK qui fournissent des IP résidentielles.

Certification externe

Nous avons évalué la certification externe en fonction de savoir si les entreprises ont acquis ces certificats pertinents pour la sécurité et la conformité de niveau entreprise.

• Certification PII : Capacité démontrée à gérer les PII en acquérant ISO 27018
• Certification de sécurité des données : Pratiques de sécurité des données démontrées en acquérant l'un de ces certificats : SOC 2 ou ISO/IEC 27001
• Source d'IP blanchie : Les fournisseurs de certification externes comme McAfee certifient soit :
  • Des applications tierces spécifiques qui fournissent des IP
  • SDK qui collecte des IP à partir d'applications tierces
• Pratiques éthiques évaluées : Un projet d'assurance ISAE 3000 peut être réalisé pour évaluer les pratiques internes de conformité et d'éthique.

Assurance

Nous avons demandé aux fournisseurs de nous fournir ces documents d'assurance :

• Certificat d'assurance responsabilité professionnelle couvrant la responsabilité des fournisseurs en cas de problèmes dans le service
• Certificat d'assurance cyber couvrant la responsabilité des fournisseurs en cas de problèmes liés à la sécurité de l'information.

Score de résumé

Ce score est la somme de tous les scores divisée par 3. Les scores sont :

• 0 à 5 pour les capacités d'usage éthique par les clients
• 0 à 5 pour les capacités d'approvisionnement éthique
• 0 à 3 pour la certification externe
• 0 à 2 pour les assurances

Principaux services de collecte de données web

AIMultiple a sélectionné les 7 plus grands services de collecte de données web en termes d'employés sur LinkedIn. Nous avons choisi cette métrique car elle est à la fois publique et devrait être corrélée aux revenus de l'entreprise et à sa préparation pour les entreprises. De meilleures métriques telles que les revenus ou le nombre d'employés sur la paie ne sont pas publiquement disponibles pour ces entreprises privées.

Toutes les entreprises sélectionnées ont plus de 100 employés connectés à leurs pages de profil LinkedIn en avril 2025. Actuellement, 5 des 7 sélectionnés sont affichés sur cette page et les 2 entreprises restantes ont choisi de ne pas être incluses dans le rapport.

Produits de collecte de données web en focus

Ces entreprises fournissent une gamme de produits incluant des proxies, des API de scraping de données et des datasets. Bien que tous les produits puissent être examinés d'un point de vue éthique, nous nous sommes initialement concentrés sur le produit qui offre le plus haut niveau de flexibilité et alimente la plupart des autres produits : les proxies résidentiels.

Les produits de collecte de données web peuvent être considérés comme une hiérarchie où les proxies forment la couche de base sur laquelle tous les autres services sont construits. C'est parce que les proxies permettent aux machines d'accéder à Internet via différentes destinations, permettant un ensemble diversifié et important de connexions Internet crucial pour la collecte de données. Par conséquent, les proxies sont le produit de collecte de données web le plus capable, il peut être utilisé pour effectuer des fonctions qui ne seraient pas possibles avec des datasets ou des API de scraping de données.

Parmi les proxies, les proxies résidentiels sont le produit le plus difficile à identifier comme proxy par les sites web. Par exemple, d'autres proxies tels que les proxies de datacenter sont faciles à identifier étant donné leur emplacement. Par conséquent, les proxies résidentiels alimentent la plupart des autres produits de données web comme les API de scraping de données.

Vérifier : Votre collecte de données web est-elle conforme et éthique ?

Votre entreprise utilise probablement des données web. Cependant, l'industrie fait face à une réglementation limitée, ce qui rend important de choisir un fournisseur éthique et conforme. Pour y parvenir, nous avons préparé un cadre holistique pour prendre en compte différents aspects de la collecte de données web, y compris le sourcing éthique, l'utilisation éthique et la certification externe.

Les données web sont un actif opérationnel courant

En tant qu'entreprise, votre activité repose partiellement sur les données web en raison de ses nombreux cas d'utilisation comme :

• Prix dynamique pour le commerce de détail et le e-commerce
• Données alternatives en temps réel pour les fonds d'investissement
• Processus KYC dans la banque commerciale
• Entraînement de modèle IA ou finetuning
• Inférence IA ou RAG
• Études de marché

Avec l'IA, les données web sont maintenant plus importantes

Bien que la collecte de données web soit aussi ancienne que le web, son importance a considérablement augmenté après l'essor des modèles d'IA générative. Les créateurs de ces modèles tels que OpenAI et Anthropic ont commencé sans partenariats de contenu significatifs et ont utilisé principalement des données en ligne pour construire leurs modèles initiaux, ce qui a conduit à l'essor de l'industrie de l'IA de plusieurs billions de dollars.

Surveillance réglementaire limitée

Bien que la réglementation de l'IA soit sous projecteur, l'industrie de la collecte de données reste majoritairement non réglementée dans la plupart des pays. Les activités en ligne illégales claires sont bien définies. Cependant, il existe des exigences réglementaires limitées pour les acteurs de l'industrie de prévenir proactivement les abus de leurs services par les utilisateurs.

C'est aux plateformes elles-mêmes de définir les meilleures pratiques et les normes de conformité pour assurer une collecte de données éthique et une utilisation de proxy. Par conséquent, votre choix de fournisseur compte plus dans la collecte de données par rapport aux industries fortement réglementées comme la banque où chaque fournisseur de services est tenu de se conformer à de nombreuses réglementations.

La position éthique de vos fournisseurs fait partie de la réputation de votre entreprise

Que vous collectiez ou consommiez les données, vous êtes responsable de son processus d'acquisition.

Les responsabilités des entreprises pour les activités illégales dans leur chaîne d'approvisionnement dépendent de la juridiction. Par exemple, en Allemagne, les entreprises sont responsables de mener des activités KYS et de gestion des risques pour identifier et prévenir les dommages causés par leur chaîne d'approvisionnement. Même lorsque les entreprises ne sont pas responsables des dommages causés par leur chaîne d'approvisionnement, elles peuvent subir un risque réputationnel.

Quel est le coût de la collecte de données non éthique et non conforme ?

Risque réputationnel

S'il devient public qu'une entreprise utilise un service de collecte de données web qui s'engage dans des comportements ou des actions non éthiques mettant en danger sa sécurité des données, cela peut entraîner des dommages réputationnels significatifs tels que la perte d'affaires, le départ de clients, le départ de talents et la perte de confiance des investisseurs.

Exemples réels de fournisseurs d'entreprise menant à une perte de réputation :

• Nike a subi des dommages réputationnels à de nombreuses reprises en raison des pratiques de travail non éthiques de ses fournisseurs.¹
• De nombreuses entreprises comme EY ont perdu la confiance de leurs clients lorsqu'elles ont été touchées par la faille de sécurité du logiciel de transfert de fichiers géré MOVEit. ²

Risque légal

La perte de réputation, surtout celle qui conduit à une indignation publique, est généralement suivie de poursuites judiciaires de la part des clients de l'entreprise ou d'autres parties prenantes qui ont été lésés par les pratiques non éthiques.

Exemple réel : Starbucks est l'une des marques récentes à être poursuivie pour approvisionnement auprès d'entreprises ayant des pratiques non éthiques.³

Liste de contrôle des données web éthiques

Les données web d'entreprise doivent satisfaire 3 exigences pour être éthiques :

Usage éthique par les clients

Dans le cadre de leurs processus de connaissance de votre fournisseur, les entreprises évitent d'utiliser des services qui permettent des activités non éthiques. L'utilisation de tels services expose les entreprises à des dommages réputationnels.

Exemple réel : Dans les cas où un fournisseur a été documenté en permettant l'utilisation de sa plateforme dans des activités non éthiques, de nombreuses entreprises se sont éloignées du fournisseur jusqu'à ce qu'il améliore ses pratiques.⁴

Comment cela se rapporte aux données web : Les données web sont collectées via différentes adresses IP. Ces adresses peuvent être utilisées pour s'engager dans différentes activités illégales telles que des attaques DDOS pour empêcher la livraison de services numériques, la collecte de données non publiques non autorisée ou la fraude publicitaire. Les mauvais acteurs ont besoin d'IP pour alimenter leurs actions et les fournisseurs d'infrastructure de données web/proxy sont les plus grands fournisseurs d'IP pour les utilisateurs de détail.

Approvisionnement éthique

Les services utilisés à des fins éthiques peuvent causer des actions non éthiques et nuisibles lors de leur production. Par exemple, des marques comme Nike et Nestle ont subi des dommages réputationnels et ont fait face à des poursuites judiciaires en raison de l'utilisation de travail d'enfants par leurs sous-traitants.

Comment cela se rapporte aux données web :

Les entreprises doivent accéder à un grand nombre et à des sources diverses de bande passante pour une collecte de données rapide et mondiale. Cela nécessite l'utilisation de proxies résidentiels : Bien que la collecte de données publiques soit légale dans de nombreuses conditions, ⁵ les sites web peuvent également choisir de bloquer certains de leurs visiteurs. Par exemple, ils peuvent bloquer les robots de leurs concurrents. Dans de tels cas, les entreprises doivent s'appuyer sur un grand nombre de connexions d'utilisateurs de détail ou d'autres tiers pour collecter des données web.

Les fournisseurs de proxy collectent des millions de connexions Internet de diverses sources et les fournissent aux entreprises qui utilisent des adresses IP pour accéder à ces connexions. Certaines de ces IP proviennent des appareils des utilisateurs résidentiels. La collecte de ces connexions peut être légale ou illégale :

• Légal : Les pratiques conformes à la loi impliquent d'obtenir le consentement éclairé des utilisateurs, de fournir une compensation et d'offrir des mécanismes de désabonnement conformément aux réglementations locales. Le fournisseur de données web devrait
  • Informer les utilisateurs sur la façon dont leur bande passante serait utilisée
  • Obtenir leur consentement numériquement
  • Les compenser en retour
  • Leur permettre de se désabonner à tout moment
• Illégal : Les mauvais acteurs peuvent accéder aux appareils des utilisateurs et utiliser leur connexion Internet sans permission ni compensation. Cela peut se produire via des applications malveillantes, des appareils compromis, des installations masquées, une acceptation automatique et d'autres méthodes qui peuvent mettre le propriétaire de l'appareil en danger.

Les entreprises utilisant des proxies obtenus illégalement peuvent involontairement payer des mauvais acteurs pour un accès non autorisé aux appareils.

Exemples réels :

• Les routeurs et les appareils IoT ont été compromis pour des opérations de botnet et vendus comme proxies résidentiels.^{6 7}
• Certains fournisseurs de proxy promeuvent leurs services dans des forums fréquentés par des mauvais acteurs. Ces IP sont probablement obtenues illégalement.⁸
• Les applications VPN sur Google Play Store ont également été utilisées pour acquérir des IP résidentielles sans le consentement de l'utilisateur.⁹

Bien que ces opérations aient été fermées, il est probable que les mauvais acteurs accèdent toujours aux IP résidentielles sans consentement via des botnets et des applications compromises ou malveillantes.

Certification externe

Les acheteurs d'entreprise ont besoin de solutions sécurisées et prêtes pour l'entreprise. Nous avons identifié les ingrédients d'une organisation de données web mature qui peuvent être documentés via une certification externe :

Sécurité des données

Le manque de sécurité des données dans les systèmes d'un fournisseur peut éroder l'avantage concurrentiel d'une entreprise ou entraîner une perte de données et des temps d'arrêt du système. La perte de fonctionnalité du système peut éroder la confiance et entraîner la dévaluation d'une entreprise.

Intrusion système

Les services de collecte de données ne sont pas aussi profondément intégrés aux systèmes d'une entreprise que les services numériques de base (par exemple un système d'enregistrement comme CRM). Par conséquent, leurs credentials de sécurité ne sont pas aussi soigneusement examinés que les credentials d'un système de base comme un système d'enregistrement. Cependant, la sécurité des données est cruciale pour les clients des services de collecte de données car ces services :

• Sont parfois intégrés à des systèmes plus centraux comme les moteurs de prix.
• Peuvent infecter les systèmes d'entreprise même s'ils ne sont pas intégrés à de tels systèmes. L'utilisation d'un service de collecte de données implique de recevoir des données de ce service. Même certaines des formes les plus sécurisées de transfert de données incluent des risques.

L'intrusion système peut également amener les attaquants à cibler les appareils qui fournissent des IP résidentielles à des services de proxy. Cela peut entraîner des dommages réputationnels pour les clients de ces services de proxy.

Exemple de vulnérabilité réel dans un fournisseur de proxy résidentiel :

Les opérateurs du botnet Kimwolf ont acheté des services de proxy auprès du fournisseur de proxy résidentiel IPIDEA. En utilisant des commandes malveillantes, ils ont infecté les réseaux internes des appareils fournissant des IP à IPIDEA. Ces réseaux ont ensuite été scannés et d'autres appareils vulnérables sur ces réseaux locaux ont également été infectés.

On estime que Kimwolf s'est propagé à plus de 2 millions d'appareils avec cette méthode. Les données collectées par les clients d'IPIDEA ont également circulé à travers ces réseaux infectés.¹⁰

Perte de données

Sans sécurité des données, les mauvais acteurs peuvent accéder aux données collectées par les entreprises pour identifier leurs activités et stratégies, entraînant une perte d'avantage concurrentiel ou d'opportunités d'affaires.

Exemple réel :

Bien que les données web soient publiques, les entreprises peuvent utiliser les données web de nouvelles manières pour un avantage concurrentiel. Par exemple, les investisseurs dépensent jusqu'à 10% de leur budget de données de marché sur des données alternatives¹¹ , mais ils divulguent rarement leurs stratégies car ils pensent que cela peut les aider à gagner un avantage par rapport à leurs concurrents. Une fuite de données peut entraîner l'exposition de leurs stratégies et donc leur réplication par leurs concurrents.

Gestion des PII

Les données web incluent des données privées derrière une connexion ou des PII qui peuvent être accidentellement ou intentionnellement divulguées sur des sites web publics. Si les services de collecte de données web ne gèrent pas correctement les PII, ces données peuvent être acquises par des mauvais acteurs. Cela peut entraîner des dommages réputationnels pour le service de collecte de données web et ses clients.

Sécurité des applications

Les applications ou les programmes intermédiaires comme les SDK qui sourcent les IP des services de collecte de données web peuvent être blanchis par des fournisseurs de certification externes comme McAfee. Cela augmente la confiance de l'entreprise dans les pratiques d'approvisionnement éthique du service de collecte de données web.

Couverture d'assurance

Les entreprises exigent généralement ces assurances de tout fournisseur numérique :

• Assurance responsabilité professionnelle
• Certificat d'assurance cyber

Découvrez davantage de nos benchmarks et analyses basées sur les données dans la recherche Google.

Ajouter comme source préférée

Évaluation détaillée : Évaluation des fournisseurs d'infrastructure de données web

Évaluation : Usage éthique par les clients

Ici, nous visons à répondre à la question : L'entreprise s'assure-t-elle que l'utilisation de sa solution est éthique et conforme aux lois et réglementations applicables ? Résumé de nos conclusions :

* Non applicable : Puisque Zyte et Apify achètent des proxies à leurs fournisseurs et ne les collectent pas directement auprès des utilisateurs résidentiels, ils ne seraient pas contactés par les propriétaires de sites web concernant les abus et n'ont donc pas besoin de créer un formulaire de contact pour les sites web.

Tout d'abord, nous avons examiné les politiques :

Examen de la politique d'utilisation acceptable

Tous les fournisseurs interdisent les activités illégales et fournissent des exemples comme les attaques DoS, les messages en masse non sollicités, l'usurpation d'identité ou le spoofing.

De plus, certains fournisseurs soulignent également qu'ils interdisent les activités susceptibles d'être illégales. Ci-dessous, nous listons les activités interdites basées sur les politiques d'utilisation acceptable et leurs annexes (par exemple l'annexe de traitement des données) pour chaque fournisseur.

Nous avons cherché des termes qui interdiraient les activités susceptibles d'être illégales et qui peuvent être identifiées en fonction de l'activité de l'utilisateur. Par exemple, une part importante d'utilisateurs utilisant des proxies pour passer des sondages payants pourrait utiliser des proxies pour tromper les fournisseurs de sondages sur leur emplacement réel. Par conséquent, cette activité est à la fois susceptible d'être illégale et peut être identifiée en fonction de l'activité de l'utilisateur (c'est-à-dire lorsqu'un utilisateur se connecte à un site web de sondage payant).

Bien que l'identification claire des activités interdites soit bénéfique, ce n'est pas une exigence et n'a pas d'impact sur nos scores. Les entreprises peuvent choisir de mentionner qu'elles n'autorisent pas les activités illégales plutôt que de mentionner chaque instance possible d'activités illégales.

Mentionner une activité comme interdite ne signifie pas que de telles activités seront examinées ou bloquées. Nos scores reposent sur la manière dont ces politiques sont mises en œuvre comme décrit ci-dessous :

Processus pour un usage éthique

Bien que certaines catégories décrites dans les politiques d'utilisation acceptable soient assez larges (par exemple le scraping de données non autorisé ou l'accès), d'autres sont suffisamment spécifiques pour être converties en actions préventives (par exemple bloquer l'accès) que les services de collecte de données peuvent mettre en œuvre pour les utilisateurs qui n'ont pas terminé leur processus KYC.

Sur la base de ces utilisations interdites spécifiques, nous avons préparé une liste extensive d'utilisations susceptibles d'être des utilisations illégales de proxies. Pour chaque cas d'utilisation, nous avons identifié des scénarios incluant des domaines web pertinents et des actions. Par exemple, dans le scénario pour l'engagement social artificiel, nous avons tenté de nous connecter à un réseau social en utilisant un proxy pour aimer un post existant.

Puis, pour tester si les entreprises autorisent un usage non éthique par les clients, nous avons créé un compte sur le service de chaque fournisseur en utilisant une adresse e-mail non AIMultiple. Nous n'avons pas terminé de processus KYC avec ce compte et avons procédé à l'utilisation des services pour comprendre ce que les utilisateurs anonymes peuvent accomplir avec chaque service. KYC est une étape cruciale au cours de laquelle l'utilisateur soumet des données pour valider l'entité légale qu'il représente. Cela lie l'activité de l'utilisateur à une entité légale :

• Qui peut être tenue responsable.
• Donc la justification des actions en ligne (par exemple utiliser des proxies pour se connecter à des sites web gouvernementaux) peut être examinée. Par exemple, après avoir compris leur cas d'utilisation, un chercheur ou une agence gouvernementale peut être autorisé à se connecter à un site web gouvernemental en utilisant un proxy.

Nous nous attendions à ce que ces cas d'utilisation déclenchent un processus KYC mais chez la plupart des fournisseurs, cela ne s'est pas produit. Une coche indique que la demande a été bloquée pour les utilisateurs qui n'avaient pas encore terminé le processus KYC :

Pour plus de clarté, les entreprises de services de collecte de données n'ont aucune obligation légale de bloquer ces sites web et certains de ces scénarios peuvent faire partie d'une utilisation légale. Par exemple, un chercheur peut vouloir utiliser des proxies pour mener une expérience de réseau social contrôlée. Cependant, étant donné le potentiel d'abus dans ces scénarios, nous nous attendions à ce que les services de collecte de données les bloquent pour les utilisateurs qui n'ont pas terminé le processus KYC.

Comment les marques communiquent les domaines qu'elles bloquent

• Bright Data liste les catégories de domaines restreints dans sa politique d'utilisation acceptable.

Respect des préférences des sites web concernant la collecte de données automatisée

Qu'est-ce que robots.txt ?

robots.txt est un nom de fichier pour implémenter le protocole d'exclusion des robots. Ce protocole est utilisé par les sites web pour indiquer les parties du site web que le propriétaire du site web préfère que les bots ne visitent pas. Le respect de robots.txt est volontaire.

Avantages et inconvénients du respect de robots.txt

➕ Respecte les préférences du site web.

➖ Peut ne pas être récemment mis à jour et donc être obsolète.

➖ Il implique généralement des termes indiquant que le propriétaire du site web préfère que certaines sections publiques du site web ne soient pas accessibles par les bots.

Robots.txt peut également fournir un accès inégal aux bots. Par exemple, les propriétaires de sites web peuvent indiquer qu'ils ne préfèrent pas que les bots des moteurs de réponse visitent certaines URL que les bots des moteurs de recherche visitent.

Robots.txt n'est pas un document juridique et il peut demander de bloquer l'accès des bots pour des pages qui sont légalement :

• autorisées à être scrapées (par exemple données publiques) ou
• non autorisées à être scrapées (par exemple données derrière une connexion où le ToC du propriétaire du site web interdit le scraping de telles données).

Les fournisseurs de services de collecte de données web peuvent demander aux utilisateurs de proxy résidentiel de compléter un processus KYC et de prouver qu'ils ont un cas d'utilisation légal et éthique avant que ces utilisateurs puissent ignorer robots.txt.

Pour les tests, nous avons envoyé des demandes à des pages dans des sous-dossiers qui sont demandés d'être bloqués par robots.txt. Les domaines que nous avons utilisés étaient aimultiple.com et 5 domaines web parmi les 100 domaines web les plus visités. Seul Bright Data a bloqué ces demandes :

Exemple CNN

Le robots.txt de CNN bloque le dossier /terms¹² . Pour les tests, nous avons navigué vers ce dossier avec des proxies résidentiels et avons reçu 200 messages avec les données de la page de tous les fournisseurs sauf Bright Data. La réponse de Bright Data est : « Échec résidentiel (bad_endpoint) : Le site demandé n'est pas disponible pour le mode d'accès résidentiel immédiat (sans KYC) conformément à robots.txt. Pour obtenir un accès résidentiel complet pour cibler ce site, remplissez le formulaire KYC : https://brightdata.com/cp/kyc ».

Gestion des abus

Nous avons décrit une méthodologie pour évaluer les pratiques de gestion des abus des fournisseurs et collecté des données pour remplir nos critères d'évaluation :

* Non applicable : Zyte achète des proxies à d'autres fournisseurs de proxy et donc lorsque le service de Zyte est utilisé pour des abus, les propriétaires de sites web contacteraient ses fournisseurs de proxy plutôt que Zyte.

Bien que tous les fournisseurs fournissent des moyens pour les tiers ou leurs clients de les joindre, avoir ces éléments est important pour la résolution des problèmes :

• Politique d'abus publique
• Une adresse e-mail dédiée pour signaler les abus
• Une méthode de contact alternative (par exemple formulaire web ou interface de messagerie) qui permet aux rapporteurs de joindre l'entreprise. Cela est utile car les e-mails peuvent être filtrés et peuvent ne pas atteindre la boîte de réception.
• Réactivité aux messages

3 fournisseurs dans l'évaluation (Bright Data) ont fourni un e-mail pour signaler les abus. Tous ces fournisseurs ont également décrit leurs politiques dans ce domaine.

Nous nous attendons à ce que tous les autres fournisseurs fassent de même et que cela devienne une pratique industrielle répandue à court terme.

Enfin, nous avons évalué la réactivité de la gestion des abus en envoyant des rapports d'abus par e-mail depuis des domaines tiers (c'est-à-dire non AIMultiple) et en mesurant les temps de réponse. Si nous ne pouvions pas trouver d'adresse e-mail pour les abus, nous l'avons envoyée au formulaire de contact général. Nous avons testé cela via 3 lots d'e-mails envoyés le :

• Vendredi 2 mai 2025 depuis :
  • Un service de vente de billets avec ~30k trafic mensuel
  • Un cabinet d'avocats avec ~1k trafic mensuel dans
• 17 mai 2025 depuis le service de vente de billets.
• 24 mai 2025 depuis une agence de médias sociaux avec un trafic en ligne limité.

Les premiers e-mails envoyés le 2 mai 2025 ont été envoyés aux entreprises qui fournissaient des e-mails dédiés. Plus tard, nous avons élargi notre liste et inclus plus d'adresses e-mail générales listées dans les sections de contact de tous les services de collecte de données web évalués. Si une entreprise répondait à nos e-mails, nous arrêtions de leur envoyer d'autres e-mails.

Dans nos e-mails, nous avons mentionné que nos sites web ont reçu du trafic de bot suspect via des proxies et avons demandé leur aide pour identifier la source des proxies. Nous avons pu obtenir la réponse de toutes les équipes de conformité sauf une. Presque toutes les réponses ont été reçues le même jour.

Transparence de l'utilisation

Les propriétaires de sites web qui fournissent des données web et les services de collecte web n'ont historiquement eu aucun échange de données sur les activités de collecte de données. Pour limiter les activités de crawling, les propriétaires de sites web pouvaient soit :

• Contactez les services de collecte de données web pour signaler les abus
• Travailler avec des fournisseurs de gestion de bot comme Cloudflare pour rendre le crawling plus difficile.

Maintenant, il existe des initiatives pour un échange de données plus structuré entre ces parties. Bright Data a lancé la console Webmaster de Bright Data pour les webmasters afin de surveiller les activités de crawling sur leurs sites web. Plus de transparence est susceptible d'améliorer les pratiques de collecte de données web.

Notre expérience avec la console Webmaster

Nous nous sommes inscrits en vérifiant la propriété de notre domaine et en ajoutant un fichier collectors.txt sur le domaine.

Nous avons maintenant accès à l'activité de bot de Bright Data sur notre site web :

Évaluation : Approvisionnement éthique

* Les avis sur ces plateformes tierces ont été inclus : Amazon Appstore, App Store, Google Play Store, Trustpilot. Pour plus de commodité, cette valeur a été calculée pour 5 applications majeures pour Bright Data, pas toutes les 120 applications présentées sur leur site web.

Transparence des partenaires

La bande passante requise par les entreprises d'infrastructure de données web peut être fournie de manière éthique en fournissant des avantages (par exemple paiements, fonctionnalités comme la capacité de sauter les publicités) en échange du consentement pour partager sa connexion Internet. Cependant, il est également possible d'accéder sans autorisation aux systèmes des utilisateurs de détail et de vendre leurs connexions.

Les fournisseurs d'infrastructure de données web peuvent formuler des politiques et des processus, mener des audits externes et publier leur approche et leurs résultats d'audit pour créer de la transparence sur la façon dont ils acquièrent leurs connexions Internet. Cela peut favoriser la confiance dans l'approvisionnement éthique de leur service.

Nous avons créé un cadre pour la transparence du côté de l'approvisionnement dans les données web et noté les fournisseurs en utilisant ce cadre. Nous avons appliqué ce cadre indépendamment du fait qu'un service de collecte de données web ait acquis des IP résidentielles lui-même ou via d'autres proxies. Notre objectif est d'apporter de la transparence à toute la chaîne d'approvisionnement des IP car des pratiques non éthiques peuvent provenir à n'importe quel point de la chaîne d'approvisionnement.

Voici nos résultats détaillés :

Bright Data

Bright Data est classé comme niveau 5 car ils publient

• Leur approche de sourcing et comment les développeurs d'applications peuvent travailler avec eux via leur SDK^{13 14}
• Des détails sur 120 fournisseurs ont été partagés publiquement. Nous avons pu vérifier les avis de ces fournisseurs sur des plateformes tierces pour estimer leur popularité. ¹⁵

Examen des applications sélectionnées

Bright Data partage 120 applications sur leur site web. Des applications comme Bright VPN sont certifiées par des tiers sur leur divulgation et leur UX.¹⁶ Nous avons également téléchargé ces applications pour les voir plus en détail :

• Bright VPN
• EarnApp
• Sling Kong

Formulaire d'acceptation avec obligation de ne pas collecter de données personnellement identifiables : Formulaire de consentement avec explication claire de

Bright VPN :

Earn App :

Sling Kong :

• L'utilisateur est présenté avec l'offre pendant le jeu :

• Acceptation :

• Informations supplémentaires pendant l'acceptation :

• Désabonnement :

Valeur fournie par les applications :

• Bright VPN : Service VPN gratuit
• EarnApp : Paiements
• Sling Kong : Monnaie virtuelle en jeu

Autres

Bien que la plupart des fournisseurs soient conscients de l'éthique dans le web scraping et aient publié sur le sujet (par exemple ¹⁷ , nous n'avons pas identifié leurs engagements spécifiques dans ce domaine sauf pour Zyte.¹⁸

Nous nous attendons à ce que cela change et que la plupart des fournisseurs passent au moins au niveau 1 à court terme.

Certification externe

* Indique que l'entreprise a obtenu toutes les certifications externes dans cette catégorie

Il est crucial pour les fournisseurs d'avoir les bons systèmes, personnel et processus pour protéger les données des clients et sécuriser les applications qui fournissent ses IP. Consultez notre méthodologie de mesure de la certification externe pour voir la logique derrière notre notation.

Conformité GDPR & CCPA

Tous les fournisseurs prétendent publiquement être conformes aux deux réglementations sur la confidentialité des données. Par conséquent, cela n'a pas été inclus dans la notation.

Comment nous avons mesuré les maturités organisationnelles

Sur la base des capacités que nous avons identifiées dans ce domaine, nous avons vérifié l'existence de ces certificats chez chaque fournisseur en utilisant leurs déclarations publiques :

• Certification de sécurité des données et certification PII : ^{19 20 21 22 23}
• Source d'IP blanchie : ²⁴
• Pratiques éthiques évaluées : ²⁵

Certains fournisseurs qui ne détiennent pas de certificats ISO 27018 ont affirmé qu'ils devraient être considérés comme certifiés car ils utilisent des fournisseurs de services cloud qui détiennent des certificats ISO 27018. L'opinion de notre conseiller en cybersécurité était que bien que cela faciliterait l'acquisition de certificats, ils devraient toujours avoir leurs politiques et contrôles certifiés pour acquérir le certificat.

Couverture d'assurance

3 entreprises de collecte de données web ont partagé leurs certificats d'assurance. Nous ne publions pas les certificats mais avons examiné les documents pour nous assurer que

• ils couvraient ces 2 catégories d'assurance
• La limite d'assurance dans chaque catégorie est d'au moins plusieurs millions de dollars US.

Avertissements et recommandations pour les prochaines étapes

Tous les fournisseurs de cette évaluation sauf Nimble sont des clients de AIMultiple. Comme toujours, nous avons suivi nos engagements éthiques lors de cette recherche.

Nous avons effectué un examen exhaustif de la collecte de données web éthique et bien que nous soyons satisfaits de la portée de cette évaluation, nous aimerions augmenter sa participation. Nous remercions ces entreprises d'avoir partagé leur couverture d'assurance : Apify, Bright Data, Zyte.

Nous attendons des réponses de NetNut, Nimble. Nous mettrons à jour le rapport dès que nous aurons plus de mises à jour de leur part. 2 fournisseurs ont choisi de ne pas participer à cette itération de l'évaluation. Nous mettons toujours à jour ce rapport si l'une de ces 7 entreprises suggère des changements qui sont basés sur des faits, équitables pour tous les fournisseurs et aident les entreprises à prendre de meilleures décisions.

Ceci est le premier rapport à se concentrer sur les données web éthiques selon notre recherche. Nous espérons que cette transparence peut aider l'industrie des données web à trouver des solutions créatives à ses défis. Ces solutions devront équilibrer les intérêts des collecteurs de données web, des utilisateurs d'automatisation web, des propriétaires de sites web et des utilisateurs résidentiels qui fournissent leurs IP à l'industrie.

Limites de la méthodologie

Cette évaluation mesure les indicateurs de maturité observables, y compris les contrôles d'utilisation client, la transparence de l'approvisionnement en IP, les certifications externes et le partage d'assurance. Cependant, la notation ne détermine pas pleinement si un fournisseur est légalement conforme dans chaque cas d'utilisation client.

Par conséquent, un score d'évaluation élevé doit être traité comme une entrée pour la diligence raisonnable des achats, et non comme une garantie de légalité ou d'utilisation éthique.

Références

Citer cette recherche

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Évaluation éthique et conforme des données web}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/web-scraping-ethics}},
  note   = {AIMultiple. Consulté le 21 Juin 2026}
}

Liens de référence

1.

Workers Fainted at Nike Clothing Factory Despite a Vow to Reform — ProPublica

ProPublica

2.

2023 MOVEit data breach - Wikipedia

Contributors to Wikimedia projects

3.

https://www.courthousenews.com/wp-content/uploads/2024/01/starbucks-labor-rights-violations-suit.pdf

4.

Verifying Device

The Times

5.

Court Rules in Favor of Bright Data in Meta v. Bright Data Case - Bright Data

Bright Data

6.

Popa: From Sourcing to Distribution | Synthient

Synthient

7.

‘Popa’ Botnet Linked to Publicly-Traded Israeli Firm – Krebs on Security

8.

https://media.defense.gov/2024/Sep/18/2003547016/-1/-1/0/CSA-PRC-LINKED-ACTORS-BOTNET.PDF

9.

Internet Crime Complaint Center (IC3) | Home Internet Connected Devices Facilitate Criminal Activity

10.

A Look at the Residential Proxy Market | Intel 471

Website

11.

Satori Threat Intelligence Alert: PROXYLIB and LumiApps Transform Mobile Devices into Proxy Nodes - HUMAN Security

HUMAN Security

12.

Kimwolf Botnet Lurking in Corporate, Govt. Networks – Krebs on Security

13.

Subscribe to read

Financial Times

14.

https://edition.cnn.com/robots.txt

15.

Ethically Sourcing Residential Proxies | Bright Data

Bright Data

16.

homepage - Bright SDK

Bright SDK

17.

How Bright Data Obtains Its Residential IPs - Bright Data

Bright Data

18.

Bright VPN Compliance with guidelines - Google Sheets

19.

What is ethical scraping and how do you do it?

Apify Blog

20.

Web Scraping Data Compliance | Zyte

21.

https://brightdata.com/trustcenter/data-security-overview-protection-measures

22.

Security | Platform | Apify Documentation

23.

https://netnut.com/wp-content/uploads/2024/01/NetNut-ISO.pdf

24.

Nimble Trust Center | Security, Compliance & Reliability

25.

Trust Center | Zyte

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017. AIMultiple informe chaque mois des centaines de milliers d'entreprises (selon similarWeb), dont 55 % des entreprises du classement Fortune 500. Les travaux de Cem ont été cités par des publications internationales de premier plan telles que Business Insider, Forbes et le Washington Post, ainsi que par des entreprises mondiales comme Deloitte et HPE, des ONG comme le Forum économique mondial et des organisations supranationales comme la Commission européenne. Vous trouverez d'autres entreprises et ressources réputées ayant fait référence à AIMultiple. Tout au long de sa carrière, Cem a exercé les fonctions de consultant, d'acheteur et d'entrepreneur dans le secteur des technologies. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la numérisation. Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité directe du PDG. Il a également piloté la croissance commerciale de la société de deep tech Hypatos, qui a atteint un chiffre d'affaires annuel récurrent à sept chiffres et une valorisation à neuf chiffres en seulement deux ans. Les travaux de Cem chez Hypatos ont été présentés dans des publications technologiques de référence telles que TechCrunch et Business Insider. Cem intervient régulièrement lors de conférences internationales sur les technologies. Diplômé en génie informatique de l'université de Bogazici, il est également titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire