Benchmark de Dados Web Ético e em Conformidade

À medida que as empresas escalam suas operações de dados web, executivos de conformidade, dados e riscos avaliam cada vez mais os riscos éticos, reputacionais e legais associados.

Avaliamos 5 serviços líderes de coleta de dados web em 3 dimensões e testamos cada serviço com mais de 20 cenários potencialmente antiéticos.

Nosso trabalho ajuda você a avaliar a situação ética das suas práticas de coleta de dados e a entender as possíveis consequências de abordagens antiéticas. Também fornecemos diretrizes para a coleta ética de dados web e avaliamos serviços de coleta de dados web sob a perspectiva de ética e conformidade:

Avaliação de serviços de coleta de dados web

Avaliamos os principais serviços de coleta de dados web (também chamados de provedores de dados web ou infraestrutura de dados web) usando nosso checklist ético de dados web. Essas pontuações representam níveis de maturidade, sendo 5 o nível mais alto:

* Estes são códigos para nomes de fornecedores. Esses fornecedores não quiseram ser referenciados neste relatório e estão listados no final da lista até que resolvamos essa questão.

** ✓ indica que a empresa optou por compartilhar seus certificados de seguro com a AIMultiple. ✕ indica que a empresa decidiu não compartilhar seus certificados de seguro conosco e, portanto, não pudemos validar sua cobertura de seguro. A cobertura de seguro é a categoria em que dependemos da participação das empresas de serviços de dados web para avaliá-las.

Ordenado pela pontuação resumida.

Modelo de pontuação para dados web éticos

Abaixo, descrevemos como essas pontuações são obtidas. Você também pode ver a justificativa para selecionar essas dimensões de pontuação.

Nas 2 primeiras categorias, identificamos 5 competências, e as empresas receberam pontuações com base no número de competências que atenderam. O nível 5 representa a maior maturidade observada no mercado, refletindo as melhores práticas atuais, e não a perfeição.

Capacidades para uso ético pelos clientes

• Processos eficazes para uso ético: Avaliamos a capacidade de cada provedor de prevenir o uso antiético de seus serviços de proxy residencial por meio de cenários de teste controlados. Se qualquer uma de nossas solicitações for bloqueada pelo provedor, isso é alcançado.
• Processos aprimorados para uso ético: Semelhante a “processos eficazes para uso ético”. No entanto, essa capacidade indica que o provedor de serviços bloqueou mais de uma de nossas tentativas de usar seus serviços para casos de uso antiéticos.
• Processos de melhores práticas para uso ético: Semelhante a “processos eficazes para uso ético”. No entanto, essa capacidade indica que o provedor de serviços bloqueou a maioria de nossas tentativas de usar seus serviços para casos de uso antiéticos.
• Base de gerenciamento de abuso: Publicação de política de gerenciamento de abuso e de um método para relatar abusos
• Gerenciamento de abuso responsivo: Medimos como as empresas responderam a múltiplos relatórios de abuso. Mesmo que não houvesse uma linha direta para relatar abusos, usamos os e-mails listados pela empresa para contatar a equipe. Se não recebêssemos nenhuma resposta ao nosso relatório em uma semana, a empresa era considerada não responsiva.

Capacidades para fornecimento ético

O fornecimento ético envolve a aquisição de endereços IP de maneira ética. Nossa análise de mercado identificou os seguintes níveis de transparência em relação ao fornecimento ético de IP:

• Nível 1: Publicação de política de origem de IP.
• Nível 2: Divulgação de pelo menos uma fonte (por exemplo, um aplicativo móvel) de IPs que fornece IPs de maneira ética. A fonte divulgada deve ter no total pelo menos 10k avaliações em plataformas terceiras, incluindo as lojas de aplicativos Google, Apple e Amazon, e o Trustpilot.
• Nível 3: Igual ao Nível 3, mas com 100k avaliações
• Nível 4: Igual ao Nível 3, mas com 1M avaliações
• Nível 5: Igual ao Nível 4, mas com 10M avaliações

As avaliações são um indicador da popularidade dos aplicativos e são um sinal importante para esta avaliação. Os serviços de coleta de dados web precisam trabalhar com aplicativos populares para conseguir atender às necessidades de IP de seus clientes.

Para qualificação, os aplicativos divulgados devem seguir estas melhores práticas. Não verificaremos isso para todos os aplicativos divulgados, mas verificaremos para alguns selecionados aleatoriamente:

• Consentimento informado:
  • Os usuários precisam aceitar antes de compartilhar sua conexão de internet. A tela de aceite deve descrever:
    • O provedor
    • O serviço
    • Como o IP deles será usado
  • Os usuários devem poder acessar informações detalhadas sobre
    • Como sua conexão de internet será usada
    • Política de privacidade
• Valor: Os usuários devem receber algum valor do aplicativo (por exemplo, pagamento, capacidade de pular anúncios ou alguma outra funcionalidade)
• Privacidade: Coleta limitada e transparente de dados dos usuários.

Para redes de proxy residencial, os compradores também devem verificar se o consentimento é específico, informado, revogável e separado de permissões de aplicativos não relacionadas. Eles devem perguntar se os usuários podem optar facilmente por sair, se o uso de largura de banda é limitado, se menores são excluídos e se o provedor audita aplicativos ou SDKs que fornecem IPs residenciais.

Certificação externa

Avaliamos a certificação externa com base em se as empresas adquiriram esses certificados relevantes para segurança e conformidade de nível empresarial.

• Certificação de PII: Capacidade demonstrada de gerenciar PII ao adquirir a ISO 27018
• Certificação de segurança de dados: Práticas de segurança de dados demonstradas ao adquirir um destes certificados: SOC 2 ou ISO/IEC 27001
• Fonte de IP na lista de permissões: Provedores de certificação externa como a McAfee certificam:
  • Aplicativos de 3rd partes específicos que fornecem IPs
  • SDK que coleta IPs de aplicativos de 3rd partes
• Práticas éticas avaliadas: Um projeto de assurance ISAE 3000 pode ser concluído para avaliar as práticas internas de conformidade e ética.

Seguro

Pedimos aos fornecedores que nos fornecessem estes documentos de seguro:

• Seguro de responsabilidade civil profissional certificado que oferece cobertura para responsabilidades dos fornecedores em caso de problemas no serviço
• Certificado de seguro cibernético que oferece cobertura para responsabilidades dos fornecedores em caso de problemas relacionados à segurança da informação.

Pontuação resumida

Essa pontuação é a soma de todas as pontuações dividida por 3. As pontuações são:

• 0 a 5 para capacidades de uso ético pelos clientes
• 0 a 5 para capacidades de fornecimento ético
• 0 a 3 para certificação externa
• 0 a 2 para seguros

Principais serviços de coleta de dados web

A AIMultiple selecionou os 7 maiores serviços de coleta de dados web em termos de funcionários no LinkedIn. Escolhemos essa métrica porque ela é pública e deve estar correlacionada com as receitas e a prontidão empresarial da empresa. Métricas melhores, como receitas ou número de funcionários em folha de pagamento, não estão disponíveis publicamente para essas empresas privadas.

Todas as empresas selecionadas tinham mais de 100 funcionários conectados às suas páginas de perfil do LinkedIn em abril de 2025. Atualmente, 5 das 7 selecionadas são exibidas nesta página, e as 2 empresas restantes optaram por não ser incluídas no relatório.

Produtos de coleta de dados web em foco

Essas empresas oferecem uma gama de produtos, incluindo proxies, APIs de raspagem de dados e datasets. Embora todos os produtos possam ser examinados sob uma perspectiva ética, inicialmente nos concentramos no produto que oferece o maior nível de flexibilidade e impulsiona a maioria dos outros produtos: proxies residenciais.

Os produtos de coleta de dados web podem ser considerados uma hierarquia em que os proxies formam a camada central sobre a qual todos os outros serviços são construídos. Isso ocorre porque os proxies permitem que as máquinas acessem a internet por meio de diferentes destinos, permitindo um conjunto diversificado e grande de conexões de internet cruciais para a coleta de dados. Portanto, os proxies são o produto de coleta de dados web mais capaz; eles podem ser usados para executar funções que não seriam possíveis com datasets ou APIs de raspagem de dados.

Entre os proxies, os proxies residenciais são o produto que os sites têm mais dificuldade de identificar como proxy. Por exemplo, outros proxies, como proxies de datacenter, são fáceis de identificar devido à sua localização. Portanto, os proxies residenciais impulsionam a maioria dos outros produtos de dados web, como APIs de raspagem de dados.

Verifique: sua coleta de dados web está em conformidade & é ética?

Sua empresa provavelmente está aproveitando dados web. No entanto, o setor enfrenta regulamentação limitada, o que torna importante escolher um provedor ético e em conformidade. Para isso, preparamos uma estrutura holística que leva em conta diferentes aspectos da coleta de dados web, incluindo fornecimento ético, uso ético e certificação externa.

Dados web são um ativo operacional comum

Como empresa, seu negócio depende parcialmente de dados web devido aos seus numerosos casos de uso, como:

• Precificação dinâmica para varejo & e-commerce
• Dados alternativos em tempo real para fundos de investimento
• Processo de KYC em bancos comerciais
• Treinamento ou ajuste fino de modelos de IA
• Inferência de IA ou RAG
• Pesquisa de mercado

Com a IA, os dados web agora são mais importantes

Embora a coleta de dados web seja tão antiga quanto a web, sua importância aumentou drasticamente após o surgimento dos modelos de IA generativa. Criadores desses modelos, como OpenAI e Anthropic, começaram sem parcerias significativas de conteúdo e usaram principalmente dados on-line para construir seus modelos iniciais, o que levou ao surgimento da indústria de IA de trilhões de dólares.

Supervisão regulatória limitada

Os requisitos regulatórios para coleta de dados web variam significativamente conforme a jurisdição. Portanto, este benchmark se concentra em práticas éticas e de conformidade, em vez de assumir uma estrutura regulatória uniforme entre os países.

Atividades on-line claramente ilegais são bem definidas. No entanto, há requisitos regulatórios limitados para que os participantes do setor previnam proativamente o uso indevido de seus serviços pelos usuários.

Cabe às próprias plataformas definir melhores práticas e padrões de conformidade para garantir a coleta ética de dados e o uso de proxies. Portanto, sua escolha de fornecedor importa mais na coleta de dados do que em setores fortemente regulamentados, como o bancário, onde todo provedor de serviços é obrigado a cumprir inúmeras regulamentações.

A postura ética dos seus fornecedores faz parte da reputação da sua empresa

De uma perspectiva ética e de risco de fornecedor, as empresas devem avaliar como os dados web são adquiridos, mesmo quando consomem, em vez de coletar diretamente, os dados.

As responsabilidades das empresas por atividades ilegais em sua cadeia de suprimentos dependem da jurisdição. Por exemplo, na Alemanha, as empresas são responsáveis por realizar atividades de KYS e gerenciamento de riscos para identificar e prevenir danos causados por sua cadeia de suprimentos. Mesmo quando as empresas não são responsáveis por danos causados por sua cadeia de suprimentos, elas podem sofrer riscos reputacionais.

Qual é o custo da coleta de dados antiética & não conforme?

Risco reputacional

Se tornar público que uma empresa está utilizando um serviço de coleta de dados web que adota comportamento ou ações antiéticas que colocam em risco sua segurança de dados, isso pode causar danos reputacionais significativos, como perda de negócios, rotatividade de clientes, rotatividade de talentos e perda de confiança dos investidores.

Exemplos reais de fornecedores empresariais que levaram à perda reputacional:

• A Nike sofreu danos reputacionais várias vezes devido às práticas trabalhistas antiéticas de seus fornecedores.¹
• Muitas empresas, como a EY, perderam a confiança de seus clientes quando foram afetadas pela violação do software de transferência gerenciada de arquivos MOVEit. ²

Risco jurídico

A perda reputacional, especialmente aquela que leva à indignação pública, é tipicamente seguida por processos judiciais dos clientes da empresa ou de outras partes interessadas que foram prejudicadas pelas práticas antiéticas.

Exemplo real: Starbucks é uma das marcas recentes a ser processada por adquirir produtos de empresas com práticas antiéticas.³

Checklist de dados web éticos

Os dados web empresariais precisam atender a 3 requisitos para serem éticos:

Uso ético pelos clientes

Como parte de seus processos de Know Your Supplier, as empresas evitam usar serviços que permitem atividades antiéticas. Usar esses serviços expõe as empresas a danos reputacionais.

Exemplo do mundo real: Em casos em que um provedor foi documentado por permitir que sua plataforma fosse usada em atividades antiéticas, várias empresas se distanciaram do provedor até que ele melhorasse suas práticas.⁴

Como isso se relaciona aos dados web: Os dados web são coletados por meio de diferentes endereços IP. Esses endereços podem ser usados para realizar diferentes atividades ilegais, como ataques DDoS para impedir a entrega de serviços digitais, coleta não autorizada de dados não públicos ou fraude de anúncios. Agentes mal-intencionados precisam de IPs para potencializar suas ações, e os provedores de infraestrutura de dados web/proxy são os maiores fornecedores de IPs para usuários de varejo.

Fornecimento ético

Serviços usados para fins éticos podem causar ações antiéticas e prejudiciais durante sua produção. Por exemplo, marcas como Nike e Nestlé sofreram danos reputacionais e enfrentaram processos devido ao uso de trabalho infantil por seus contratados.

Como isso se relaciona aos dados web:

As empresas precisam acessar um grande número e diversas fontes de largura de banda para coleta de dados rápida e global. Isso exige o uso de proxies residenciais: nos Estados Unidos, acessar dados web publicamente disponíveis pode não constituir acesso não autorizado sob a CFAA em algumas circunstâncias, embora outras leis e restrições contratuais ainda possam se aplicar. ⁵ os sites também podem optar por bloquear alguns de seus visitantes. Por exemplo, eles podem bloquear os rastreadores de seus concorrentes. Nesses casos, as empresas precisam contar com um grande número de conexões de usuários de varejo ou outras 3rd partes para coletar dados web.

Os provedores de proxy coletam milhões de conexões de internet de várias fontes e as fornecem a empresas que usam endereços IP para acessar essas conexões. Alguns desses IPs se originam de dispositivos de usuários residenciais. Coletar essas conexões pode ser legal ou ilegal:

• Legal: Práticas em conformidade legal envolvem obter consentimento informado do usuário, fornecer compensação e oferecer mecanismos de opt-out de acordo com as regulamentações locais. O provedor de dados web deve
  • Informar os usuários sobre como sua largura de banda será usada
  • Obter o consentimento deles digitalmente
  • Compensá-los em troca
  • Permitir que eles optem por sair a qualquer momento
• Ilegal: Agentes mal-intencionados podem obter acesso aos dispositivos dos usuários e usar sua conexão de internet sem permissão ou compensação. Isso pode acontecer por meio de aplicativos de malware, dispositivos comprometidos, instalações mascaradas, adesão automática e outros métodos que podem colocar o proprietário do dispositivo em risco.

Empresas que usam proxies obtidos ilegalmente podem pagar inadvertidamente a agentes mal-intencionados por acesso não autorizado a dispositivos.

Exemplos reais:

• A NetNut estava compartilhando sua infraestrutura com SDKs que usam conexões de dispositivos sem o consentimento do usuário. Como resultado, o FBI derrubou o site da NetNut.⁶⁷
• Roteadores e dispositivos IoT foram comprometidos para operações de botnet e vendidos como proxies residenciais.^{8 9}
• O Google desmontou o XCPE, um backdoor que a fabricante de boxes Android TV Videostrong pré-instalou no firmware de mais de 1.3 milhão de set-top boxes. O backdoor carregava SDKs de proxy residencial que cadastravam os boxes como nós de saída sem consentimento, incluindo o Popanet e o AppSalt da NetNut. O Google descobriu que a flag de consentimento do AppSalt era definida sem exibir uma tela de consentimento e que o SDK parava de funcionar se o aplicativo fosse instalado a partir do Google Play.¹⁰
• Certos provedores de proxy promovem seus serviços em fóruns frequentados por agentes mal-intencionados. Usar proxies para deturpar localização ou identidade em pesquisas pagas pode violar as regras do provedor da pesquisa e, dependendo da jurisdição e da intenção, também pode gerar questões jurídicas relacionadas a fraude.¹¹
• Aplicativos de VPN na Google Play Store também foram usados para adquirir IPs residenciais sem o consentimento do usuário.¹²

Embora essas operações tenham sido encerradas, é provável que agentes mal-intencionados ainda acessem IPs residenciais sem consentimento por meio de botnets e aplicativos comprometidos ou maliciosos.

Certificação externa

Compradores empresariais precisam de soluções seguras e prontas para empresas. Identificamos os ingredientes de uma organização madura de dados web que podem ser documentados por meio de certificação externa:

Segurança de dados

A falta de segurança de dados nos sistemas de um fornecedor pode corroer a vantagem competitiva de uma empresa ou levar à perda de dados e ao tempo de inatividade do sistema. A perda de funcionalidade do sistema pode corroer a confiança e levar à desvalorização de uma empresa.

Intrusão no sistema

Os serviços de coleta de dados não estão tão profundamente integrados aos sistemas de uma empresa quanto os serviços digitais essenciais (por exemplo, um sistema de registro como CRM). Portanto, suas credenciais de segurança não são revisadas tão minuciosamente quanto as credenciais de um sistema essencial, como um sistema de registro. No entanto, a segurança de dados é fundamental para os clientes dos serviços de coleta de dados, pois esses serviços:

• Às vezes são integrados a sistemas mais centrais, como motores de precificação.
• Podem infectar sistemas empresariais mesmo quando não estão integrados a esses sistemas. Usar um serviço de coleta de dados envolve receber dados desse serviço. Mesmo algumas das formas mais seguras de transferência de dados envolvem riscos.

A intrusão no sistema também pode levar os atacantes a visar os dispositivos que fornecem IPs residenciais a serviços de proxy. Isso pode resultar em danos reputacionais aos clientes desses serviços de proxy.

Exemplo real de vulnerabilidade em um provedor de proxy residencial:

Operadores da botnet Kimwolf compraram serviços de proxy do provedor de proxy residencial IPIDEA. Usando comandos maliciosos, eles infectaram as redes internas dos dispositivos que forneciam IPs à IPIDEA. Essas redes foram então escaneadas, e outros dispositivos vulneráveis nessas redes locais também foram infectados.

Estima-se que a Kimwolf tenha se espalhado para mais de 2 milhões de dispositivos com esse método. Os dados coletados pelos clientes da IPIDEA também passaram por essas redes infectadas.¹³

Perda de dados

Sem segurança de dados, agentes mal-intencionados podem obter acesso aos dados coletados pelas empresas para identificar suas atividades e estratégias, levando à perda de vantagem competitiva ou de oportunidades de negócios.

Exemplo real:

Embora os dados web sejam públicos, as empresas podem usá-los de maneiras inovadoras para obter vantagem competitiva. Por exemplo, investidores gastam até 10% de seu orçamento de dados de mercado em dados alternativos¹⁴, mas raramente divulgam suas estratégias, pois acreditam que isso pode ajudá-los a obter vantagem sobre seus concorrentes. Um vazamento de dados pode levar à exposição de suas estratégias e, portanto, à replicação por seus concorrentes.

Gerenciamento de PII

Os dados web incluem dados privados atrás de login ou PII que podem ser divulgados acidentalmente ou propositalmente em sites públicos. Se os serviços de coleta de dados web não gerenciarem PII corretamente, esses dados podem ser adquiridos por agentes mal-intencionados. Isso pode causar danos reputacionais ao serviço de coleta de dados web e a seus clientes.

Segurança de aplicações

Aplicações ou programas intermediários, como SDKs, que fornecem os IPs dos serviços de coleta de dados web podem ser incluídos na lista de permissões por provedores de certificação externa, como a McAfee. Isso aumenta a confiança da empresa nas práticas de fornecimento ético do serviço de coleta de dados web.

Cobertura de seguro

As empresas normalmente exigem estes seguros de qualquer provedor digital:

• Seguro de responsabilidade civil profissional
• Certificado de seguro cibernético

Benchmark detalhado: Avaliação de provedores de infraestrutura de dados web

Benchmark: Uso ético pelos clientes

Aqui, pretendemos responder à pergunta: a empresa garante que o uso de sua solução seja ético e esteja de acordo com as leis e regulamentações aplicáveis? Resumo de nossas descobertas:

* Não aplicável: como Zyte e Apify compram proxies de seus fornecedores e não os coletam diretamente de usuários residenciais, eles não seriam contatados por proprietários de sites sobre abuso e, portanto, não precisam criar um formulário de contato para sites.

Primeiro, revisamos as políticas:

Revisão da política de uso aceitável

Todos os fornecedores proíbem atividades ilegais e fornecem exemplos como ataques DoS, mensagens em massa não solicitadas, falsificação de identidade ou spoofing.

Além disso, alguns fornecedores também destacam que proíbem atividades que provavelmente são ilegais. Abaixo, listamos as atividades proibidas com base nas políticas de uso aceitável e seus adendos (por exemplo, adendo de processamento de dados) de cada fornecedor.

Procuramos termos que proibissem atividades que provavelmente são ilegais e que podem ser identificadas com base na atividade do usuário. Por exemplo, uma parcela significativa de usuários que usa proxies para fazer pesquisas pagas pode estar usando proxies para enganar os provedores de pesquisa sobre sua localização real. Portanto, essa atividade provavelmente é ilegal e pode ser identificada com base na atividade do usuário (ou seja, quando um usuário entra em um site de pesquisa paga).

Embora identificar claramente as atividades proibidas seja benéfico, isso não é um requisito e não afeta nossas pontuações. As empresas podem optar por mencionar que não permitem atividades ilegais em vez de mencionar cada exemplo possível de atividade ilegal.

Mencionar uma atividade como proibida não significa que tais atividades serão revisadas ou bloqueadas. Nossas pontuações dependem de como essas políticas são implementadas, conforme descrito abaixo:

Processos para uso ético

Embora algumas categorias descritas nas políticas de uso aceitável sejam bastante amplas (por exemplo, raspagem de dados ou acesso não autorizado), outras são específicas o suficiente para serem convertidas em ações preventivas (por exemplo, bloqueio de acesso) que os serviços de coleta de dados podem implementar para usuários que não concluíram seu processo de KYC.

Com base nesses usos proibidos específicos, preparamos uma lista extensa de usos que provavelmente são usos ilegais de proxies. Para cada caso de uso, identificamos cenários que incluem domínios web e ações relevantes. Por exemplo, no cenário de engajamento artificial em mídias sociais, tentamos entrar em uma rede social usando um proxy para curtir uma postagem existente.

Então, para testar se as empresas permitem uso antiético pelos clientes, criamos uma conta no serviço de cada provedor usando um endereço de e-mail que não é da AIMultiple. Não concluímos um processo de KYC com essa conta e passamos a usar os serviços para entender o que usuários anônimos podem fazer com cada serviço. O KYC é uma etapa crucial durante a qual o usuário envia dados para validar a entidade legal que representa. Isso vincula a atividade do usuário a uma entidade legal:

• Que pode ser responsabilizada.
• Cuja justificativa para ações on-line (por exemplo, usar proxies para entrar em sites governamentais) pode ser examinada. Por exemplo, após entender o caso de uso, um pesquisador ou agência governamental pode ter permissão para entrar em um site governamental usando um proxy.

Esperávamos que esses casos de uso acionassem um processo de KYC, mas na maioria dos fornecedores isso não aconteceu. Uma marca de seleção indica que a solicitação foi bloqueada para usuários que ainda não concluíram o processo de KYC:

Para esclarecer, as empresas de serviços de coleta de dados não têm obrigação legal de bloquear esses sites, e alguns desses cenários podem fazer parte de uso legal. Por exemplo, um pesquisador pode querer usar proxies para executar um experimento controlado em mídias sociais. No entanto, dado o potencial de abuso nesses cenários, esperávamos que os serviços de coleta de dados os bloqueassem para usuários que não concluíram o processo de KYC.

Como as marcas comunicam os domínios que bloqueiam

• A Bright Data lista categorias de domínios restritos em sua política de uso aceitável.

Respeitar as preferências dos sites em relação à coleta automatizada de dados

O que é robots.txt?

robots.txt é um nome de arquivo para implementar o Robots Exclusion Protocol. Esse protocolo é usado pelos sites para indicar partes do site que o proprietário prefere que bots não visitem. A adesão ao robots.txt é voluntária.

Prós e contras de aderir ao robots.txt

• Respeita as preferências do site.
• Pode não ser atualizado recentemente e, portanto, estar desatualizado.
• Normalmente envolve termos que indicam que o proprietário do site prefere que certas seções públicas do site não sejam acessadas por bots.

O robots.txt também pode fornecer acesso desigual aos bots. Por exemplo, os proprietários de sites podem indicar que preferem que os bots de mecanismos de resposta não visitem certas URLs que os bots de mecanismos de busca visitam.

O robots.txt não é um documento legal e pode solicitar o bloqueio do acesso de bots a páginas que são legalmente:

• permitidas para raspagem (por exemplo, dados públicos) ou
• não permitidas para raspagem (por exemplo, dados atrás de um login quando os termos de serviço do proprietário do site proíbem a raspagem desses dados).

Os provedores de serviços de coleta de dados web podem solicitar que os usuários de proxies residenciais concluam um processo de KYC e comprovem que têm um caso de uso legal e ético antes que esses usuários possam desconsiderar o robots.txt.

Para testes, enviamos solicitações a páginas em subpastas que são indicadas para bloqueio pelo robots.txt. Os domínios que usamos foram aimultiple.com e 5 domínios web entre os 100 domínios web mais visitados. A Bright Data bloqueou essas solicitações:

Exemplo da CNN

O robots.txt da CNN bloqueia a pasta /terms¹⁵. Para testes, navegamos até essa pasta com proxies residenciais e recebemos 200 mensagens com os dados da página de todos os provedores, exceto a Bright Data. A Bright Data respondeu: “Residential Failed (bad_endpoint): O site solicitado não está disponível para modo de acesso residencial imediato (sem KYC) de acordo com o robots.txt. Para obter acesso residencial completo para segmentar este site, preencha o formulário KYC: https://brightdata.com/cp/kyc”.

Gerenciamento de abuso

Descrevemos uma metodologia para avaliar as práticas de gerenciamento de abuso dos fornecedores e coletamos dados para atender aos nossos critérios de avaliação:

* Não aplicável: a Zyte compra proxies de outros provedores de proxy e, portanto, quando o serviço da Zyte é usado para abuso, os proprietários de sites contatariam seus provedores de proxy em vez da Zyte.

Embora todos os fornecedores ofereçam meios para que 3rd partes ou seus clientes os contatem, ter esses meios é importante para a resolução de problemas:

• Política pública de abuso
• Um endereço de e-mail dedicado para relatar abuso
• Um método de contato alternativo (por exemplo, formulário web ou interface de mensagens) que permita que os denunciantes contatem a empresa. Isso é útil porque os e-mails podem ser filtrados e podem não chegar à caixa de entrada.
• Capacidade de resposta às mensagens

3 provedores no benchmark (Bright Data) forneceram um e-mail para relatar abuso. Todos esses provedores também descreveram suas políticas nesse domínio.

Esperamos que todos os outros provedores façam o mesmo e que isso se torne uma prática disseminada no setor em curto prazo.

Por fim, avaliamos a capacidade de resposta do gerenciamento de abuso enviando relatórios de abuso de domínios de terceiros (ou seja, não AIMultiple) e medindo os tempos de resposta. Se não encontrássemos um endereço de e-mail de abuso, enviávamos ao formulário de contato geral. Testamos isso por meio de 3 lotes de e-mails enviados em:

• Sexta-feira, 2 de maio de 2025, de:
  • Um serviço de venda de ingressos com ~30k de tráfego mensal
  • Um escritório de advocacia com ~1k de tráfego mensal em
• 17 de maio de 2025, do serviço de venda de ingressos.
• 24 de maio de 2025, de uma agência de mídias sociais com tráfego on-line limitado.

Os primeiros e-mails enviados em 2 de maio de 2025 foram enviados para empresas que forneceram e-mails dedicados. Depois, expandimos nossa lista e incluímos endereços de e-mail mais gerais listados nas seções de contato de todos os serviços de coleta de dados web avaliados. Se uma empresa respondia aos nossos e-mails, parávamos de enviar mais e-mails.

Em nossos e-mails, mencionamos que nossos sites receberam tráfego suspeito de bots via proxies e pedimos apoio para identificar a origem dos proxies. Conseguimos que todas as equipes de conformidade, exceto uma, nos respondessem. Quase todas as respostas foram recebidas no mesmo dia.

Transparência de uso

Os proprietários de sites que fornecem dados web e serviços de coleta web historicamente não tinham troca de dados sobre as atividades de coleta. Para limitar as atividades de rastreamento, os proprietários de sites podiam:

• Contatar serviços de coleta de dados web para relatar abuso
• Trabalhar com provedores de gerenciamento de bots como a Cloudflare para tornar o rastreamento mais desafiador.

Agora, há iniciativas para troca de dados mais estruturada entre essas partes. A Bright Data lançou o console do Webmaster da Bright Data para que webmasters monitorem as atividades de rastreamento em seus sites. Mais transparência provavelmente melhorará as práticas de coleta de dados web.

Nossa experiência com o console do Webmaster

Nós nos cadastramos verificando a propriedade do nosso domínio e adicionando um arquivo collectors.txt no domínio.

Agora temos acesso à atividade de bots da Bright Data em nosso site:

Benchmark: Fornecimento ético

* Foram incluídas avaliações nessas plataformas de 3rd partes: Amazon Appstore, App Store, Google Play Store, Trustpilot. Por conveniência, esse valor foi calculado para 5 aplicativos principais da Bright Data, não todos os 120 aplicativos apresentados em seu site.

Transparência de parceiros

A largura de banda exigida pelas empresas de infraestrutura de dados web pode ser fornecida de maneira ética, oferecendo benefícios (por exemplo, pagamentos, recursos como a capacidade de pular anúncios) em troca do consentimento para compartilhar a conexão de internet. No entanto, também é possível obter acesso não autorizado aos sistemas de usuários de varejo e vender suas conexões.

Os provedores de infraestrutura de dados web podem formular políticas e processos, realizar auditorias externas e publicar sua abordagem e as conclusões da auditoria para dar transparência sobre como adquirem suas conexões de internet. Isso pode promover a confiança no fornecimento ético de seus serviços.

Criamos uma estrutura para transparência do lado da oferta em dados web e avaliamos os fornecedores usando essa estrutura. Aplicamos essa estrutura independentemente de o serviço de coleta de dados web adquirir IPs residenciais diretamente ou por meio de outros proxies. Nosso objetivo é dar transparência a toda a cadeia de suprimentos de IPs, pois práticas antiéticas podem se originar em qualquer ponto da cadeia.

Aqui você pode encontrar nossos resultados detalhados:

Bright Data

A Bright Data é classificada como Nível 5, pois publica

• Sua abordagem de sourcing e como os desenvolvedores de aplicativos podem trabalhar com eles por meio de seu SDK^{16 17}
• Detalhes sobre 120 fornecedores foram compartilhados publicamente. Pudemos verificar avaliações desses fornecedores em plataformas de 3rd partes para estimar a popularidade deles. ¹⁸

Análise de aplicativos selecionados

A Bright Data compartilha 120 aplicativos em seu site. Aplicativos como o Bright VPN são certificados por 3rd partes quanto à sua divulgação e UX.¹⁹ Também baixamos esses aplicativos para vê-los em mais detalhes:

• Bright VPN
• EarnApp
• Sling Kong

Formulário de opt-in com a obrigação de não coletar dados pessoais identificáveis: Formulário de consentimento com explicação clara de

Bright VPN:

Earn App:

Sling Kong:

• O usuário recebe a oferta durante o jogo:

• Opt-in:

• Informações adicionais durante o opt-in:

• Opt-out:

Valor fornecido pelos aplicativos:

• Bright VPN: serviço de VPN gratuito
• EarnApp: pagamentos
• Sling Kong: moeda virtual do jogo

Outros

Embora a maioria dos provedores esteja ciente da ética no web scraping e tenha publicado sobre o tema (por exemplo, ²⁰, não identificamos seus compromissos específicos nessa frente, exceto pela Zyte.²¹

Esperamos que isso mude e que a maioria dos provedores passe para pelo menos o Nível 1 em curto prazo.

Certificação externa

* Indica que a empresa obteve todas as certificações externas nesta categoria.

É fundamental que os fornecedores tenham os sistemas, o pessoal e os processos certos para proteger os dados dos clientes e proteger os aplicativos que fornecem seus IPs. Veja nossa metodologia de medição de certificação externa para entender a lógica por trás de nossa pontuação.

Conformidade com GDPR & CCPA

Todos os fornecedores declaram publicamente estar em conformidade com ambas as regulamentações de privacidade de dados. Portanto, isso não foi incluído na pontuação.

Como medimos as maturidades organizacionais

Com base nas capacidades que identificamos neste domínio, verificamos a existência desses certificados em cada provedor usando suas declarações públicas:

• Certificação de segurança de dados e certificação de PII: ^22232425
• Fonte de IP na lista de permissões: ²⁶
• Práticas éticas avaliadas: ²⁷

Alguns provedores que não possuem certificados ISO 27018 alegaram que deveriam ser considerados certificados porque usam provedores de serviços de nuvem que possuem certificados ISO 27018. A opinião do nosso consultor de segurança cibernética foi que, embora isso facilitasse a obtenção do certificado, eles ainda precisariam ter suas políticas e controles certificados para adquirir o certificado.

Cobertura de seguro

3 empresas de coleta de dados web compartilharam seus certificados de seguros. Não publicamos certificados, mas revisamos os documentos para garantir que

• eles cobriam essas 2 categorias de seguro
• O limite de seguro em cada categoria é pelo menos na escala de vários milhões em US$.

Alianças do setor e dados web éticos

Existem 2 grandes alianças do setor:

• Aliança para Coleta Responsável de Dados, incluindo Bright Data, Common Crawl e outros
• Iniciativa de Coleta Ética de Dados Web (EWDCI), que inclui Oxylabs, ProxyEmpire, Zyte, entre outros. Anteriormente, incluía a NetNut. Em 2 de julho de 2026, o FBI apreendeu domínios associados à NetNut, uma rede de proxy residencial operada pela Alarum Technologies, depois que pesquisadores de segurança e o Google alegaram que parte de seu pool de nós de saída se sobrepunha à botnet Popa. A Alarum contesta as alegações; nenhuma acusação pública foi anunciada e as alegações não foram testadas em tribunal.

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Avisos e recomendações para os próximos passos

Todos os provedores neste benchmark, exceto a Nimble, são clientes da AIMultiple. Como sempre, seguimos nossos compromissos éticos durante esta pesquisa.

Concluímos uma revisão exaustiva da coleta ética de dados web e, embora estejamos satisfeitos com o escopo deste benchmark, gostaríamos de aumentar sua participação. Agradecemos a estas empresas por compartilhar sua cobertura de seguro: Apify, Bright Data, Zyte.

Estamos aguardando respostas da Nimble. Atualizaremos o relatório assim que tivermos mais informações deles. 2 fornecedores optaram por não participar desta edição do benchmark. Estamos sempre atualizando este relatório se qualquer uma dessas 7 empresas sugerir mudanças baseadas em fatos, justas para todos os fornecedores e que ajudem as empresas a tomar melhores decisões.

A NetNut estava entre as empresas que avaliamos quando publicamos este relatório pela primeira vez em 2025. Ela teve a pontuação mais baixa possível (Nível 0) em nosso aprofundamento sobre fornecimento ético, no qual examinamos as fontes de IPs desses provedores. Em julho de 2026, o FBI apreendeu domínios associados à NetNut após pesquisas do Google e de empresas independentes de segurança alegando vínculos entre a rede da NetNut e a botnet Popa. A Alarum Technologies, empresa controladora da NetNut, contesta essas alegações, e elas não foram testadas em tribunal.²⁸ Esperamos que isso seja um incentivo para que todos os fornecedores sejam transparentes sobre seu sourcing.

Este é o primeiro relatório a se concentrar em dados web éticos, de acordo com nossa pesquisa. Esperamos que essa transparência ajude o setor de dados web a encontrar soluções criativas para seus desafios. Essas soluções precisarão equilibrar os interesses de coletores de dados web, usuários de automação web, proprietários de sites e usuários residenciais que fornecem seus IPs ao setor.

Limitações da metodologia

Este benchmark mede indicadores de maturidade observáveis, incluindo controles de uso do cliente, transparência no fornecimento de IP, certificações externas e compartilhamento de seguros. No entanto, a pontuação não determina totalmente se um provedor está em conformidade legal em todos os casos de uso do cliente.

Portanto, uma pontuação alta no benchmark deve ser tratada como insumo para a due diligence de compras, não como garantia de legalidade ou uso ético.

Referências

Cite este benchmark

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Benchmark de Dados Web Ético e em Conformidade}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/web-scraping-ethics}},
  note   = {AIMultiple. Acessado em 26 outubro 2026}
}

Registro de alterações

9 atualizações

Todas9Geral8Metodologia1

202620252024

1. 4 ago

   Adicionada a seção Alianças do Setor e Dados Web Éticos sobre duas alianças da cadeia de suprimentos.

2. 13 mai

   Reduzido o benchmark de 7 para 5 serviços de coleta de dados web, com dois fornecedores optando por não participar.

3. 13 mai

   Adicionada uma seção de limitações metodológicas no final do benchmark.

Links de referência

1.

Workers Fainted at Nike Clothing Factory Despite a Vow to Reform — ProPublica

ProPublica

2.

2023 MOVEit data breach - Wikipedia

Contributors to Wikimedia projects

3.

National Consumers League v. Starbucks Corporation

4.

Verifying Device

5.

Court Rules in Favor of Bright Data in Meta v. Bright Data Case - Bright Data

Bright Data

6.

Popa: From Sourcing to Distribution | Synthient

Synthient

7.

‘Popa’ Botnet Linked to Publicly-Traded Israeli Firm – Krebs on Security

8.

People’s Republic of China-Linked Actors Compromise Routers and IoT Devices forBotnet Operations

9.

Internet Crime Complaint Center (IC3) | Home Internet Connected Devices Facilitate Criminal Activity

10.

https://cloud.google.com/blog/topics/threat-intelligence/shutting-the-door-on-the-xcpe-botnet

11.

A Look at the Residential Proxy Market | Intel 471

Intel 471

12.

Satori Threat Intelligence Alert: PROXYLIB and LumiApps Transform Mobile Devices into Proxy Nodes - HUMAN Security

HUMAN Security

13.

Kimwolf Botnet Lurking in Corporate, Govt. Networks – Krebs on Security

14.

Subscribe to read

Financial Times

15.

https://edition.cnn.com/robots.txt

16.

Ethically Sourcing Residential Proxies | Bright Data

Bright Data

17.

homepage - Bright SDK

Bright SDK

18.

How Bright Data Obtains Its Residential IPs - Bright Data

Bright Data

19.

Bright VPN Compliance with guidelines - Google Sheets

20.

What is ethical scraping and how do you do it?

Apify Blog

21.

Web Scraping Data Compliance | Zyte

22.

Page not found - Bright Data

Bright Data

23.

Security | Platform | Apify Documentation

24.

Nimble Trust Center | Security, Compliance & Reliability

25.

Trust Center | Zyte

26.

Bright SDK Compliance with Guidelines - Google Sheets

27.

pwc-report - Bright Data

Bright Data

28.

FBI Seizes NetNut Proxy Platform, Popa Botnet – Krebs on Security

Cem Dilmegani

Analista Principal

Siga-nos

Cem é o analista principal da AIMultiple desde 2017.

O trabalho de Cem na AIMultiple foi citado por publicações globais líderes, incluindo Business Insider, Forbes, Morning Brew e Washington Post, por empresas globais como Deloitte e HPE, ONGs como o World Economic Forum e organizações supranacionais como a European Commission. [1], [2], [3], [4], [5]

Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas sobre suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização.

Ele liderou a estratégia de tecnologia e as compras de uma operadora de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de deep tech Hypatos, que atingiu uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia líderes como TechCrunch e Business Insider.

Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou como engenheiro da computação pela Bogazici University e possui um MBA pela Columbia Business School.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário