Referência Ética e Conformidade de Dados da Web

À medida que as empresas ampliam suas operações de dados da web, executivos de conformidade, dados e risco avaliam cada vez mais os riscos éticos, reputacionais e legais associados.

Avaliamos 5 principais serviços de coleta de dados da web em 3 dimensões e testamos cada serviço com mais de 20 cenários potencialmente antiéticos.

Nosso trabalho ajuda você a avaliar a posição ética das suas práticas de coleta de dados e entender as consequências potenciais de abordagens antiéticas. Também fornecemos diretrizes para coleta ética de dados da web e avaliamos serviços de coleta de dados da web sob uma perspectiva de ética e conformidade:

Avaliação de serviços de coleta de dados da web

Avaliamos principais serviços de coleta de dados da web (também chamados de provedores de dados da web ou infraestrutura de dados da web) usando nossa lista de verificação de dados da web ética. Essas pontuações representam níveis de maturidade, sendo 5 o nível mais alto:

* Estes são códigos para nomes de fornecedores. Estes fornecedores não quiseram ser referenciados neste relatório e estão listados no final da lista até que resolvamos este problema.

** ✅ indica que a empresa escolheu compartilhar seus certificados de seguro com AIMultiple. ❌ indica que a empresa decidiu não compartilhar seus certificados de seguro conosco e, portanto, não pudemos validar sua cobertura de seguro. A cobertura de seguro é a única categoria em que confiamos na participação das empresas de serviços de dados da web para avaliá-las.

Ordenado por pontuação de resumo.

Modelo de pontuação para dados da web éticos

Abaixo, descrevemos como essas pontuações são derivadas. Você também pode ver a justificativa para a seleção dessas dimensões de pontuação.

Nas primeiras 2 categorias, identificamos 5 competências, e as empresas receberam pontuações com base no número de competências que satisfizeram. O Nível 5 representa a maior maturidade observada no mercado, refletindo as melhores práticas atuais em vez da perfeição.

Capacidades para uso ético pelos clientes

• Processos eficazes para uso ético: Avaliamos a capacidade de cada provedor de prevenir o uso antiético de seus serviços de proxy residencial por meio de cenários de teste controlados. Se qualquer uma de nossas solicitações for bloqueada pelo provedor, isso é alcançado.
• Processos melhorados para uso ético: Semelhante a "processos eficazes para uso ético". No entanto, essa capacidade denota que o provedor de serviços bloqueou mais de uma de nossas tentativas de usar seus serviços para casos de uso antiéticos.
• Processos de melhor prática para uso ético: Semelhante a "processos eficazes para uso ético". No entanto, essa capacidade denota que o provedor de serviços bloqueou a maioria de nossas tentativas de usar seus serviços para casos de uso antiéticos.
• Fundação de gerenciamento de abuso: Publicação de política de gerenciamento de abuso e um método para relatar abuso
• Gerenciamento de abuso responsivo: Medimos como as empresas responderam a múltiplos relatórios de abuso. Mesmo que não houvesse uma linha direta para relatar abuso, usamos os e-mails listados pela empresa para contatar sua equipe. Se não recebemos nenhuma resposta ao nosso relatório dentro de uma semana, a empresa é considerada não responsiva.

Capacidades para fornecimento ético

O fornecimento ético envolve a aquisição de endereços IP de maneira ética. Nossa análise de mercado identificou os seguintes níveis de transparência em relação ao fornecimento ético de IP:

• Nível 1: Política de origem de IP publicada.
• Nível 2: Revelou pelo menos uma fonte (por exemplo, um aplicativo móvel) para IPs que fornece IPs de maneira ética. A fonte revelada deve ter no total pelo menos 10 mil avaliações em plataformas de terceiros, incluindo Google, Apple, lojas de aplicativos da Amazon e Trustpilot.
• Nível 3: O mesmo que o Nível 3, mas com 100 mil avaliações
• Nível 4: O mesmo que o Nível 3, mas com 1 milhão de avaliações
• Nível 5: O mesmo que o Nível 4, mas com 10 milhões de avaliações

As avaliações são um indicador da popularidade dos aplicativos e são um sinal importante para esta avaliação. Os serviços de coleta de dados da web precisam trabalhar com aplicativos populares para poder satisfazer as necessidades de IP de seus clientes.

Para qualificação, os aplicativos revelados devem seguir estas melhores práticas. Não verificaremos isso para cada aplicativo revelado, mas verificaremos para alguns selecionados aleatoriamente:

• Consentimento informado:
  • Os usuários precisam optar por participar antes de compartilhar sua conexão com a internet. A tela de opt-in deve descrever:
    • O provedor
    • O serviço
    • Como seu IP será usado
  • Os usuários devem ser capazes de acessar informações detalhadas sobre
    • Como sua conexão com a internet será usada
    • Política de privacidade
• Valor: Os usuários devem receber algum valor do aplicativo (por exemplo, pagamento, capacidade de pular anúncios ou alguma outra funcionalidade)
• Privacidade: Coleta de dados do usuário limitada e transparente.

Para redes de proxy residencial, os compradores também devem verificar se o consentimento é específico, informado, revogável e separado de permissões de aplicativo não relacionadas. Eles devem perguntar se os usuários podem optar facilmente por sair, se o uso de largura de banda é limitado, se menores são excluídos e se o provedor audita aplicativos ou SDKs que fornecem IPs residenciais.

Certificação externa

Avaliamos a certificação externa com base em se as empresas adquiriram esses certificados relevantes para segurança e conformidade de nível empresarial.

• Certificação de PII: Capacidade demonstrada de gerenciar PII ao adquirir ISO 27018
• Certificação de segurança de dados: Práticas de segurança de dados demonstradas ao adquirir um destes certificados: SOC 2 ou ISO/IEC 27001
• Fonte de IP listada em branco: Provedores de certificação externa como a McAfee certificam ou:
  • Aplicativos específicos de terceiros que fornecem IPs
  • SDK que coleta IPs de aplicativos de terceiros
• Práticas éticas avaliadas: Um projeto de garantia ISAE 3000 pode ser concluído para avaliar práticas internas de conformidade e ética.

Seguro

Pedimos aos fornecedores que nos fornecessem estes documentos de seguro:

• Certificado de seguro de responsabilidade profissional fornecendo cobertura para responsabilidades dos fornecedores em caso de problemas no serviço
• Certificado de seguro cibernético fornecendo cobertura para responsabilidades dos fornecedores em caso de problemas relacionados à segurança da informação.

Pontuação de resumo

Esta pontuação é a soma de todas as pontuações dividida por 3. As pontuações são:

• 0 a 5 para capacidades de uso ético pelos clientes
• 0 a 5 para capacidades de fornecimento ético
• 0 a 3 para certificação externa
• 0 a 2 para seguros

Principais serviços de coleta de dados da web

AIMultiple selecionou os 7 maiores serviços de coleta de dados da web em termos de funcionários no LinkedIn. Escolhemos esta métrica pois é pública e deve estar correlacionada com as receitas da empresa e prontidão para empresas. Métricas melhores, como receitas ou número de funcionários na folha de pagamento, não estão disponíveis publicamente para essas empresas privadas.

Todas as empresas selecionadas têm mais de 100 funcionários conectados às suas páginas de perfil no LinkedIn em abril de 2025. Atualmente, 5 dos 7 selecionados são exibidos nesta página e as 2 empresas restantes optaram por não ser incluídas no relatório.

Produtos de coleta de dados da web em foco

Estas empresas fornecem uma gama de produtos incluindo proxies, APIs de raspagem de dados e datasets. Embora todos os produtos possam ser examinados sob uma perspectiva ética, inicialmente nos concentramos no produto que fornece o maior nível de flexibilidade e alimenta a maioria dos outros produtos: proxies residenciais.

Os produtos de coleta de dados da web podem ser considerados como uma hierarquia onde os proxies formam a camada central sobre a qual todos os outros serviços são construídos. Isso ocorre porque os proxies permitem que máquinas acessem a internet através de diferentes destinos, permitindo um conjunto diversificado e grande de conexões com a internet cruciais para a coleta de dados. Portanto, os proxies são o produto de coleta de dados da web mais capaz, podendo ser usados para realizar funções que não seriam possíveis com datasets ou APIs de raspagem de dados.

Entre os proxies, os proxies residenciais são o produto mais difícil para sites identificarem como proxy. Por exemplo, outros proxies, como proxies de datacenter, são fáceis de identificar dada a sua localização. Portanto, os proxies residenciais alimentam a maioria dos outros produtos de dados da web, como APIs de raspagem de dados.

Verificar: Sua coleta de dados da web é conformada e ética?

Sua empresa provavelmente está aproveitando dados da web. No entanto, a indústria enfrenta regulamentação limitada, tornando importante escolher um provedor ético e conformado. Para alcançar isso, preparamos um framework holístico para levar em conta diferentes aspectos da coleta de dados da web, incluindo origem ética, uso ético e certificação externa.

Dados da web são um ativo operacional comum

Como empresa, seu negócio depende parcialmente de dados da web devido aos seus numerosos casos de uso, como:

• Precificação dinâmica para varejo e e-commerce
• Dados alternativos em tempo real para fundos de investimento
• Processo de KYC em bancos comerciais
• Treinamento de modelo de IA ou fine-tuning
• Inferência de IA ou RAG
• Pesquisa de mercado

Com IA, dados da web são agora mais importantes

Embora a coleta de dados da web seja tão antiga quanto a web, sua importância aumentou drasticamente após o surgimento de modelos de IA generativa. Construtores desses modelos, como OpenAI e Anthropic, começaram sem parcerias de conteúdo significativas e usaram principalmente dados online para construir seus modelos iniciais, o que levou ao surgimento da indústria de IA de trilhões de dólares.

Supervisão regulatória limitada

Embora a regulamentação de IA esteja sob holofote, a indústria de coleta de dados permanece majoritariamente não regulamentada na maioria dos países. Atividades online claramente ilegais são bem definidas. No entanto, há requisitos regulatórios limitados para os participantes da indústria prevenirem proativamente o mau uso de seus serviços pelos usuários.

Cabe às próprias plataformas definir melhores práticas e padrões de conformidade para garantir a coleta ética de dados e o uso de proxy. Portanto, sua escolha de fornecedor importa mais na coleta de dados em comparação com indústrias altamente regulamentadas, como bancos, onde cada provedor de serviços é obrigado a cumprir inúmeras regulamentações.

A postura ética dos seus fornecedores faz parte da reputação da sua empresa

Independentemente de você coletar ou consumir os dados, você é responsável pelo seu processo de aquisição.

As responsabilidades das empresas por atividades ilegais em sua cadeia de suprimentos dependem da jurisdição. Por exemplo, na Alemanha, as empresas são responsáveis por realizar atividades de KYS e gerenciamento de riscos para identificar e prevenir danos causados por sua cadeia de suprimentos. Mesmo quando as empresas não são responsáveis por danos causados por sua cadeia de suprimentos, elas podem sofrer riscos reputacionais.

Qual é o custo da coleta de dados antiética e não conformada?

Risco reputacional

Se se tornar público que uma empresa está utilizando um serviço de coleta de dados da web que se envolve em comportamento antiético ou ações que colocam em perigo sua segurança de dados, isso pode levar a danos reputacionais significativos, como perda de negócios, churn de clientes, churn de talentos e perda de confiança dos investidores.

Exemplos da vida real de fornecedores de empresas levando à perda de reputação:

• A Nike sofreu danos reputacionais inúmeras vezes devido às práticas trabalhistas antiéticas de seus fornecedores.¹
• Muitas empresas, como a EY, perderam a confiança de seus clientes quando foram afetadas pelo software de transferência de arquivos gerenciado MOVEit gerenciado. ²

Risco legal

A perda de reputação, especialmente aquela que leva a indignação pública, é tipicamente seguida por processos judiciais dos clientes da empresa ou outras partes interessadas que foram prejudicadas pelas práticas antiéticas.

Exemplo da vida real: A Starbucks é uma das marcas recentes a ser processada por origem de empresas com práticas antiéticas.³

Lista de verificação de dados da web ética

Os dados da web empresariais precisam satisfazer 3 requisitos para serem éticos:

Uso ético pelos clientes

Como parte de seus processos de Conheça seu Fornecedor, as empresas evitam usar serviços que permitem atividades antiéticas. Usar tais serviços expõe as empresas a danos reputacionais.

Exemplo do mundo real: Em casos onde um provedor foi documentado permitindo que sua plataforma fosse usada em atividades antiéticas, inúmeras empresas se distanciaram do provedor até que ele melhorasse suas práticas.⁴

Como isso se relaciona com dados da web: Dados da web são coletados por meio de diferentes endereços IP. Esses endereços podem ser usados para se envolver em diferentes atividades ilegais, como ataques DDOS para impedir a entrega de serviços digitais, coleta de dados não públicos não autorizados ou fraude de anúncios. Agentes maliciosos precisam de IPs para alimentar suas ações e provedores de infraestrutura de dados da web/proxy são os maiores fornecedores de IPs para usuários de varejo.

Fornecimento ético

Serviços usados para fins éticos podem causar ações antiéticas e prejudiciais durante sua produção. Por exemplo, marcas como Nike e Nestle sofreram danos reputacionais e enfrentaram processos judiciais devido ao uso de trabalho infantil por seus contratados.

Como isso se relaciona com dados da web:

As empresas precisam acessar um grande número e diversas fontes de largura de banda para coleta de dados rápida e global. Isso requer o uso de proxies residenciais: Embora coletar dados públicos seja legal sob muitas condições, ⁵ sites também podem escolher bloquear alguns de seus visitantes. Por exemplo, eles podem bloquear os rastreadores de seus concorrentes. Nesses casos, as empresas precisam confiar em um grande número de conexões de usuários de varejo ou outros terceiros para coletar dados da web.

Provedores de proxy coletam milhões de conexões com a internet de várias fontes e as fornecem para empresas que usam endereços IP para acessar essas conexões. Alguns desses IPs originam-se de dispositivos de usuários residenciais. Coletar essas conexões pode ser legal ou ilegal:

• Legal: Práticas legalmente conformadas envolvem obter consentimento informado do usuário, fornecer compensação e oferecer mecanismos de opt-out de acordo com as regulamentações locais. O provedor de dados da web deve
  • Informar os usuários sobre como sua largura de banda seria usada
  • Obter seu consentimento digitalmente
  • Compensá-los em troca
  • Permitir que optem por sair a qualquer momento
• Ilegal: Agentes maliciosos podem acessar dispositivos de usuários e usar sua conexão com a internet sem permissão ou compensação. Isso pode acontecer através de aplicativos maliciosos, dispositivos comprometidos, instalações mascaradas, opt-in automático e outros métodos que podem colocar o proprietário do dispositivo em risco.

Empresas que usam proxies obtidos ilegalmente podem inadvertidamente pagar agentes maliciosos por acesso não autorizado a dispositivos.

Exemplos da vida real:

• Roteadores e dispositivos IoT foram comprometidos para operações de botnet e vendidos como proxies residenciais.^{6 7}
• Certos provedores de proxy promovem seus serviços em fóruns frequentados por agentes maliciosos. Esses IPs provavelmente são obtidos ilegalmente.⁸
• Aplicativos VPN na loja Google Play também foram usados para adquirir IPs residenciais sem consentimento do usuário.⁹

Embora essas operações tenham sido encerradas, é provável que agentes maliciosos ainda estejam acessando IPs residenciais sem consentimento por meio de botnets e aplicativos comprometidos ou maliciosos.

Certificação externa

Compradores empresariais precisam de soluções seguras e prontas para empresas. Identificamos os ingredientes para uma organização madura de dados da web que pode ser documentada por meio de certificação externa:

Segurança de dados

A falta de segurança de dados nos sistemas de um fornecedor pode corroer a vantagem competitiva de uma empresa ou levar à perda de dados e tempo de inatividade do sistema. A perda de funcionalidade do sistema pode corroer a confiança e levar à desvalorização de uma empresa.

Intrusão do sistema

Serviços de coleta de dados não são tão profundamente integrados aos sistemas de uma empresa quanto serviços digitais principais (por exemplo, um sistema de registro como CRM). Portanto, suas credenciais de segurança não são tão minuciosamente revisadas quanto as credenciais de um sistema principal, como um sistema de registro. No entanto, a segurança de dados é crítica para os clientes de serviços de coleta de dados, pois esses serviços:

• São às vezes integrados a sistemas mais centrais, como motores de precificação.
• Podem infectar sistemas empresariais mesmo quando não estão integrados a tais sistemas. Usar um serviço de coleta de dados envolve receber dados desse serviço. Mesmo algumas das formas mais seguras de transferência de dados incluem riscos.

A intrusão do sistema também pode levar atacantes a mirar nos dispositivos que fornecem IPs residenciais para serviços de proxy. Isso pode resultar em danos reputacionais aos clientes desses serviços de proxy.

Exemplo de vulnerabilidade da vida real em um provedor de proxy residencial:

Operadores do botnet Kimwolf compraram serviços de proxy de um provedor de proxy residencial, a IPIDEA. Usando comandos maliciosos, infectaram as redes internas de dispositivos que forneciam IPs para a IPIDEA. Essas redes foram então escaneadas e outros dispositivos vulneráveis nessas redes locais também foram infectados.

Acredita-se que o Kimwolf se espalhou para mais de 2 milhões de dispositivos com este método. Dados coletados pelos clientes da IPIDEA também fluíram através dessas redes infectadas.¹⁰

Perda de dados

Sem segurança de dados, agentes maliciosos podem acessar dados coletados por empresas para identificar suas atividades e estratégias, levando à perda de vantagem competitiva ou oportunidades de negócios.

Exemplo da vida real:

Embora os dados da web sejam públicos, as empresas podem usar dados da web de maneiras inovadoras para vantagem competitiva. Por exemplo, investidores gastam até 10% de seu orçamento de dados de mercado em dados alternativos¹¹ , mas raramente divulgam suas estratégias, pois acreditam que isso pode ajudá-los a ganhar vantagem em relação aos seus concorrentes. Um vazamento de dados pode levar suas estratégias a serem expostas e, portanto, replicadas por seus concorrentes.

Gerenciamento de PII

Dados da web incluem dados privados atrás de login ou PII que podem ser acidental ou intencionalmente divulgados em sites públicos. Se serviços de coleta de dados da web falharem em gerenciar PII corretamente, esses dados podem ser adquiridos por agentes maliciosos. Isso pode levar a danos reputacionais para o serviço de coleta de dados da web e seus clientes.

Segurança de aplicativos

Aplicativos ou programas intermediários como SDKs que fornecem os IPs dos serviços de coleta de dados da web podem ser listados em branco por provedores de certificação externa como a McAfee. Isso aumenta a confiança da empresa nas práticas de fornecimento ético do serviço de coleta de dados da web.

Cobertura de seguro

Empresas geralmente exigem esses seguros de qualquer provedor digital:

• Seguro de responsabilidade profissional
• Certificado de seguro cibernético

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Benchmark detalhado: Avaliação de provedores de infraestrutura de dados da web

Benchmark: Uso ético pelos clientes

Aqui, buscamos responder à pergunta: A empresa garante que o uso de sua solução seja ético e em conformidade com as leis e regulamentações aplicáveis? Resumo de nossas descobertas:

* Não aplicável: Como Zyte e Apify compram proxies de seus fornecedores e não os coletam diretamente de usuários residenciais, eles não seriam alcançados pelos proprietários de sites em relação ao abuso e, portanto, não precisam criar um formulário de contato para sites.

Primeiro, revisamos políticas:

Revisão da política de uso aceitável

Todos os fornecedores proíbem atividades ilegais e fornecem exemplos como ataques DoS, mensagens em massa não solicitadas, impersonação ou falsificação.

Além disso, alguns fornecedores também destacam que proíbem atividades que provavelmente serão ilegais. Abaixo, listamos as atividades proibidas com base nas políticas de uso aceitável e seus adendos (por exemplo, adendo de processamento de dados) para cada fornecedor.

Procuramos termos que proibiriam atividades que provavelmente seriam ilegais e podem ser identificadas com base na atividade do usuário. Por exemplo, uma parcela significativa de usuários usando proxies para fazer pesquisas pagas pode estar usando proxies para enganar os provedores de pesquisa sobre sua localização real. Portanto, essa atividade é tanto provavelmente ilegal quanto pode ser identificada com base na atividade do usuário (ou seja, quando um usuário faz login em um site de pesquisa paga).

Embora identificar claramente atividades proibidas seja benéfico, não é um requisito e não impacta nossas pontuações. As empresas podem optar por mencionar que não permitem atividades ilegais em vez de mencionar cada possível instância de atividades ilegais.

Mencionar uma atividade como proibida não significa que tais atividades serão revisadas ou bloqueadas. Nossas pontuações dependem de como essas políticas são implementadas, conforme descrito abaixo:

Processos para uso ético

Enquanto algumas categorias descritas nas políticas de uso aceitável são bastante amplas (por exemplo, raspagem de dados não autorizada ou acesso), outras são específicas o suficiente para serem convertidas em ações preventivas (por exemplo, bloquear acesso) que serviços de coleta de dados podem implementar para usuários que não concluíram seu processo de KYC.

Com base nesses usos proibidos específicos, preparamos uma lista extensa de usos que provavelmente serão usos ilegais de proxies. Para cada caso de uso, identificamos cenários incluindo domínios da web relevantes e ações. Por exemplo, no cenário para engajamento social artificial em mídias sociais, tentamos fazer login em uma rede social usando um proxy para curtir uma postagem existente.

Então, para testar se as empresas permitem uso antiético pelos clientes, criamos uma conta no serviço de cada provedor usando um endereço de e-mail que não seja da AIMultiple. Não concluímos um processo de KYC com esta conta e procedemos a usar os serviços para entender o que usuários anônimos podem alcançar com cada serviço. KYC é uma etapa crucial durante a qual o usuário envia dados para validar a entidade legal que representa. Isso vincula a atividade do usuário a uma entidade legal:

• Que pode ser responsabilizada.
• Cuja justificativa para ações online (por exemplo, usar proxies para fazer login em sites governamentais) pode ser examinada. Por exemplo, após entender seu caso de uso, um pesquisador ou agência governamental pode ser autorizado a fazer login em um site governamental usando um proxy.

Esperávamos que esses casos de uso gerassem um processo de KYC, mas na maioria dos fornecedores, isso não aconteceu. Um sinal de verificação indica que a solicitação foi bloqueada para usuários que ainda não concluíram o processo de KYC:

Para maior clareza, as empresas de serviços de coleta de dados não têm obrigação legal de bloquear esses sites e alguns desses cenários podem fazer parte de uso legal. Por exemplo, um pesquisador pode querer usar proxies para realizar um experimento controlado em mídias sociais. No entanto, dado o potencial de abuso nesses cenários, esperávamos que os serviços de coleta de dados os bloqueassem para usuários que não concluíram o processo de KYC.

Como as marcas comunicam os domínios que bloqueiam

• Bright Data lista categorias de domínios restritos em sua política de uso aceitável.

Respeitando as preferências dos sites em relação à coleta automatizada de dados

O que é robots.txt?

robots.txt é um nome de arquivo para implementar o Protocolo de Exclusão de Robôs. Este protocolo é usado por sites para indicar porções do site que o proprietário do site prefere que bots não visitem. A adesão ao robots.txt é voluntária.

Prós e contras de aderir ao robots.txt

➕ Respeita as preferências do site.

➖ Pode não ter sido atualizado recentemente e, portanto, estar desatualizado.

➖ Geralmente envolve termos que indicam que o proprietário do site prefere que certas seções públicas do site não sejam acessadas por bots.

O robots.txt também pode fornecer acesso desigual aos bots. Por exemplo, os proprietários de sites podem indicar que não preferem que bots de motores de resposta visitem certos URLs que bots de motores de busca visitam.

O robots.txt não é um documento legal e pode solicitar o bloqueio de acesso de bots para páginas que são legalmente:

• permitidas para raspagem (por exemplo, dados públicos) ou
• não permitidas para raspagem (por exemplo, dados atrás de um login onde o ToC do proprietário do site proíbe a raspagem desses dados).

Provedores de serviços de coleta de dados da web podem solicitar que usuários de proxy residencial completem um processo de KYC e provem que têm um caso de uso legal e ético antes que esses usuários possam ignorar o robots.txt.

Para teste, enviamos solicitações para páginas em subpastas que são solicitadas a serem bloqueadas pelo robots.txt. Os domínios que usamos foram aimultiple.com e 5 domínios da web entre os 100 domínios da web mais visitados. Apenas Bright Data bloqueou essas solicitações:

Exemplo CNN

O robots.txt da CNN bloqueia a pasta /terms¹² . Para teste, navegamos até essa pasta com proxies residenciais e recebemos mensagens 200 com os dados da página de todos os provedores, exceto Bright Data. A resposta do Bright Data é: "Residencial Falhou (bad_endpoint): Site solicitado não está disponível para modo de acesso residencial imediato (sem KYC) de acordo com robots.txt. Para obter acesso residencial completo para direcionar este site, preencha o formulário de KYC: https://brightdata.com/cp/kyc".

Gerenciamento de abuso

Descrevemos uma metodologia para avaliar práticas de gerenciamento de abuso de fornecedores e coletamos dados para cumprir nossos critérios de avaliação:

* Não aplicável: Zyte compra proxies de outros provedores de proxy e, portanto, quando o serviço do Zyte é usado para abuso, os proprietários de sites alcançariam seus provedores de proxy em vez do Zyte.

Enquanto todos os fornecedores fornecem meios para terceiros ou seus clientes alcançá-los, ter esses é importante para resolução de problemas:

• Política de abuso pública
• Um endereço de e-mail dedicado para relatar abuso
• Um método de contato alternativo (por exemplo, webform ou interface de mensagens) que permite aos relatores alcançar a empresa. Isso é útil pois e-mails podem ser filtrados e podem não chegar à caixa de entrada.
• Responsividade a mensagens

3 provedores no benchmark (Bright Data) forneceram um e-mail para relatar abuso. Todos esses provedores também descreveram suas políticas neste domínio.

Esperamos que todos os outros provedores façam o mesmo e que isso se torne uma prática generalizada na indústria a curto prazo.

Finalmente, avaliamos a responsividade do gerenciamento de abuso enviando relatórios de abuso por e-mail de domínios de terceiros (ou seja, não da AIMultiple) e medindo os tempos de resposta. Se não pudéssemos encontrar um endereço de e-mail de abuso, enviamos para o formulário de contato geral. Testamos isso por meio de 3 lotes de e-mails enviados em:

• Sexta-feira, 2 de maio de 2025 de:
  • Um serviço de venda de ingressos com ~30 mil tráfego mensal
  • Um escritório de advocacia com ~1 mil tráfego mensal em
• 17 de maio de 2025 do serviço de venda de ingressos.
• 24 de maio de 2025 de uma agência de mídia social com tráfego online limitado.

Os primeiros e-mails enviados em 2 de maio de 2025 foram enviados para empresas que forneceram e-mails dedicados. Mais tarde, expandimos nossa lista e incluímos mais endereços de e-mail gerais listados nas seções de contato de todos os serviços de coleta de dados da web avaliados. Se uma empresa respondeu aos nossos e-mails, paramos de enviar mais e-mails.

Em nossos e-mails, mencionamos que nossos sites receberam tráfego de bot suspeito via proxies e pedimos seu apoio na identificação da origem dos proxies. Conseguimos que todas as equipes de conformidade, exceto uma, nos respondessem. Quase todas as respostas foram recebidas no mesmo dia.

Transparência de uso

Proprietários de sites que fornecem dados da web e serviços de coleta da web historicamente não tiveram troca de dados sobre atividades de coleta de dados. Para limitar atividades de rastreamento, os proprietários de sites poderiam:

• Contatar serviços de coleta de dados da web para relatar abuso
• Trabalhar com provedores de gerenciamento de bots como Cloudflare para tornar o rastreamento mais desafiador.

Agora, há iniciativas para uma troca de dados mais estruturada entre essas partes. Bright Data lançou o console Webmaster do Bright Data para webmasters monitorarem atividades de rastreamento em seus sites. Mais transparência provavelmente melhorará as práticas de coleta de dados da web.

Nossa experiência com o console Webmaster

Nos inscrevemos verificando a propriedade do nosso domínio e adicionando um arquivo collectors.txt no domínio.

Agora temos acesso à atividade de bot do Bright Data em nosso site:

Benchmark: Fornecimento ético

* Avaliações nestas plataformas de terceiros foram incluídas: Amazon Appstore, App Store, Google Play Store, Trustpilot. Para conveniência, este valor foi calculado para 5 aplicativos principais para Bright Data, não todos os 120 aplicativos destacados em seu site.

Transparência de parceiros

A largura de banda necessária por empresas de infraestrutura de dados da web pode ser fornecida de maneira ética, fornecendo benefícios (por exemplo, pagamentos, recursos como a capacidade de pular anúncios) em troca de consentimento para compartilhar a conexão com a internet. No entanto, também é possível obter acesso não autorizado aos sistemas de usuários de varejo e vender suas conexões.

Provedores de infraestrutura de dados da web podem formular políticas e processos, realizar auditorias externas e publicar sua abordagem e descobertas de auditoria para criar transparência sobre como adquirem suas conexões com a internet. Isso pode fomentar confiança no fornecimento ético de seu serviço.

Criamos um framework para transparência do lado do fornecimento em dados da web e classificamos fornecedores usando este framework. Aplicamos este framework independentemente de um serviço de coleta de dados da web adquirir IPs residenciais por si mesmo ou através de outros proxies. Nosso objetivo é trazer transparência para toda a cadeia de suprimentos de IPs, pois práticas antiéticas podem originar-se em qualquer ponto da cadeia de suprimentos.

Aqui você pode encontrar nossos resultados detalhados:

Bright Data

Bright Data é classificado como Nível 5, pois publica

• Sua abordagem de origem e como desenvolvedores de aplicativos podem trabalhar com eles através de seu SDK^{13 14}
• Detalhes de 120 fornecedores foram compartilhados publicamente. Pudemos verificar avaliações desses fornecedores em plataformas de terceiros para estimar o quão populares eles são. ¹⁵

Revisão de aplicativos selecionados

Bright Data compartilha 120 aplicativos em seu site. Aplicativos como Bright VPN são certificados por terceiros em sua divulgação e UX.¹⁶ Também baixamos esses aplicativos para vê-los com mais detalhes:

• Bright VPN
• EarnApp
• Sling Kong

Formulário de opt-in com obrigação de não coletar dados de identificação pessoal: Formulário de consentimento com explicação clara de

Bright VPN:

Earn App:

Sling Kong:

• O usuário é apresentado com a oferta durante o jogo:

• Opt-in:

• Informações adicionais durante opt-in:

• Opt-out:

Valor fornecido pelos aplicativos:

• Bright VPN: Serviço VPN gratuito
• EarnApp: Pagamentos
• Sling Kong: Moeda virtual em jogo

Outros

Enquanto a maioria dos provedores está ciente da ética na raspagem de dados da web e publicou sobre o tópico (por exemplo, ¹⁷ , não identificamos seus compromissos específicos nesta frente, exceto Zyte.¹⁸

Esperamos que isso mude e que a maioria dos provedores avance para pelo menos o Nível 1 a curto prazo.

Certificação externa

* Indica que a empresa alcançou todas as certificações externas nesta categoria

É crucial que os fornecedores tenham os sistemas, pessoal e processos certos para proteger os dados dos clientes e garantir os aplicativos que fornecem seus IPs. Veja nossa metodologia de medição de certificação externa para ver a lógica por trás de nossa pontuação.

Conformidade GDPR e CCPA

Todos os fornecedores afirmam publicamente estar em conformidade com ambas as regulamentações de privacidade de dados. Portanto, isso não foi incluído na pontuação.

Como medimos as maturidades organizacionais

Com base nas capacidades que identificamos neste domínio, verificamos a existência desses certificados em cada provedor usando suas declarações públicas:

• Certificação de segurança de dados e certificação de PII: ^{19 20 21 22 23}
• Fonte de IP listada em branco: ²⁴
• Práticas éticas avaliadas: ²⁵

Alguns provedores que não possuem certificados ISO 27018 afirmaram que deveriam ser considerados certificados, pois usam provedores de serviços em nuvem que possuem certificados ISO 27018. A opinião de nosso consultor de cibersegurança foi que, embora isso facilitasse a aquisição do certificado, eles ainda precisariam ter suas políticas e controles certificados para adquirir o certificado.

Cobertura de seguro

3 empresas de coleta de dados da web compartilharam seus certificados de seguros. Não publicamos certificados, mas revisamos os documentos para garantir que

• eles cobrissem estas 2 categorias de seguro
• O limite de seguro em cada categoria é de pelo menos na escala de milhões de dólares dos EUA.

Avisos e recomendações para próximos passos

Todos os provedores neste benchmark, exceto Nimble, são clientes da AIMultiple. Como sempre, seguimos nossos compromissos éticos durante esta pesquisa.

Concluímos uma revisão exaustiva da coleta ética de dados da web e, embora estejamos satisfeitos com o escopo deste benchmark, gostaríamos de aumentar sua participação. Agradecemos a estas empresas por compartilharem sua cobertura de seguro: Apify, Bright Data, Zyte.

Estamos aguardando respostas da NetNut, Nimble. Atualizaremos o relatório assim que tivermos mais atualizações deles. 2 fornecedores optaram por não participar desta iteração do benchmark. Estamos sempre atualizando este relatório se qualquer uma destas 7 empresas sugerir mudanças que sejam baseadas em fatos, justas para todos os fornecedores e ajudem as empresas a tomar melhores decisões.

Este é o primeiro relatório a focar em dados da web éticos, de acordo com nossa pesquisa. Esperamos que esta transparência possa ajudar a indústria de dados da web a encontrar soluções criativas para seus desafios. Essas soluções precisarão equilibrar os interesses dos coletores de dados da web, usuários de automação da web, proprietários de sites e usuários residenciais que fornecem seus IPs para a indústria.

Limitações da metodologia

Este benchmark mede indicadores de maturidade observáveis, incluindo controles de uso do cliente, transparência de fornecimento de IP, certificações externas e compartilhamento de seguros. No entanto, a pontuação não determina totalmente se um provedor está legalmente conformado em cada caso de uso do cliente.

Portanto, uma pontuação de benchmark alta deve ser tratada como entrada para due diligence de aquisição, não como uma garantia de legalidade ou uso ético.

Referências

Cite esta pesquisa

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Referência Ética e Conformidade de Dados da Web}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/web-scraping-ethics}},
  note   = {AIMultiple. Acessado em 21 Junho 2026}
}

Links de referência

1.

Workers Fainted at Nike Clothing Factory Despite a Vow to Reform — ProPublica

ProPublica

2.

2023 MOVEit data breach - Wikipedia

Contributors to Wikimedia projects

3.

https://www.courthousenews.com/wp-content/uploads/2024/01/starbucks-labor-rights-violations-suit.pdf

4.

Verifying Device

The Times

5.

Court Rules in Favor of Bright Data in Meta v. Bright Data Case - Bright Data

Bright Data

6.

Popa: From Sourcing to Distribution | Synthient

Synthient

7.

‘Popa’ Botnet Linked to Publicly-Traded Israeli Firm – Krebs on Security

8.

https://media.defense.gov/2024/Sep/18/2003547016/-1/-1/0/CSA-PRC-LINKED-ACTORS-BOTNET.PDF

9.

Internet Crime Complaint Center (IC3) | Home Internet Connected Devices Facilitate Criminal Activity

10.

A Look at the Residential Proxy Market | Intel 471

Website

11.

Satori Threat Intelligence Alert: PROXYLIB and LumiApps Transform Mobile Devices into Proxy Nodes - HUMAN Security

HUMAN Security

12.

Kimwolf Botnet Lurking in Corporate, Govt. Networks – Krebs on Security

13.

Subscribe to read

Financial Times

14.

https://edition.cnn.com/robots.txt

15.

Ethically Sourcing Residential Proxies | Bright Data

Bright Data

16.

homepage - Bright SDK

Bright SDK

17.

How Bright Data Obtains Its Residential IPs - Bright Data

Bright Data

18.

Bright VPN Compliance with guidelines - Google Sheets

19.

What is ethical scraping and how do you do it?

Apify Blog

20.

Web Scraping Data Compliance | Zyte

21.

https://brightdata.com/trustcenter/data-security-overview-protection-measures

22.

Security | Platform | Apify Documentation

23.

https://netnut.com/wp-content/uploads/2024/01/NetNut-ISO.pdf

24.

Nimble Trust Center | Security, Compliance & Reliability

25.

Trust Center | Zyte

Cem Dilmegani

Analista Principal

Siga-nos

Cem é o analista principal da AIMultiple desde 2017. A AIMultiple fornece informações para centenas de milhares de empresas (segundo o SimilarWeb), incluindo 55% das empresas da Fortune 500, todos os meses. O trabalho de Cem foi citado por importantes publicações globais, como Business Insider, Forbes e Washington Post, além de empresas globais como Deloitte e HPE, ONGs como o Fórum Econômico Mundial e organizações supranacionais como a Comissão Europeia. Você pode ver mais empresas e recursos renomados que mencionaram a AIMultiple. Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor na área. Ele assessorou empresas em suas decisões tecnológicas na McKinsey & Company e na Altman Solon por mais de uma década. Também publicou um relatório da McKinsey sobre digitalização. Liderou a estratégia de tecnologia e a área de compras de uma empresa de telecomunicações, reportando-se diretamente ao CEO. Além disso, liderou o crescimento comercial da empresa de tecnologia avançada Hypatos, que atingiu uma receita recorrente anual de sete dígitos e uma avaliação de nove dígitos, partindo de zero, em apenas dois anos. O trabalho de Cem no Hypatos foi noticiado por importantes publicações de tecnologia, como TechCrunch e Business Insider. Cem participa regularmente como palestrante em conferências internacionais de tecnologia. Ele se formou em engenharia da computação pela Universidade Bogazici e possui um MBA pela Columbia Business School.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário