Referencia de Datos Web Éticos y Cumplidores

A medida que las empresas escalan sus operaciones de datos web, los ejecutivos de cumplimiento, datos y riesgos evalúan cada vez más los riesgos éticos, reputacionales y legales asociados.

Realizamos una referencia de 5 servicios líderes de recopilación de datos web en 3 dimensiones y probamos cada servicio con más de 20 escenarios potencialmente poco éticos.

Nuestro trabajo le ayuda a evaluar la posición ética de sus prácticas de recopilación de datos y comprender las posibles consecuencias de enfoques poco éticos. También proporcionamos pautas para la recopilación ética de datos web y evaluamos los servicios de recopilación de datos web desde una perspectiva de ética y cumplimiento:

Evaluación de servicios de recopilación de datos web

Evaluamos los principales servicios de recopilación de datos web (también llamados proveedores de datos web o infraestructura de datos web) utilizando nuestra lista de verificación de datos web éticos. Estas puntuaciones representan niveles de madurez, siendo 5 el nivel más alto:

* Estos son códigos para nombres de proveedores. Estos proveedores no quisieron ser mencionados en este informe y se enumeran al final de la lista hasta que resolvamos este problema.

** ✅ indica que la empresa eligió compartir sus certificados de seguro con AIMultiple. ❌ indica que la empresa decidió no compartir sus certificados de seguro con nosotros y, por lo tanto, no pudimos validar su cobertura de seguro. La cobertura de seguro es la única categoría en la que confiamos en la participación de las empresas de servicios de datos web para evaluarlas.

Ordenado por puntuación de resumen.

Modelo de puntuación para datos web éticos

A continuación, describimos cómo se derivan estas puntuaciones. También puede ver la razón para seleccionar estas dimensiones de puntuación.

En las primeras 2 categorías, identificamos 5 competencias y las empresas recibieron puntuaciones basadas en el número de competencias que satisficieron. El nivel 5 representa la mayor madurez observada en el mercado, reflejando las mejores prácticas actuales en lugar de la perfección.

Capacidades para uso ético por clientes

• Procesos efectivos para uso ético: Evaluamos la capacidad de cada proveedor para prevenir el uso poco ético de sus servicios de proxy residencial mediante escenarios de prueba controlados. Si alguna de nuestras solicitudes es bloqueada por el proveedor, entonces esto se logra.
• Procesos mejorados para uso ético: Similar a "procesos efectivos para uso ético". Sin embargo, esta capacidad denota que el proveedor de servicios bloqueó más de uno de nuestros intentos de usar sus servicios para casos de uso poco éticos.
• Mejor práctica procesos para uso ético: Similar a "procesos efectivos para uso ético". Sin embargo, esta capacidad denota que el proveedor de servicios bloqueó la mayoría de nuestros intentos de usar sus servicios para casos de uso poco éticos.
• Fundamento de gestión de abusos: Publicación de política de gestión de abusos y un método para reportar abusos
• Gestión de abusos receptiva: Medimos cómo respondieron las empresas a múltiples informes de abuso. Incluso si no había una línea directa para reportar abusos, usamos los correos electrónicos listados por la empresa para contactar a su equipo. Si no recibimos ninguna respuesta a nuestro informe dentro de una semana, se asume que la empresa no es receptiva.

Capacidades para suministro ético

El suministro ético implica adquirir direcciones IP de manera ética. Nuestro análisis de mercado identificó los siguientes niveles de transparencia con respecto al suministro ético de IP:

• Nivel 1: Política de origen de IP publicada.
• Nivel 2: Reveló al menos una fuente (por ejemplo, una aplicación móvil) para IPs que suministra IPs de manera ética. La fuente revelada debe tener en total al menos 10k reseñas en plataformas de terceros, incluidas Google, Apple, tiendas de aplicaciones de Amazon y Trustpilot.
• Nivel 3: Igual que el Nivel 3 pero con 100k reseñas
• Nivel 4: Igual que el Nivel 3 pero con 1M de reseñas
• Nivel 5: Igual que el Nivel 4 pero con 10M de reseñas

Las reseñas son un indicador de la popularidad de las aplicaciones y son una señal importante para esta evaluación. Los servicios de recopilación de datos web necesitan trabajar con aplicaciones populares para poder satisfacer las necesidades de IP de sus clientes.

Para la calificación, las aplicaciones reveladas deben seguir estas mejores prácticas. No verificaremos esto para cada aplicación revelada, pero lo verificaremos para algunas seleccionadas aleatoriamente:

• Consentimiento informado:
  • Los usuarios deben aceptar antes de compartir su conexión a internet. La pantalla de aceptación debe describir:
    • El proveedor
    • El servicio
    • Cómo se usará su IP
  • Los usuarios deben poder acceder a información detallada sobre
    • Cómo se usará su conexión a internet
    • Política de privacidad
• Valor: Los usuarios deben recibir algún valor de la aplicación (por ejemplo, pago, capacidad de saltarse anuncios u otra funcionalidad)
• Privacidad: Recopilación limitada y transparente de datos de usuario.

Para las redes de proxy residencial, los compradores también deben verificar si el consentimiento es específico, informado, revocable y separado de los permisos de aplicación no relacionados. Deben preguntar si los usuarios pueden darse de baja fácilmente, si el uso del ancho de banda está limitado, si se excluye a los menores y si el proveedor audita aplicaciones o SDKs que suministran IPs residenciales.

Certificación externa

Evaluamos la certificación externa basándonos en si las empresas adquirieron estos certificados relevantes para la seguridad y el cumplimiento de nivel empresarial.

• Certificación PII: Capacidad demostrada para gestionar PII al adquirir ISO 27018
• Certificación de seguridad de datos: Prácticas de seguridad de datos demostradas al adquirir uno de estos certificados: SOC 2 o ISO/IEC 27001
• Origen de IP en lista blanca: Proveedores de certificación externa como McAfee certifican ya sea:
  • Aplicaciones específicas de terceros que suministran IPs
  • SDK que recopila IPs de aplicaciones de terceros
• Prácticas éticas evaluadas: Se puede completar un proyecto de garantía ISAE 3000 para evaluar las prácticas internas de cumplimiento y ética.

Seguro

Pedimos a los proveedores que nos proporcionaran estos documentos de seguro:

• Certificado de seguro de responsabilidad profesional que proporciona cobertura para las responsabilidades de los proveedores en caso de problemas en el servicio
• Certificado de seguro cibernético que proporciona cobertura para las responsabilidades de los proveedores en caso de problemas relacionados con la seguridad de la información.

Puntuación de resumen

Esta puntuación es la suma de todas las puntuaciones dividida por 3. Las puntuaciones son:

• 0 a 5 para capacidades de uso ético por clientes
• 0 a 5 para capacidades de suministro ético
• 0 a 3 para certificación externa
• 0 a 2 para seguros

Principales servicios de recopilación de datos web

AIMultiple seleccionó los 7 servicios de recopilación de datos web más grandes en términos de empleados en LinkedIn. Elegimos esta métrica ya que es pública y debería estar correlacionada con los ingresos de la empresa y la preparación para empresas. Mejores métricas como ingresos o número de empleados en nómina no están disponibles públicamente para estas empresas privadas.

Todas las empresas seleccionadas tienen más de 100 empleados conectados a sus páginas de perfil de LinkedIn en abril de 2025. Actualmente se muestran 5 de las 7 seleccionadas en esta página y las 2 empresas restantes han elegido no ser incluidas en el informe.

Productos de recopilación de datos web en foco

Estas empresas ofrecen una gama de productos que incluyen proxies, APIs de scraping de datos y conjuntos de datos. Si bien todos los productos pueden ser examinados desde una perspectiva ética, inicialmente nos centramos en el producto que proporciona el mayor nivel de flexibilidad y potencia la mayoría de los otros productos: proxies residenciales.

Los productos de recopilación de datos web pueden considerarse como una jerarquía donde los proxies forman la capa central sobre la cual se construyen todos los demás servicios. Esto se debe a que los proxies permiten que las máquinas accedan a internet a través de diferentes destinos, permitiendo un conjunto diverso y grande de conexiones a internet cruciales para la recopilación de datos. Por lo tanto, los proxies son el producto de recopilación de datos web más capaz, puede usarse para realizar funciones que no serían posibles con conjuntos de datos o APIs de scraping de datos.

Entre los proxies, los proxies residenciales son el producto que es más difícil para los sitios web identificar como un proxy. Por ejemplo, otros proxies como los proxies de centro de datos son fáciles de identificar dada su ubicación. Por lo tanto, los proxies residenciales impulsan la mayoría de los otros productos de datos web como APIs de scraping de datos.

Verificar: ¿Es su recopilación de datos web cumplidora y ética?

Su negocio probablemente está aprovechando datos web. Sin embargo, la industria enfrenta una regulación limitada, lo que hace importante elegir un proveedor ético y cumplidor. Para lograrlo, preparamos un marco holístico para tener en cuenta diferentes aspectos de la recopilación de datos web, incluido el origen ético, el uso ético y la certificación externa.

Los datos web son un activo operativo común

Como empresa, su negocio depende parcialmente de los datos web debido a sus numerosos casos de uso como:

• Precios dinámicos para retail y comercio electrónico
• Datos alternativos en tiempo real para fondos de inversión
• Proceso KYC en banca comercial
• Entrenamiento de modelos de IA o ajuste fino
• Inferencia de IA o RAG
• Investigación de mercado

Con IA, los datos web son ahora más importantes

Aunque la recopilación de datos web es tan antigua como la web, su importancia aumentó drásticamente después del surgimiento de modelos de IA generativa. Los creadores de estos modelos, como OpenAI y Anthropic, comenzaron sin asociaciones de contenido significativas y utilizaron principalmente datos en línea para construir sus modelos iniciales, lo que ha llevado al surgimiento de la industria de la IA de billones de dólares.

Supervisión regulatoria limitada

Aunque la regulación de la IA está bajo foco, la industria de recopilación de datos sigue siendo mayormente no regulada en la mayoría de los países. Las actividades ilegales en línea claras están bien definidas. Sin embargo, hay requisitos regulatorios limitados para que los actores de la industria prevengan proactivamente el mal uso de sus servicios por parte de los usuarios.

Corresponde a las plataformas mismas establecer mejores prácticas y estándares de cumplimiento para garantizar la recopilación ética de datos y el uso de proxies. Por lo tanto, su elección de proveedor importa más en la recopilación de datos en comparación con industrias altamente reguladas como la banca, donde cada proveedor de servicios debe cumplir con numerosas regulaciones.

La postura ética de sus proveedores es parte de la reputación de su empresa

Independientemente de si recopila o consume los datos, usted es responsable de su proceso de adquisición.

Las responsabilidades de las empresas por actividades ilegales en su cadena de suministro dependen de la jurisdicción. Por ejemplo, en Alemania, las empresas son responsables de llevar a cabo actividades de KYS y gestión de riesgos para identificar y prevenir daños causados por su cadena de suministro. Incluso cuando las empresas no son responsables de los daños causados por su cadena de suministro, pueden sufrir riesgos reputacionales.

¿Cuál es el costo de la recopilación de datos poco ética y no cumplidora?

Riesgo reputacional

Si se hace público que una empresa está aprovechando un servicio de recopilación de datos web que se dedica a comportamientos poco éticos o acciones que ponen en peligro su seguridad de datos, esto puede conducir a un daño reputacional significativo, como pérdida de negocios, rotación de clientes, rotación de talento y pérdida de confianza de los inversores.

Ejemplos de la vida real de proveedores empresariales que conducen a pérdida de reputación:

• Nike ha sufrido daños reputacionales en numerosas ocasiones debido a las prácticas laborales poco éticas de sus proveedores.¹
• Muchas empresas como EY perdieron la confianza de sus clientes cuando se vieron afectadas por la brecha del software de transferencia de archivos gestionado MOVEit. ²

Riesgo legal

La pérdida de reputación, especialmente la que conduce a la indignación pública, suele ir seguida de demandas de los clientes de la empresa u otras partes interesadas que han sido perjudicadas por las prácticas poco éticas.

Ejemplo de la vida real: Starbucks es una de las marcas recientes que ha sido demandada por abastecerse de empresas con prácticas poco éticas.³

Lista de verificación de datos web éticos

Los datos web empresariales deben satisfacer 3 requisitos para ser éticos:

Uso ético por clientes

Como parte de sus procesos de Conozca a su Proveedor, las empresas evitan usar servicios que habilitan actividades poco éticas. El uso de tales servicios expone a las empresas a daños reputacionales.

Ejemplo del mundo real: En casos donde un proveedor fue documentado mientras permitía que su plataforma se usara en actividades poco éticas, numerosas empresas se distanciaron del proveedor hasta que mejoró sus prácticas.⁴

Cómo esto se relaciona con los datos web: Los datos web se recopilan a través de diferentes direcciones IP. Estas direcciones pueden usarse para participar en diferentes actividades ilegales, como ataques DDOS para prevenir la entrega de servicios digitales, recopilación de datos no públicos no autorizados o fraude publicitario. Los actores maliciosos necesitan IPs para impulsar sus acciones y los proveedores de infraestructura de datos web/proxy son los mayores proveedores de IPs para usuarios minoristas.

Suministro ético

Los servicios utilizados para fines éticos pueden causar acciones poco éticas y dañinas durante su producción. Por ejemplo, marcas como Nike y Nestle sufrieron daños reputacionales y enfrentaron demandas debido al uso de trabajo infantil por parte de sus contratistas.

Cómo esto se relaciona con los datos web:

Las empresas necesitan acceder a una gran cantidad y diversas fuentes de ancho de banda para la recopilación de datos rápida y global. Esto requiere el uso de proxies residenciales: Si bien la recopilación de datos públicos es legal bajo muchas condiciones, ⁵ los sitios web también pueden elegir bloquear a algunos de sus visitantes. Por ejemplo, pueden bloquear los rastreadores de sus competidores. En tales casos, las empresas deben confiar en un gran número de conexiones de usuarios minoristas u otros terceros para recopilar datos web.

Los proveedores de proxies recopilan millones de conexiones a internet de diversas fuentes y las proporcionan a empresas que usan direcciones IP para acceder a estas conexiones. Algunas de estas IPs provienen de dispositivos de usuarios residenciales. Recopilar estas conexiones puede ser legal o ilegal:

• Legal: Las prácticas legalmente cumplidoras implican obtener el consentimiento informado del usuario, proporcionar compensación y ofrecer mecanismos de exclusión voluntaria de acuerdo con las regulaciones locales. El proveedor de datos web debe
  • Informar a los usuarios sobre cómo se usará su ancho de banda
  • Obtener su consentimiento digitalmente
  • Compensarlos a cambio
  • Permitirles darse de baja en cualquier momento
• Ilegal: Los actores maliciosos pueden acceder a los dispositivos de los usuarios y usar su conexión a internet sin permiso o compensación. Esto puede suceder a través de aplicaciones de malware, dispositivos comprometidos, instalaciones enmascaradas, aceptación automática y otros métodos que pueden poner en riesgo al propietario del dispositivo.

Las empresas que utilizan proxies obtenidos ilegalmente pueden pagar inadvertidamente a actores maliciosos por el acceso no autorizado a dispositivos.

Ejemplos de la vida real:

• Los enrutadores y dispositivos IoT han sido comprometidos para operaciones de botnet y vendidos como proxies residenciales.^{6 7}
• Ciertos proveedores de proxies promocionan sus servicios en foros frecuentados por actores maliciosos. Es probable que estas IPs se obtengan ilegalmente.⁸
• Las aplicaciones VPN en Google Play Store también se han utilizado para adquirir IPs residenciales sin el consentimiento del usuario.⁹

Aunque estas operaciones han sido cerradas, es probable que los actores maliciosos aún accedan a IPs residenciales sin consentimiento a través de botnets y aplicaciones comprometidas o maliciosas.

Certificación externa

Los compradores empresariales necesitan soluciones seguras y listas para empresas. Identificamos los ingredientes para una organización de datos web madura que puede documentarse mediante certificación externa:

Seguridad de datos

La falta de seguridad de datos en los sistemas de un proveedor puede erosionar la ventaja competitiva de una empresa o conducir a la pérdida de datos y tiempo de inactividad del sistema. La pérdida de funcionalidad del sistema puede erosionar la confianza y conducir a la devaluación de una empresa.

Intrusión del sistema

Los servicios de recopilación de datos no están tan profundamente integrados en los sistemas de una empresa como los servicios digitales centrales (por ejemplo, un sistema de registro como CRM). Por lo tanto, sus credenciales de seguridad no son revisadas tan exhaustivamente como las credenciales de un sistema central como un sistema de registro. Sin embargo, la seguridad de los datos es crítica para los clientes de los servicios de recopilación de datos, ya que estos servicios:

• A veces se integran en sistemas más centrales como motores de precios.
• Pueden infectar sistemas empresariales incluso cuando no están integrados en tales sistemas. El uso de un servicio de recopilación de datos implica recibir datos de ese servicio. Incluso algunas de las formas más seguras de transferencia de datos incluyen riesgos.

La intrusión del sistema también puede llevar a los atacantes a apuntar a los dispositivos que suministran IPs residenciales a servicios de proxy. Esto puede resultar en daños reputacionales para los clientes de esos servicios de proxy.

Ejemplo de vulnerabilidad de la vida real en un proveedor de proxy residencial:

Los operadores del botnet Kimwolf compraron servicios de proxy a un proveedor de proxy residencial IPIDEA. Usando comandos maliciosos, infectaron las redes internas de los dispositivos que suministran IPs a IPIDEA. Estas redes fueron escaneadas y otros dispositivos vulnerables en estas redes locales también fueron infectados.

Se estima que Kimwolf se extendió a más de 2 millones de dispositivos con este método. Los datos recopilados por los clientes de IPIDEA también fluyeron a través de estas redes infectadas.¹⁰

Pérdida de datos

Sin seguridad de datos, los actores maliciosos pueden acceder a los datos recopilados por las empresas para identificar sus actividades y estrategias, lo que lleva a una pérdida de ventaja competitiva u oportunidades de negocio.

Ejemplo de la vida real:

Aunque los datos web son públicos, las empresas pueden usar datos web de formas novedosas para obtener ventaja competitiva. Por ejemplo, los inversores gastan hasta el 10% de su presupuesto de datos de mercado en datos alternativos¹¹ , pero rara vez revelan sus estrategias ya que creen que esto puede ayudarles a obtener una ventaja en comparación con sus competidores. Una filtración de datos puede llevar a que sus estrategias sean expuestas y, por lo tanto, replicadas por sus competidores.

Gestión de PII

Los datos web incluyen datos privados detrás de un inicio de sesión o PII que pueden ser divulgados accidental o intencionalmente en sitios web públicos. Si los servicios de recopilación de datos web no gestionan correctamente la PII, dichos datos pueden ser adquiridos por actores maliciosos. Esto puede conducir a daños reputacionales para el servicio de recopilación de datos web y sus clientes.

Seguridad de la aplicación

Las aplicaciones o programas intermedios como SDKs que suministran las IPs de los servicios de recopilación de datos web pueden ser incluidas en listas blancas por proveedores de certificación externa como McAfee. Esto aumenta la confianza de la empresa en las prácticas de suministro ético del servicio de recopilación de datos web.

Cobertura de seguro

Las empresas generalmente requieren estos seguros de cualquier proveedor digital:

• Seguro de responsabilidad profesional
• Certificado de seguro cibernético

Descubre más de nuestros análisis comparativos e insights basados en datos en la Búsqueda de Google.

Añadir como fuente preferida

Referencia detallada: Evaluación de proveedores de infraestructura de datos web

Referencia: Uso ético por clientes

Aquí buscamos responder a la pregunta: ¿La empresa asegura que el uso de su solución es ético y está en línea con las leyes y regulaciones aplicables? Resumen de nuestros hallazgos:

* No aplicable: Dado que Zyte y Apify compran proxies a sus proveedores y no los recopilan directamente de usuarios residenciales, no serían contactados por los propietarios de sitios web en cuanto a abusos y, por lo tanto, no necesitan crear un formulario de contacto para sitios web.

Primero, revisamos las políticas:

Revisión de política de uso aceptable

Todos los proveedores prohíben actividades ilegales y proporcionan ejemplos como ataques DoS, mensajes masivos no solicitados, suplantación de identidad o falsificación.

Además, algunos proveedores también destacan que prohíben actividades que probablemente sean ilegales. A continuación, enumeramos las actividades prohibidas basadas en las políticas de uso aceptable y sus adendas (por ejemplo, adenda de procesamiento de datos) para cada proveedor.

Buscamos términos que prohíban actividades que probablemente sean ilegales y que puedan identificarse basándose en la actividad del usuario. Por ejemplo, una parte significativa de usuarios que usan proxies para tomar encuestas pagadas podría estar usando proxies para engañar a los proveedores de encuestas sobre su ubicación real. Por lo tanto, esta actividad es tanto probable que sea ilegal como puede identificarse basándose en la actividad del usuario (es decir, cuando un usuario inicia sesión en un sitio web de encuestas pagadas).

Aunque identificar claramente las actividades prohibidas es beneficioso, no es un requisito y no afecta nuestras puntuaciones. Las empresas pueden elegir mencionar que no permiten actividades ilegales en lugar de mencionar cada posible instancia de actividades ilegales.

Mencionar una actividad como prohibida no significa que tales actividades serán revisadas o bloqueadas. Nuestras puntuaciones dependen de cómo se implementan estas políticas como se describe a continuación:

Procesos para uso ético

Mientras que algunas categorías descritas en las políticas de uso aceptable son bastante amplias (por ejemplo, scraping de datos no autorizado o acceso), otras son lo suficientemente específicas como para convertirse en acciones preventivas (por ejemplo, bloquear el acceso) que los servicios de recopilación de datos pueden implementar para usuarios que no han completado su proceso KYC.

Basados en estos usos prohibidos específicos, preparamos una lista extensa de usos que probablemente sean usos ilegales de proxies. Para cada caso de uso, identificamos escenarios que incluyen dominios web relevantes y acciones. Por ejemplo, en el escenario de compromiso social artificial en redes sociales, intentamos iniciar sesión en una red social usando un proxy para dar me gusta a una publicación existente.

Luego, para probar si las empresas permiten el uso poco ético por parte de los clientes, creamos una cuenta en el servicio de cada proveedor usando una dirección de correo electrónico que no sea de AIMultiple. No completamos un proceso KYC con esta cuenta y procedimos a usar los servicios para entender qué pueden lograr los usuarios anónimos con cada servicio. KYC es un paso crucial durante el cual el usuario envía datos para validar la entidad legal que representa. Esto vincula la actividad del usuario con una entidad legal:

• Que puede ser responsabilizada.
• Cuya razón para las acciones en línea (por ejemplo, usar proxies para iniciar sesión en sitios web gubernamentales) puede ser examinada. Por ejemplo, después de entender su caso de uso, se puede permitir que un investigador o agencia gubernamental inicie sesión en un sitio web gubernamental usando un proxy.

Esperábamos que estos casos de uso activaran un proceso KYC, pero en la mayoría de los proveedores, eso no sucedió. Una marca de verificación indica que la solicitud fue bloqueada para usuarios que aún no habían completado el proceso KYC:

Para mayor claridad, las empresas de servicios de recopilación de datos no tienen obligación legal de bloquear estos sitios web y algunos de estos escenarios pueden ser parte de un uso legal. Por ejemplo, un investigador puede querer aprovechar proxies para realizar un experimento controlado en redes sociales. Sin embargo, dado el potencial de abuso en estos escenarios, esperábamos que los servicios de recopilación de datos los bloquearan para usuarios que no han completado el proceso KYC.

Cómo las marcas comunican los dominios que bloquean

• Bright Data lista categorías de dominios restringidos en su política de uso aceptable.

Respetar las preferencias de los sitios web sobre la recopilación automatizada de datos

¿Qué es robots.txt?

robots.txt es un nombre de archivo para implementar el Protocolo de Exclusión de Robots. Este protocolo es utilizado por sitios web para indicar porciones del sitio web que el propietario del sitio web prefiere que los bots no visiten. El cumplimiento de robots.txt es voluntario.

Pros y contras de cumplir con robots.txt

➕ Respeta las preferencias del sitio web.

➖ Puede no estar actualizado recientemente y, por lo tanto, estar desactualizado.

➖ Generalmente implica términos que indican que el propietario del sitio web prefiere que ciertas secciones públicas del sitio web no sean accedidas por bots.

Robots.txt también puede proporcionar un acceso desigual a los bots. Por ejemplo, los propietarios de sitios web pueden indicar que no prefieren que los bots de motores de respuesta visiten ciertas URLs que visitan los bots de motores de búsqueda.

Robots.txt no es un documento legal y puede solicitar bloquear el acceso de bots a páginas que legalmente:

• se permiten ser raspadas (por ejemplo, datos públicos) o
• no se permiten ser raspadas (por ejemplo, datos detrás de un inicio de sesión donde el ToC del propietario del sitio web prohíbe el raspado de dichos datos).

Los proveedores de servicios de recopilación de datos web pueden solicitar a los usuarios de proxy residencial que completen un proceso KYC y demuestren que tienen un caso de uso legal y ético antes de que estos usuarios puedan ignorar robots.txt.

Para las pruebas, enviamos solicitudes a páginas en subcarpetas que se solicitan ser bloqueadas por robots.txt. Los dominios que usamos fueron aimultiple.com y 5 dominios web entre los 100 dominios web más visitados. Solo Bright Data bloqueó estas solicitudes:

Ejemplo de CNN

El robots.txt de CNN bloquea la carpeta /terms¹² . Para las pruebas, navegamos a esa carpeta con proxies residenciales y recibimos mensajes 200 con los datos de la página de todos los proveedores excepto Bright Data. La respuesta de Bright Data es: "Residencial fallido (bad_endpoint): El sitio solicitado no está disponible para el modo de acceso residencial inmediato (sin KYC) de acuerdo con robots.txt. Para obtener acceso residencial completo para apuntar a este sitio, complete el formulario KYC: https://brightdata.com/cp/kyc".

Gestión de abusos

Describimos una metodología para evaluar las prácticas de gestión de abusos de los proveedores y recopilamos datos para cumplir con nuestros criterios de evaluación:

* No aplicable: Zyte compra proxies a otros proveedores de proxies y, por lo tanto, cuando se usa el servicio de Zyte para abuso, los propietarios de sitios web contactarían a sus proveedores de proxies en lugar de a Zyte.

Mientras que todos los proveedores proporcionan medios para que terceros o sus clientes los contacten, tener estos es importante para la resolución de problemas:

• Política pública de abuso
• Una dirección de correo electrónico dedicada para reportar abusos
• Un método de contacto alternativo (por ejemplo, formulario web o interfaz de mensajería) que permita a los reporteros contactar a la empresa. Esto es útil ya que los correos electrónicos pueden ser filtrados y pueden no llegar a la bandeja de entrada.
• Receptividad a los mensajes

3 proveedores en la referencia (Bright Data) proporcionaron un correo electrónico para reportar abusos. Todos estos proveedores también describieron sus políticas en este dominio.

Esperamos que todos los demás proveedores hagan lo mismo y que esto se convierta en una práctica generalizada en la industria a corto plazo.

Finalmente, evaluamos la receptividad de la gestión de abusos enviando informes de abuso desde dominios de terceros (es decir, no AIMultiple) y midiendo los tiempos de respuesta. Si no pudimos encontrar una dirección de correo electrónico de abuso, la enviamos al formulario de contacto general. Probamos esto a través de 3 lotes de correos electrónicos enviados el:

• Viernes 2 de mayo de 2025 desde:
  • Un servicio de venta de entradas con ~30k de tráfico mensual
  • Un bufete de abogados con ~1k de tráfico mensual en
• 17 de mayo de 2025 desde el servicio de venta de entradas.
• 24 de mayo de 2025 desde una agencia de redes sociales con tráfico en línea limitado.

Los primeros correos electrónicos enviados el 2 de mayo de 2025 se enviaron a empresas que proporcionaron correos electrónicos dedicados. Más tarde, ampliamos nuestra lista e incluimos más direcciones de correo electrónico generales listadas en las secciones de contacto de todos los servicios de recopilación de datos web referenciados. Si una empresa respondió a nuestros correos electrónicos, dejamos de enviarles más correos electrónicos.

En nuestros correos electrónicos, mencionamos que nuestros sitios web recibieron tráfico de bots sospechoso a través de proxies y pedimos su ayuda para identificar la fuente de los proxies. Pudimos obtener respuestas de todos los equipos de cumplimiento excepto uno. Casi todas las respuestas se recibieron el mismo día.

Transparencia de uso

Los propietarios de sitios web que proporcionan datos web y los servicios de recopilación web históricamente no han tenido intercambio de datos sobre actividades de recopilación de datos. Para limitar las actividades de rastreo, los propietarios de sitios web podrían:

• Contactar a servicios de recopilación de datos web para reportar abusos
• Trabajar con proveedores de gestión de bots como Cloudflare para hacer el rastreo más difícil.

Ahora, hay iniciativas para un intercambio de datos más estructurado entre estas partes. Bright Data lanzó la consola de Webmaster de Bright Data para que los webmasters monitoreen las actividades de rastreo en sus sitios web. Más transparencia probablemente mejorará las prácticas de recopilación de datos web.

Nuestra experiencia con la consola de Webmaster

Nos registramos verificando la propiedad de nuestro dominio y agregando un archivo collectors.txt en el dominio.

Ahora tenemos acceso a la actividad de bots de Bright Data en nuestro sitio web:

Referencia: Suministro ético

* Las reseñas en estas plataformas de terceros fueron incluidas: Amazon Appstore, App Store, Google Play Store, Trustpilot. Por conveniencia, este valor fue calculado para 5 aplicaciones principales para Bright Data, no para las 120 aplicaciones destacadas en su sitio web.

Transparencia de socios

El ancho de banda requerido por las empresas de infraestructura de datos web puede ser suministrado de manera ética proporcionando beneficios (por ejemplo, pagos, características como la capacidad de saltarse anuncios) a cambio del consentimiento para compartir la conexión a internet de uno. Sin embargo, también es posible obtener acceso no autorizado a los sistemas de usuarios minoristas y vender sus conexiones.

Los proveedores de infraestructura de datos web pueden formular políticas y procesos, realizar auditorías externas y publicar su enfoque y hallazgos de auditoría para crear transparencia sobre cómo adquieren sus conexiones a internet. Esto puede fomentar la confianza en el suministro ético de su servicio.

Creamos un marco para la transparencia del lado de la oferta en datos web y calificamos a los proveedores usando este marco. Aplicamos este marco independientemente de si un servicio de recopilación de datos web adquirió IPs residenciales por sí mismo o a través de otros proxies. Nuestro objetivo es traer transparencia a toda la cadena de suministro de IPs, ya que las prácticas poco éticas pueden originarse en cualquier punto de la cadena de suministro.

Aquí puede encontrar nuestros resultados detallados:

Bright Data

Bright Data se clasifica como Nivel 5 ya que publican

• Su enfoque de origen y cómo los desarrolladores de aplicaciones pueden trabajar con ellos a través de su SDK^{13 14}
• Se compartieron públicamente detalles de 120 proveedores. Pudimos verificar las reseñas de estos proveedores en plataformas de terceros para estimar qué tan populares son. ¹⁵

Revisión de aplicaciones seleccionadas

Bright Data comparte 120 de las aplicaciones en su sitio web. Aplicaciones como Bright VPN están certificadas por terceros en su divulgación y UX.¹⁶ También descargamos estas aplicaciones para verlas con más detalle:

• Bright VPN
• EarnApp
• Sling Kong

Formulario de aceptación con obligación de no recopilar datos de identificación personal: Formulario de consentimiento con explicación clara de

Bright VPN:

Earn App:

Sling Kong:

• El usuario se presenta con la oferta durante el juego:

• Aceptación:

• Información adicional durante la aceptación:

• Exclusión voluntaria:

Valor proporcionado por las aplicaciones:

• Bright VPN: Servicio VPN gratuito
• EarnApp: Pagos
• Sling Kong: Moneda virtual en el juego

Otros

Mientras que la mayoría de los proveedores son conscientes de la ética en el web scraping y han publicado sobre el tema (por ejemplo, ¹⁷ , no hemos identificado sus compromisos específicos en este frente excepto Zyte.¹⁸

Esperamos que esto cambie y que la mayoría de los proveedores pasen al menos al Nivel 1 a corto plazo.

Certificación externa

* Indica que la empresa logró todas las certificaciones externas en esta categoría

Es crucial que los proveedores tengan los sistemas, personal y procesos adecuados para proteger los datos de los clientes y asegurar las aplicaciones que suministran sus IPs. Consulte nuestra metodología de medición de certificación externa para ver la lógica detrás de nuestra puntuación.

Cumplimiento de GDPR y CCPA

Todos los proveedores afirman públicamente ser cumplidores de ambas regulaciones de privacidad de datos. Por lo tanto, esto no fue incluido en la puntuación.

Cómo medimos las madurez organizacionales

Basados en las capacidades que identificamos en este dominio, verificamos la existencia de estos certificados en cada proveedor usando sus declaraciones públicas:

• Certificación de seguridad de datos y certificación PII: ^{19 20 21 22 23}
• Origen de IP en lista blanca: ²⁴
• Prácticas éticas evaluadas: ²⁵

Algunos proveedores que no poseen certificados ISO 27018 afirmaron que deberían ser considerados certificados ya que utilizan proveedores de servicios en la nube que poseen certificados ISO 27018. La opinión de nuestro asesor de ciberseguridad fue que, aunque esto facilitaría la adquisición del certificado, aún necesitarían tener sus políticas y controles certificados para adquirir el certificado.

Cobertura de seguro

3 empresas de recopilación de datos web compartieron sus certificados de seguros. No publicamos certificados pero revisamos los documentos para asegurar que

• cubrieran estas 2 categorías de seguros
• El límite de seguro en cada categoría es al menos a escala de millones en US$.

Descargos de responsabilidad y recomendaciones para los siguientes pasos

Todos los proveedores en esta referencia excepto Nimble son clientes de AIMultiple. Como siempre, seguimos nuestros compromisos éticos durante esta investigación.

Hemos completado una revisión exhaustiva de la recopilación ética de datos web y, aunque estamos satisfechos con el alcance de esta referencia, nos encantaría aumentar su participación. Agradecemos a estas empresas por compartir su cobertura de seguro: Apify, Bright Data, Zyte.

Estamos esperando respuestas de NetNut, Nimble. Actualizaremos el informe tan pronto como tengamos más actualizaciones de ellos. 2 proveedores han elegido no participar en esta iteración de la referencia. Siempre estamos actualizando este informe si alguna de estas 7 empresas sugiere cambios que estén basados en hechos, sean justos para todos los proveedores y ayuden a las empresas a tomar mejores decisiones.

Este es el primer informe que se centra en datos web éticos según nuestra investigación. Esperamos que esta transparencia pueda ayudar a la industria de datos web a encontrar soluciones creativas a sus desafíos. Estas soluciones necesitarán equilibrar los intereses de los recopiladores de datos web, usuarios de automatización web, propietarios de sitios web y usuarios residenciales que suministran sus IPs a la industria.

Limitaciones de la metodología

Esta referencia mide indicadores de madurez observables, incluidos controles de uso por clientes, transparencia de suministro de IP, certificaciones externas y compartir seguros. Sin embargo, la puntuación no determina completamente si un proveedor es legalmente cumplidor en cada caso de uso del cliente.

Por lo tanto, una puntuación de referencia alta debe tratarse como entrada para la diligencia debida de adquisiciones, no como una garantía de legalidad o uso ético.

Referencias

Cita esta investigación

Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Referencia de Datos Web Éticos y Cumplidores}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/web-scraping-ethics}},
  note   = {AIMultiple. Recuperado el 21 de Junio de 2026}
}

Enlaces de referencia

1.

Workers Fainted at Nike Clothing Factory Despite a Vow to Reform — ProPublica

ProPublica

2.

2023 MOVEit data breach - Wikipedia

Contributors to Wikimedia projects

3.

https://www.courthousenews.com/wp-content/uploads/2024/01/starbucks-labor-rights-violations-suit.pdf

4.

Verifying Device

The Times

5.

Court Rules in Favor of Bright Data in Meta v. Bright Data Case - Bright Data

Bright Data

6.

Popa: From Sourcing to Distribution | Synthient

Synthient

7.

‘Popa’ Botnet Linked to Publicly-Traded Israeli Firm – Krebs on Security

8.

https://media.defense.gov/2024/Sep/18/2003547016/-1/-1/0/CSA-PRC-LINKED-ACTORS-BOTNET.PDF

9.

Internet Crime Complaint Center (IC3) | Home Internet Connected Devices Facilitate Criminal Activity

10.

A Look at the Residential Proxy Market | Intel 471

Website

11.

Satori Threat Intelligence Alert: PROXYLIB and LumiApps Transform Mobile Devices into Proxy Nodes - HUMAN Security

HUMAN Security

12.

Kimwolf Botnet Lurking in Corporate, Govt. Networks – Krebs on Security

13.

Subscribe to read

Financial Times

14.

https://edition.cnn.com/robots.txt

15.

Ethically Sourcing Residential Proxies | Bright Data

Bright Data

16.

homepage - Bright SDK

Bright SDK

17.

How Bright Data Obtains Its Residential IPs - Bright Data

Bright Data

18.

Bright VPN Compliance with guidelines - Google Sheets

19.

What is ethical scraping and how do you do it?

Apify Blog

20.

Web Scraping Data Compliance | Zyte

21.

https://brightdata.com/trustcenter/data-security-overview-protection-measures

22.

Security | Platform | Apify Documentation

23.

https://netnut.com/wp-content/uploads/2024/01/NetNut-ISO.pdf

24.

Nimble Trust Center | Security, Compliance & Reliability

25.

Trust Center | Zyte

Cem Dilmegani

Analista principal

Síguenos

Cem ha sido el analista principal de AIMultiple desde 2017. AIMultiple informa a cientos de miles de empresas (según similarWeb), incluyendo el 55% de las empresas Fortune 500 cada mes. El trabajo de Cem ha sido citado por importantes publicaciones globales como Business Insider, Forbes, Washington Post, firmas globales como Deloitte, HPE y ONG como el Foro Económico Mundial y organizaciones supranacionales como la Comisión Europea. Puede consultar más empresas y recursos de renombre que citan a AIMultiple. A lo largo de su carrera, Cem se desempeñó como consultor, comprador y emprendedor tecnológico. Asesoró a empresas en sus decisiones tecnológicas en McKinsey & Company y Altman Solon durante más de una década. También publicó un informe de McKinsey sobre digitalización. Lideró la estrategia y adquisición de tecnología de una empresa de telecomunicaciones, reportando directamente al CEO. Asimismo, lideró el crecimiento comercial de la empresa de tecnología avanzada Hypatos, que alcanzó ingresos recurrentes anuales de siete cifras y una valoración de nueve cifras partiendo de cero en tan solo dos años. El trabajo de Cem en Hypatos fue reseñado por importantes publicaciones tecnológicas como TechCrunch y Business Insider. Cem participa regularmente como ponente en conferencias internacionales de tecnología. Se graduó en ingeniería informática por la Universidad de Bogazici y posee un MBA de la Columbia Business School.

Ver perfil completo

Sé el primero en comentar

Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.

Nombre

Dirección de correo electrónico

Comentario

0/450

Publicar comentario