Benchmarks de web scraping

AIM Web Data Scraping Index Methodology

El índice reutiliza los resultados brutos de todos los benchmarks de datos web que hemos publicado. Un benchmark cuenta si prueba proveedores de datos web y registra el resultado de cada solicitud. La puntuación de un proveedor en el índice es la media de sus tasas de éxito en los benchmarks en los que participó. Un proveedor solo entra en la clasificación si se probó en al menos el 80 % de los benchmarks, la misma regla que usa el SDG Index. Los proveedores por debajo siguen apareciendo en los gráficos, pero sin posición. Cada benchmark tiene el mismo peso, así que un estudio de 1.400 solicitudes cuenta lo mismo que uno de 260.000. Éxito significa que la respuesta devolvió la página de destino con el contenido solicitado. Lo comprobamos frente a páginas de bots y páginas vacías, por lo que una respuesta 200 con una página de desafío cuenta como fallo. Si un proveedor nunca se probó en un benchmark, mostramos un guion en lugar de un cero.

Los objetivos proceden de la lista Tranco, que clasifica los dominios promediando varios rankings de tráfico. Antes de las pruebas eliminamos los hosts inactivos, para adultos, de apuestas y maliciosos. Los dominios se agrupan en categorías: comercio electrónico, redes sociales, motores de búsqueda, vídeo y streaming, viajes, reseñas, comida a domicilio, tiendas de aplicaciones, inmobiliaria, ofertas de empleo, noticias y medios, desarrolladores y SaaS, finanzas, y gobierno y educación. La cobertura de dominios y la compatibilidad con JSON estructurado se comprueban en el top 100. El costo es por cada 1.000 páginas exitosas, no por cada 1.000 solicitudes enviadas. Tomamos el plan más barato que ofrece un proveedor para ese volumen y lo dividimos por la tasa de éxito medida. El tiempo de finalización es lo que tarda una solicitud de principio a fin. Los campos de metadatos son los campos analizados que devuelve un proveedor cuando responde con JSON. Listo para IA es la proporción de respuestas que llegaron como markdown limpio. Los resultados antibots proceden de dos de nuestras ejecuciones, el benchmark de unblockers en 10.000 dominios y el benchmark de comercio electrónico en los 100 dominios principales, con cada dominio etiquetado según el proveedor que lo protege. Las barras de error son intervalos de confianza del 95 %.