Benchmarks de web scraping

AIM Web Data Scraping Index Methodology

O índice reutiliza os resultados brutos de todos os benchmarks de dados web que publicamos. Um benchmark conta se testa fornecedores de dados web e registra o resultado de cada requisição. A pontuação de um fornecedor no índice é a média das suas taxas de sucesso nos benchmarks de que participou. Um fornecedor só entra no ranking se foi testado em pelo menos 80% dos benchmarks, a mesma regra usada pelo SDG Index. Fornecedores abaixo disso continuam nos gráficos, mas sem posição. Cada benchmark tem o mesmo peso, então um estudo de 1.400 requisições conta tanto quanto um de 260.000. Sucesso significa que a resposta retornou a página de destino com o conteúdo solicitado. Verificamos isso contra páginas de bots e páginas vazias, então uma resposta 200 com uma página de desafio conta como falha. Se um fornecedor nunca foi testado em um benchmark, mostramos um traço em vez de um zero.

Os alvos vêm da lista Tranco, que classifica os domínios pela média de vários rankings de tráfego. Antes dos testes, removemos hosts inativos, adultos, de apostas e maliciosos. Os domínios são agrupados em categorias: e-commerce, redes sociais, motores de busca, vídeo e streaming, viagens, avaliações, entrega de comida, lojas de aplicativos, imóveis, vagas de emprego, notícias e publicações, desenvolvedores e SaaS, finanças, e governo e educação. A cobertura de domínios e o suporte a JSON estruturado são verificados no top 100. O custo é por 1.000 páginas bem-sucedidas, não por 1.000 requisições enviadas. Usamos o plano mais barato que o fornecedor oferece para esse volume e o dividimos pela taxa de sucesso medida. O tempo de conclusão é quanto tempo uma requisição leva do início ao fim. Campos de metadados são os campos processados que um fornecedor retorna quando responde em JSON. Pronto para IA é a parcela de respostas que voltaram como markdown limpo. Os resultados antibot vêm de duas das nossas execuções, o benchmark de unblockers em 10.000 domínios e o benchmark de e-commerce nos 100 principais domínios, com cada domínio rotulado pelo fornecedor que o protege. As barras de erro são intervalos de confiança de 95%.