Melhores Scrapers do Airbnb: Bright Data, Apify e Oxylabs

Testamos seis provedores de web scraping no Airbnb, enviando um total de 1.500 solicitações de scraping para todos os provedores. Cada provedor recebeu o mesmo conjunto de URLs de anúncios de aluguel de temporada e avaliamos o tempo de conclusão, a taxa de sucesso e os campos de metadados disponíveis por anúncio.

Referência de raspagem de dados do Airbnb

Você pode ler nossa metodologia de avaliação comparativa para obter mais detalhes sobre nosso processo de teste.

Campos de metadados disponíveis por fornecedor

Os provedores Bright Data e Apify retornaram JSON estruturado para o Airbnb. O provedor Bright Data forneceu 48 campos por anúncio e o provedor Apify forneceu 36. As tabelas abaixo agrupam os campos exclusivos de cada provedor por categoria, com os campos compartilhados listados na parte inferior.

Bright Data campos de metadados exclusivos

Apify campos de metadados exclusivos

Os campos retornados por ambos os fornecedores são iguais.

amenities , breadcrumbs , cancellation_policy cancellationPolicies description (versões em texto simples e HTML), highlights , houseRules house_rules , images , location , timestamp , title , url

Extraindo resultados de benchmarks do Airbnb

O perfil Bright Data obteve a maior taxa de sucesso no Airbnb, com 99%, e retornou a maior quantidade de metadados entre todos os provedores, com 48 campos estruturados por anúncio. A abrangência dos dados incluía informações sobre o anfitrião, detalhamento de preços, políticas de cancelamento e resumos de avaliações, itens que outros provedores não incluíram.

O serviço Oxylabs alcançou uma taxa de sucesso de 98% no Airbnb. O resultado se manteve estável durante todo o teste, sem quedas significativas. Embora não tenha se destacado em termos de riqueza de dados, ofereceu extração confiável em um domínio onde alguns provedores apresentaram dificuldades.

O método Decodo alcançou uma taxa de sucesso de 93% no Airbnb usando uma configuração de extração de dados genérica, em vez de uma configuração específica para o Airbnb. A taxa de sucesso foi menor do que a do grupo de melhor desempenho, mas o método permaneceu viável na maioria dos URLs de teste.

Apify também alcançou uma taxa de sucesso de 99% no Airbnb e foi um dos dois provedores que retornaram JSON estruturado, fornecendo 36 campos de metadados por anúncio.

O domínio Zyte apresentou uma taxa de sucesso de 98% no Airbnb. Embora retornasse HTML em vez de dados estruturados, os resultados foram consistentes em todo o conjunto de URLs. Foi uma das opções mais confiáveis neste domínio.

O provedor Nimble registrou uma taxa de sucesso de 12% no Airbnb, significativamente inferior à dos demais. Essa baixa taxa de sucesso indica que o mecanismo de renderização do Nimble não conseguiu lidar com a estrutura de página do Airbnb na maioria dos URLs testados. Este foi o único provedor no benchmark em que o Airbnb apresentou um grande desafio de extração.

Metodologia de referência

Testamos seis provedores de web scraping (Apify, Bright Data, Decodo, Oxylabs, Nimble, Zyte) no airbnb.com.

Conjunto de dados

Preparamos 250 URLs de páginas de produtos do Airbnb. As páginas de produtos são anúncios individuais de propriedades com detalhes como título, preço, classificação, avaliações e informações do anfitrião.

Todas as URLs incluíam os parâmetros de consulta check_in, check_out e adults para garantir que os dados de preço fossem exibidos na página. Subdomínios não padronizados (por exemplo, es.airbnb.com, hr.airbnb.com) foram corrigidos para www.airbnb.com durante a preparação do conjunto de dados. Todas as URLs foram verificadas quanto à acessibilidade antes da análise comparativa.

Configuração compartilhada

Todos os provedores receberam URLs idênticos do mesmo conjunto de dados e foram testados sob as mesmas condições:

• Execução sequencial: uma solicitação por vez, sem solicitações paralelas.
• Intervalo entre solicitações: 2 segundos
• Tratamento de limite de taxa: espera de 30 segundos com até 3 tentativas no HTTP 429
• Tempo limite para envio: 300 segundos
• Tempo limite de execução: 600 segundos
• Cada URL foi testada uma vez por provedor.

Configurações do provedor

Apify

O ator Apify utilizou o ator tri_angle/airbnb-rooms-urls-scraper, que retorna JSON estruturado com os campos analisados. Não foi necessário analisar seletores CSS. As execuções do ator foram verificadas em intervalos de 1 segundo até que o status atingisse SUCESSO.

Bright Data

Bright Data utilizou a API Dataset (dataset_id: gd_ld7ll037kqy322v05), que retorna JSON estruturado com campos analisados. A API Dataset foi consultada usando o endpoint /progress/{snapshot_id} em intervalos de 1 segundo até que o status atingisse o estado "pronto". Os resultados foram então obtidos do endpoint /snapshot/{snapshot_id}.

Decodo (Smartproxy)

Decodo usou a API Universal Scraper (alvo: universal, headless: html), que retorna HTML renderizado em JavaScript. A resposta foi analisada localmente com seletores CSS. Todas as requisições incluíram um cabeçalho User-Agent para desktop.

Oxylabs

Oxylabs usou a API em tempo real com source: airbnb e render: html, que retorna HTML renderizado em JavaScript. A resposta foi analisada localmente com seletores CSS.

Nimbleway

Nimble usou a API Extract com render: true e driver: vx10 (navegador headless stealth). A resposta foi analisada localmente com seletores CSS. Nenhuma configuração específica de domínio foi aplicada.

Zyte

Zyte usou a API Extract com browserHtml: true, que retorna HTML renderizado em JavaScript por meio de um navegador Chromium sem interface gráfica. A resposta foi analisada localmente com seletores CSS. Nenhuma configuração específica de domínio foi aplicada.

Validação

verificação de status HTTP

Antes da validação, o código de resposta HTTP do provedor é verificado. Respostas com códigos de status entre 200 e 399 e 404 são consideradas envios bem-sucedidos e prosseguem para a fase de validação. Qualquer outro código de status (400, 403, 500, 550, etc.) é tratado como um envio falho, e o teste é imediatamente marcado como reprovado sem entrar na fase de validação.

Regras de validação

Os testes que passam na verificação de status HTTP são validados na seguinte ordem:

1. Detecção de erro 404 : Se o conteúdo da página ou o erro da API indicar que a página não existe mais ("página não encontrada", "não existe", "página inativa"), o teste é considerado válido. O provedor identificou corretamente uma página indisponível.
2. Extração de dados (API JSON) : Para provedores que retornam JSON estruturado, pelo menos um campo de dados deve estar presente e não vazio, com um tipo válido dependendo do campo (string ou inteiro). Os campos verificados incluem título, preço, classificação e avaliações.
3. Extração de dados (HTML) : Para provedores que retornam HTML, a resposta é analisada com seletores CSS específicos do Airbnb. Se pelo menos um seletor corresponder e retornar um valor não vazio, o teste é aprovado.
4. Indicador de página (somente HTML): Se nenhum item de dados foi extraído, mas pelo menos um dos seletores CSS predefinidos para Airbnb correspondeu a um elemento na página, o teste é marcado como válido. Isso confirma que a página foi renderizada e carregada, mesmo que nenhum item de dados estruturados tenha sido encontrado nos contêineres esperados. Se nenhuma das condições acima for atendida, o teste falha. Motivos comuns para falha incluem páginas de captcha/desafio de bot, renderização insuficiente de JavaScript, erros de conexão de proxy e erros de rastreamento.

Métricas

Taxa de sucesso da validação : A porcentagem de URLs testadas em que o provedor retornou dados utilizáveis, calculada como o número de testes bem-sucedidos dividido pelo número total de testes.

Tempo de conclusão: O tempo total desde o envio da solicitação de coleta de dados até o recebimento dos resultados validados, medido em segundos. Para provedores assíncronos, o status de conclusão da tarefa foi verificado em intervalos de 1 segundo. Apresentado como a média aritmética de todas as execuções em um grupo.

Metadados disponíveis : O número de nomes de campos exclusivos retornados pelo provedor em todos os itens de uma resposta. Aplicável somente a respostas da API JSON.

Perguntas frequentes

Nazlı Şipi

Pesquisador de IA

Siga-nos

Nazlı é analista de dados na AIMultiple. Ela possui experiência prévia em análise de dados em diversos setores, onde trabalhou na transformação de conjuntos de dados complexos em insights acionáveis.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios.

Nome

Endereço de email

Comentário

0/450

Postar comentário