6 Melhores Fornecedores de Scraping com base em Avaliações (Google) Comparados
Para testar como os provedores de web scraping lidam com a extração de avaliações do Google, executamos 2.500 solicitações em 5 provedores diferentes, em 500 URLs de empresas do Google Maps, e medimos a taxa de sucesso, o tempo de conclusão e a saída de metadados.
Google Análises de mapas: benchmark de raspagem
Você pode consultar a metodologia de avaliação comparativa para obter mais detalhes sobre o processo de teste.
Formato de resposta e campos de metadados disponíveis por provedor
Google Mapas analisa fornecedores e resultados de benchmark
A Bright Data alcançou uma taxa de sucesso de 39% no Google Maps usando sua API dedicada ao conjunto de dados de avaliações do Google Maps, retornando JSON estruturado com 26 campos por avaliação, incluindo nome do avaliador, texto da avaliação, classificação, data, respostas do proprietário, fotos e metadados de localização. Foi o único provedor a retornar dados estruturados neste domínio.
O Google Maps oferece uma fonte dedicada para resultados de busca local, mas ela foi projetada para recuperar listagens baseadas em localização, e não para extrair avaliações de páginas individuais de empresas. Como não havia uma fonte dedicada para extração de avaliações, usamos a API geral do Google Maps (fonte: Google), que aceita qualquer URL. A API retornou resultados vazios em todas as 500 URLs testadas, resultando em uma taxa de sucesso de 0%.
O Decodo oferece várias configurações de raspagem do Google, incluindo resultados locais de Busca do Google e do Google Maps, mas não possui um endpoint dedicado para extração de avaliações do Google Maps. Usamos o proxy do desbloqueador web com renderização em JavaScript como alternativa, mas ele retornou respostas vazias ou de erro em todas as 500 URLs, resultando em uma taxa de sucesso de 0%.
A SerpAPI oferece uma API dedicada para avaliações do Google Maps que retorna JSON estruturado a partir de listagens do Google Maps, incluindo texto da avaliação, classificações, detalhes do avaliador e metadados agregados, como menções a tópicos e subclassificações para comida, serviço e ambiente.
O domínio Zyte alcançou a maior taxa de sucesso no Google Maps, com 41%, utilizando sua API Extract com renderização headless no navegador. Os dados das avaliações foram extraídos do HTML renderizado por meio de seletores CSS. Embora essa tenha sido a maior pontuação no domínio, ela reflete o desafio mais amplo de extrair dados do Google Maps, onde as avaliações exigem a execução de JavaScript e, frequentemente, interação do usuário para serem totalmente carregadas.
O Nimble utilizou sua API Web com renderização JavaScript habilitada, retornando HTML renderizado e analisado com seletores CSS. Registrou uma taxa de sucesso de 1% no Google Maps. Embora as páginas tenham sido renderizadas, o conteúdo das avaliações não carregou na maioria dos casos, indicando que o Google Maps requer mais do que a renderização padrão do navegador para exibir as avaliações.
Como o Google Maps se compara a outras plataformas de avaliação para extração de dados?
O Google Maps foi o domínio mais difícil em nosso teste de benchmark de extração de avaliações . A maior taxa de sucesso foi de 41%, muito abaixo da que medimos em nosso benchmark de extração de avaliações da Amazon (96%). Mesmo em nosso benchmark de extração de avaliações do Yelp , onde dois provedores obtiveram 0%, o resultado máximo foi de 77%.
No domínio Google Maps, dois dos cinco fornecedores registraram 0%, um obteve 1% e os dois melhores alcançaram 39% e 41%. Nenhum outro domínio no benchmark apresentou resultados tão uniformemente baixos entre os fornecedores.
A principal diferença reside na forma como o conteúdo das avaliações é apresentado. Na Amazon e no Trustpilot, as avaliações estão presentes no HTML da página inicial ou disponíveis por meio de APIs estruturadas com alta confiabilidade. No Maps, as avaliações são carregadas inteiramente via JavaScript após a renderização inicial da página, tornando-as inacessíveis para a maioria das abordagens de extração de dados.
Por que o Google Maps é a plataforma de avaliações mais difícil de extrair dados?
Google As avaliações do Maps não são incluídas no HTML inicial da página. A página carrega primeiro uma estrutura básica e, em seguida, executa várias chamadas JavaScript para buscar e renderizar o conteúdo das avaliações. Em muitos casos, as avaliações além das primeiras exigem rolagem ou que o usuário clique em um botão "Mais avaliações" para que apareçam.
Isso significa que as solicitações HTTP padrão retornam uma página sem nenhum dado de avaliação. Mesmo a renderização headless do navegador, que funcionou bem em plataformas como TripAdvisor e Yelp, produziu resultados limitados no Maps. A maior taxa de sucesso entre os provedores baseados em HTML foi de 41%, e dois provedores que usam abordagens baseadas em proxy registraram 0%.
O Google Maps também utiliza detecção anti-bot agressiva, incluindo identificação de requisições e restrição dinâmica de conteúdo. Combinado com o carregamento de avaliações dependente de JavaScript, isso torna o Google Maps significativamente mais difícil de ser extraído do que outras plataformas de avaliação onde o conteúdo é renderizado no servidor ou disponibilizado por meio de APIs dedicadas.
Google Metodologia de referência para análises de mapas
Testamos 5 provedores de web scraping em 500 URLs de avaliações de empresas do Maps, executando cada URL em todos os provedores, totalizando 2.500 requisições. Os provedores foram selecionados entre empresas de web scraping com pelo menos 100 funcionários. Cada provedor recebeu um conjunto idêntico de URLs e avaliamos três métricas: taxa de sucesso, tempo de conclusão e campos de metadados disponíveis.
Tipos de resposta
Um provedor (Bright Data) retornou JSON estruturado com 26 campos de avaliação analisados por meio de sua API dedicada ao conjunto de dados de avaliações do Maps (Google). Os outros quatro retornaram HTML renderizado, do qual extraímos os dados da avaliação usando seletores CSS para cinco campos padrão: nome do avaliador, texto da avaliação, classificação, data da avaliação e título da avaliação.
Validação
As respostas foram validadas em três etapas:
- Envio : O provedor teve que retornar um código de status HTTP entre 200 e 399, ou 404.
- Execução : Para provedores com processamento assíncrono, a tarefa precisava ser concluída sem tempo limite ou erro.
- Verificação de dados : A resposta precisava incluir dados de avaliação extraíveis. Para JSON, isso exigia pelo menos uma avaliação contendo uma string `review_text` ou um número inteiro com a classificação. Para HTML, pelo menos um seletor CSS precisava retornar conteúdo.
Testamos previamente cada provedor com URLs quebradas, páginas 404 conhecidas e páginas sem avaliações para entender como eles reportam esses casos. Quando um provedor sinalizava corretamente uma página ausente ou vazia, o resultado era considerado válido.
Em seguida, foi aplicada uma verificação entre provedores: se um provedor não retornasse dados em uma URL onde outro provedor extraiu avaliações com sucesso, esse resultado vazio era marcado como uma falha. Isso separou as páginas sem avaliações dos casos em que o provedor não conseguiu extrair os dados disponíveis.
Tempo de conclusão
Medimos o tempo real desde a solicitação inicial até a resposta final, incluindo qualquer tempo de sondagem assíncrona ou de espera na fila.
Seleção de URL
Os 500 URLs foram extraídos das páginas de empresas do Maps (Google) em diferentes níveis de avaliações, tipos de negócios e localizações. Os formatos de URL maps/search e maps/place foram incluídos. Parâmetros de localização e formatos inválidos foram removidos antes dos testes.
Condições de teste
Todos os fornecedores operavam sob as mesmas restrições:
- Uma solicitação por vez, sem execução paralela.
- Atraso de 2 segundos entre as solicitações
- O erro HTTP 429 foi tratado com um intervalo de 30 segundos e até 3 tentativas de reconexão.
- Tempo limite de envio de 300 segundos
- Tempo limite de execução de 600 segundos
- Execução única por URL por provedor
Configurações do provedor
Bright Data usou sua API de Conjunto de Dados com um conjunto de dados dedicado de Avaliações de Mapas Google, retornando JSON estruturado com 26 campos por avaliação. A API foi consultada por meio do endpoint /progress/{snapshot_id} em intervalos de 1 segundo até estar pronta.
Oxylabs usou uma API de origem dedicada Google (origem: google), mas a configuração retornou resultados vazios em todos os URLs deste domínio.
Zyte usou sua API Extract com browserHtml habilitado, renderizando páginas por meio de um navegador sem interface gráfica e retornando HTML analisado com seletores CSS.
Nimble usou sua API Web com render: true para renderização em JavaScript, retornando HTML renderizado e analisado com seletores CSS.
Decodo usou seu proxy de desbloqueio da web com o cabeçalho X-SU-Headless para renderização de JavaScript.
Perguntas frequentes
A extração de avaliações do Google Maps (Google) é a coleta automatizada de avaliações de clientes, classificações e metadados de empresas a partir dos cadastros de empresas do Google Maps. Ela é utilizada para monitoramento de SEO local, gestão de reputação, análise da concorrência e pesquisa de mercado baseada em localização.
As avaliações do Maps são carregadas dinamicamente por meio de JavaScript após a renderização inicial da página. Primeiro, a estrutura da página é carregada e, em seguida, o navegador executa chamadas à API para buscar o conteúdo das avaliações. Avaliações adicionais exigem interação com a rolagem para aparecerem. É por isso que as solicitações HTTP padrão e a extração básica de dados baseada em proxy retornam resultados vazios.
Provedores com APIs dedicadas para mapas, como a API de conjunto de dados do Google Maps, podem extrair avaliações sem exigir que você execute um navegador sem interface gráfica. A API lida com a renderização e a interação internamente. Para abordagens baseadas em HTML, é necessário um navegador sem interface gráfica com renderização em JavaScript, embora mesmo isso tenha produzido resultados limitados em nosso teste de desempenho.
Sim, o Google Maps exibe as avaliações no idioma original por padrão. Os mesmos URLs e configurações de provedor funcionam em todos os idiomas. Certifique-se de que os URLs não contenham parâmetros de localização, pois eles podem afetar a renderização da página e a visibilidade das avaliações.
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios.