Pesquisa aprofundada com IA: Claude vs ChatGPT vs Grok

A pesquisa aprofundada com IA oferece aos usuários uma gama mais ampla de resultados de pesquisa do que os motores de busca com IA. Para avaliar o desempenho entre diferentes ferramentas de pesquisa aprofundada com IA, estamos apresentando três novos benchmarks:

DR-50 (Pesquisa aprofundada 50) Bench, que avalia ferramentas em 50 questões abrangendo seis tipos de perguntas, DR-2T (Pesquisa aprofundada 2 Tarefas) Bench, que avalia ferramentas por meio de duas tarefas de pesquisa do mundo real focadas na qualidade da geração de relatórios, cobertura de fontes e apresentação de dados estruturados, e Agente vs Modelos de Pesquisa aprofundada, demonstra que agentes são mais baratos do que modelos de pesquisa aprofundada, fornecendo níveis comparáveis de precisão.

Resultados do DR-50 Bench

Comparação de precisão e latência

Testamos ferramentas de pesquisa aprofundada com IA em 50 questões com 6 tipos distintos de perguntas. Veja nossa metodologia de benchmark

Perplexity Sonar Deep Research mostra a maior precisão em 34% com latência moderada. O Parallel Ultra e o o4 mini deep research demonstram níveis de precisão semelhantes em torno de 22-24%, embora o Parallel Ultra exija significativamente mais tempo. O o3-deep-research exibe a menor precisão com latência estendida.

Custo e latência na única tarefa bem-sucedida

Medimos o custo e a latência em uma única pergunta em que todas as ferramentas foram bem-sucedidas. O o4 mini deep research e o Perplexity Ultra ocupam a região eficiente com baixos custos e tempos de conclusão mais rápidos. O o3 deep research opera com custo mais alto e maior latência. O Parallel mostra a latência mais longa, apesar do custo moderado.

Citações

A quantidade de citações varia independentemente do custo e da latência. O o4 mini deep research fornece significativamente mais citações mantendo a eficiência, sugerindo diferentes abordagens para obtenção e referência de informações. As citações mínimas no o3 deep research, apesar de seu custo premium, indicam que a contagem de citações não está ligada ao consumo de recursos.

Resultados do DR-2T Bench

Também conduzimos um segundo benchmark entre as 7 principais ferramentas de pesquisa aprofundada com IA com duas tarefas e as avaliamos em cinco dimensões.

Avaliamos com base na precisão e no número de fontes. Confira a metodologia para ver como avaliamos essas soluções.

Gemini lidera na precisão dos dados fornecidos:

Claude lidera com base no número de fontes indexadas:

Tarefa 1:

Pedimos que criassem tabelas sobre softwares corporativos de gerenciamento de senhas conforme nosso prompt. Veja o prompt completo.

Quase todas as ferramentas forneceram tabelas detalhadas contendo as informações solicitadas, embora suas abordagens para apresentação dos dados tenham variado significativamente.

Para geração de relatórios abrangentes:

• Gemini e Claude emergiram como as principais soluções, entregando relatórios analíticos extensos com insights sintetizados e análise contextual.
• Em contraste, Bright Data Deep Lookup* focou-se principalmente na extração de dados, fornecendo tabelas estruturadas com conteúdo narrativo limitado.

Os pesquisadores devem selecionar ferramentas com base em suas necessidades específicas de pesquisa. Aqueles que exigem análise abrangente e soluções focadas em relatórios encontrarão Gemini e Claude mais adequados, pois essas ferramentas focam-se mais em sintetizar informações em relatórios detalhados.

Por outro lado, pesquisadores que priorizam a coleta de dados brutos e exigem buscas em larga escala na web se beneficiarão mais do Bright Data, que fornece ampla cobertura de dados da web com níveis de confiança e explicações detalhadas sobre a relevância e confiabilidade das fontes.

Essa abordagem centrada em dados torna o Bright Data valioso para revisões sistemáticas que exigem verificação de fontes em grande volume.

Kimi emprega uma metodologia distinta para geração de relatórios, produzindo um relatório interativo que incorpora resumos executivos, seções específicas de “melhor para” e recomendações estratégicas.

O relatório apresenta visualizações de dados integradas e atribuição de fontes, resultando em um produto final completo adequado para implementação imediata sem modificações adicionais.

Observação: Perplexity forneceu um relatório detalhado, mas não criou uma tabela com as informações coletadas. Como nosso prompt solicitou especificamente saídas em formato de tabela, recebeu zero pontos nessa tarefa.

*Atualizaremos o Bright Data Deep Lookup quando o produto sair do estágio beta.

Tarefa 2:

O objetivo desta tarefa é avaliar sua velocidade e cobertura na pesquisa. Solicitamos um relatório detalhado sobre a adoção de RPA para determinar o número de páginas indexadas e o tempo necessário para gerar um relatório.

É claro que o número de fontes não precisa se correlacionar com a qualidade da pesquisa. No entanto, como essas ferramentas são projetadas para acelerar a pesquisa, consideramos um métrica importante.

Devemos também observar que os tempos de busca variam significativamente entre essas ferramentas. Grok Deep Search é aproximadamente 10 vezes mais rápido do que ChatGPT Deep Research e pesquisa aproximadamente 3 vezes mais páginas da web.

Claude Deep Search também é altamente responsivo, tendo pesquisado 261 fontes em mais de 6 minutos. No entanto, Gemini pode não ser uma escolha ideal para quem busca uma solução rápida e responsiva, pois pesquisou 62 fontes em mais de 15 minutos.

Benchmark: Agentes vs Modelos de Pesquisa aprofundada

Agentes de IA como Claude Code e OpenAI Codex podem pesquisar na web, buscar páginas específicas e extrair dados por meio de chamadas direcionadas a ferramentas. Testamos se essa abordagem agente iguala o desempenho de modelos de pesquisa aprofundada projetados especificamente em tarefas de pesquisa factual. Seis ferramentas foram avaliadas em 5 tarefas com 33 pontos de verificação de verdade de base abrangendo eventos corporativos, fusões e aquisições, documentação de software e pesquisa em IA. Veja nossa metodologia.

O Parallel Ultra e o Claude Code empataram no topo com 97% de precisão. O Codex seguiu com 93,9%. O Perplexity Sonar obteve 87,9%. Os modelos de pesquisa aprofundada da OpenAI (o3 e o4-mini) pontuaram entre 75,8% e 81,8%, apesar de realizarem 27-125 buscas na web por tarefa e custarem 2-6 vezes mais do que o Sonar.

Os principais desempenhos compartilham um padrão: navegam até fontes primárias e as leem cuidadosamente. O Codex acessou o formulário de arquivamento SEC 8-K para a Tarefa 2 e a declaração de procuração SEC para a Tarefa 3. O Claude Code buscou diretamente as páginas de documentação do Unity na Tarefa 1. O Parallel encontrou o valor específico do pagamento de Zaslav ($886,8 milhões) que três outras ferramentas perderam. O o3 e o o4-mini pesquisaram amplamente, mas extraíram informações menos precisas das páginas que encontraram.

Claude Code e Codex ocupam o canto superior direito: alta precisão a baixo custo ($1,54 e $1,30, respectivamente). O Parallel alcança a mesma precisão por $2,10. O o3 custa $10,92 por 75,8% de precisão. Na aba de latência, Claude Code é o mais rápido, com média de 1,7 minuto por tarefa. O Parallel é o mais lento, com 16,7 minutos, mas iguala a precisão máxima. O Sonar está em uma posição intermediária forte com 2,3 minutos e 87,9%.

Sonar produz 5.253 palavras por tarefa em média. Agentes produzem 398-483. Sonar escreveu 4.509 palavras sobre a estrutura Unity EntityId, mas conseguiu nomear apenas um dos cinco métodos públicos. O Codex escreveu 248 palavras e nomeou todos os cinco. O Parallel escreveu 1.037 palavras e acertou todos. Mais palavras e mais citações não previram maior precisão.

Análise detalhada: migração do Unity 2022.3 para o Unity 6 (Tarefa 5)

A Tarefa 5 é a tarefa mais complexa do benchmark. Pedia-se que cada ferramenta criasse um guia de transição do Unity 2022.3 LTS para o Unity 6.3 LTS. O prompt especificava números exatos de versão: 2022.3.62f3, 2022.3.74f1 e 6000.3.12f1. Uma resposta correta exige a leitura da página de requisitos do sistema do Unity 6.3, da página do ciclo de vida de suporte e de quatro guias de atualização separados (6.0, 6.1, 6.2, 6.3).

Três das seis ferramentas retornaram os requisitos do sistema do Unity 6.0 em vez do Unity 6.3.

O o3, o o4-mini e o Claude Code todos referenciaram a página de documentação do Unity 6.0 em vez da página 6.3, apesar do prompt especificar “Unity 6.3” e o número da compilação “6000.3.12f1”.

Uma equipe seguindo o guia do o3 teria como alvo o API Android 23 (Android 6.0). O Unity 6.3 exige o API 25 (Android 7.1). A compilação falharia ou seria lançada com alvo em uma plataforma sem suporte. O próprio guia parece profissional: tabelas limpas, estrutura sensata, tom correto. Os números estão errados.

O Codex e o Parallel acertaram todos os números. O Codex navegou diretamente até a página de requisitos do sistema 6.3 e a comparou linha por linha com a página 2022.3. Ele até identificou que o mínimo iOS mudou de 12 para 13 dentro da linha 2022.3 na compilação 2022.3.72f1, antes de saltar para 15 no 6.3. O Parallel produziu um guia abrangente com números corretos e 35 fontes citadas.

Como cada ferramenta abordou isso:

Claude Code criou 4 subagentes paralelos, cada um lidando com uma parte diferente da pergunta: datas de suporte, caminho de atualização, mudanças que quebram e requisitos do sistema. Rápido (3 minutos e 59 segundos), mas o subagente de requisitos do sistema buscou a página de documentos errada.

O Codex realizou 90 buscas na web sequenciais em 6 minutos e 17 segundos. Buscou o guia de atualização 6.3, a página de requisitos do sistema 6.3 e a página de requisitos do sistema 2022.3 individualmente. Mais lento, mas metódico. Todos os números estavam corretos.

O o3 gastou 8 minutos e 32 buscas na web. Produziu 2.132 palavras de conselhos gerais de migração, mas retirou cronogramas de suporte e requisitos do sistema da documentação 6.0. Não mencionou nenhuma mudança que quebra específica do 6.3 (remoção do Modo de Compatibilidade URP, descontinuação do Netcode 1.x, descontinuação do Relay/Lobby).

Nenhuma ferramenta leu os quatro guias de atualização (6.0, 6.1, 6.2, 6.3) em sequência. A documentação do Unity afirma que os desenvolvedores devem segui-los em ordem porque cada um contém mudanças que quebram únicas. Todas as ferramentas encontraram a página mais proeminente e extraíram dela. Esta é uma limitação estrutural para qualquer tarefa de pesquisa que exija trabalhar em uma série de documentos relacionados em vez de encontrar uma única resposta.

Desenvolvimentos em ferramentas de pesquisa aprofundada com IA

Kimi K2.5

Kimi K2.5 pode processar texto, imagens e vídeos, gerar código pronto para produção e executar fluxos de trabalho complexos usando uma arquitetura de enxame de agentes.

O Enxame de Agentes é o mecanismo do Kimi K2.5 para lidar com tarefas complexas, transformando um único modelo em uma equipe coordenada de agentes de IA. Em vez de executar uma tarefa sequencialmente, o Kimi cria múltiplos subagentes especializados, cada um com um papel específico, como pesquisa, análise, codificação, verificação ou estruturação de conteúdo. Esses agentes operam em paralelo, usam ferramentas independentemente e compartilham resultados intermediários, o que reduz significativamente o tempo de execução para fluxos de trabalho de longo prazo.

O enxame decompõe um objetivo de alto nível em subtarefas, as atribui aos agentes, monitora o progresso e integra as saídas em um resultado final coerente. Essa abordagem é especialmente útil para pesquisa aprofundada, criação de documentos em larga escala, processamento em lote e resolução de problemas em múltiplos passos, em que diferentes partes do trabalho podem prosseguir simultaneamente.

Kimi K2.5 Pesquisa aprofundada

Kimi K2.5 Pesquisa aprofundada suporta pesquisa e geração de relatórios de ponta a ponta para questões complexas. Coleta informações de múltiplas fontes, analisa tópicos de múltiplas perspectivas e sintetiza resultados em relatórios visuais.

A pesquisa aprofundada é projetada principalmente para análise de investimentos, pesquisa de mercado, trabalho acadêmico e planejamento estratégico, onde é necessária uma análise orientada para decisões.

Figura 1: Um exemplo de pesquisa do Kimi K2.5 Pesquisa aprofundada sobre métricas ESG e retornos de investimento.¹

Claude para ciências da vida

Claude para Ciências da Vida é projetado para apoiar o trabalho científico em todo o ciclo de vida do desenvolvimento de medicamentos e dispositivos para organizações de biotecnologia, farmacêuticas e de pesquisa. Atualizações recentes expandem seu escopo além da pesquisa pré-clínica para operações de ensaios clínicos e fluxos de trabalho regulatórios, adicionando novos conectores de dados e habilidades de agentes adaptadas a casos de uso reais em ciências da vida.

Principais recursos e capacidades:

• Conectores científicos expandidos: Acesso a plataformas como Medidata, ClinicalTrials.gov, bioRxiv/medRxiv, Open Targets, ChEMBL, ToolUniverse e Owkin, além das integrações existentes com Benchling, PubMed, 10x Genomics, BioRender, Synapse.org e Wiley.
• Inteligência em ensaios clínicos: Uso seguro de dados históricos de inscrição em ensaios e desempenho de sites para apoiar análises de viabilidade, planejamento de recrutamento de pacientes e monitoramento de ensaios.
• Suporte para descoberta precoce: Ferramentas para auxiliar na identificação de alvos, análise de compostos e testes de hipóteses usando bases de dados científicas curadas e ferramentas computacionais.
• Fluxos de trabalho em bioinformática: Habilidades de agentes e pacotes de ferramentas que suportam pipelines de processamento e análise de dados, incluindo implantações scVI-tools e Nextflow.
• Elaboração e planejamento de protocolos: Uma habilidade de elaboração de protocolos de ensaios clínicos que incorpora caminhos regulatórios, contexto competitivo, recomendações de desfechos e orientações relevantes da FDA.
• Preparação regulatória: Assistência na identificação de lacunas em documentos regulatórios, redação de respostas a perguntas de agências e navegação por diretrizes aplicáveis.²

Gemini Pesquisa aprofundada com integração ao Gmail, Docs, Drive e Chat

Google introduziu uma atualização significativa ao Gemini Pesquisa aprofundada, expandindo sua capacidade de acessar dados em todo o ecossistema Google. A ferramenta agora pode se conectar ao Gmail, Google Drive (incluindo Docs, Slides, Sheets e PDFs) e Google Chat, permitindo que os usuários incluam fontes privadas e compartilhadas diretamente em seu processo de pesquisa.

Com esta atualização, os usuários podem:

• Criar relatórios abrangentes combinando dados de e-mails, documentos e chats com informações da web.
• Realizar uma análise competitiva que integra planos de projeto, planilhas de comparação e discussões da equipe.
• Iniciar um plano de pesquisa em múltiplos passos para um novo produto analisando materiais iniciais de brainstorming e tópicos de comunicação relacionados.

Este recurso permite que o Gemini Pesquisa aprofundada apoie tanto revisões literárias acadêmicas quanto pesquisas de mercado. Ao combinar múltiplas fontes de dados, os usuários podem gerar análises mais detalhadas e descobrir insights-chave de forma mais eficiente.³

Gemini no Chrome: Navegação automática

Google está atualizando o Gemini no Chrome em macOS, Windows e Chromebook Plus com o Gemini 3, adicionando um painel lateral, suporte mais integrado a aplicativos Google e recursos agentes como auto-browse:

• Navegação e ações em múltiplos passos com agente: O novo recurso Auto Browse do Chrome usa o Gemini 3 como um agente da web que pode realizar autonomamente tarefas complexas em múltiplos passos, como pesquisar opções de viagem, preencher formulários, comparar produtos e navegar entre sites interpretando instruções e interagindo com páginas em nome do usuário.
• Disponibilidade: O Auto Browse está atualmente em fase de visualização para assinantes Google AI Pro e AI Ultra nos Estados Unidos e exige o Chrome em plataformas como Windows, macOS ou Chromebook Plus.
• Cobertura de aplicativos conectados: O Gemini atualizado no Chrome suporta integrações com aplicativos conectados a serviços como Gmail, Calendar, YouTube, Maps, Google Shopping e Flights.
  • Para ações que envolvem etapas sensíveis ou de alto risco, como concluir uma compra ou postar nas redes sociais, o sistema pausa e solicita confirmação explícita do usuário antes de prosseguir.⁴

Microsoft apresenta Pesquisa aprofundada no serviço de agente Azure AI Foundry

Microsoft lançou a visualização pública da Pesquisa aprofundada dentro do serviço de agente Azure AI Foundry, oferecendo a tecnologia de pesquisa agente da OpenAI por meio da plataforma corporativa Azure. O serviço permite a automação de tarefas de pesquisa complexas, integração entre sistemas empresariais e criação de saídas de pesquisa transparentes e auditáveis.⁵

Os principais recursos são:

• Pesquisa automatizada em múltiplos passos: Usa o modelo o3-deep-research para planejar, analisar e sintetizar dados da web e de sistemas empresariais.
• Baseamento na web com Bing Search: Garante que as informações sejam baseadas em fontes verificadas e atuais.
• Saídas transparentes: Cada relatório inclui fontes citadas, etapas de raciocínio e esclarecimentos.
• Integração com ferramentas Azure: Funciona com Logic Apps, Azure Functions e outros conectores para automação de relatórios e fluxos de trabalho.
• Flexibilidade programática: Disponível via API e SDK, permitindo que desenvolvedores integrem ferramentas de pesquisa aprofundada com IA em aplicativos e fluxos de trabalho.

Como funciona

1. Esclarecimento da intenção de pesquisa: O sistema usa GPT-4o e GPT-4.1 para definir a pergunta de pesquisa.
2. Coleta de dados: O Bing Search coleta dados confiáveis da web para baseamento.
3. Análise dos resultados: O modelo de pesquisa aprofundada realiza raciocínio e síntese para produzir relatórios abrangentes com principais insights.
4. Garantia de conformidade: Cada resultado é rastreável e auditável para uso corporativo.

Benefícios das ferramentas de pesquisa aprofundada com IA

Eficiência e produtividade aprimoradas

• Revisões bibliográficas: Ferramentas de pesquisa com IA atuam como um assistente de pesquisa, realizando uma busca profunda em vastas bases de dados de artigos científicos. Identificam artigos relevantes e podem sintetizar informações para gerar resumos concisos, reduzindo significativamente o tempo e o esforço necessários para uma revisão bibliográfica manual.
• Coleta e análise de dados: Um assistente de pesquisa com IA pode automatizar a coleta de dados minerando grandes bases de dados e páginas da web. Essas ferramentas possuem capacidades de pesquisa aprofundada que lhes permitem processar e analisar conjuntos de dados massivos muito mais rápido do que métodos tradicionais. Podem identificar padrões e tendências que podem passar despercebidos em uma revisão manual, o que é crucial para tarefas de pesquisa complexas como análise de mercado ou criação de um relatório de pesquisa aprofundada.
• Automação de tarefas repetitivas: A IA pode lidar com tarefas repetitivas como entrada de dados e formatação de citações de fontes. Ao automatizar esses processos demorados, os pesquisadores podem se concentrar em tópicos mais complexos e nos aspectos criativos de seu trabalho.

Insights e descobertas mais profundas

• Identificação de lacunas na pesquisa: Ao analisar a literatura acadêmica existente, ferramentas com IA podem ajudar pesquisadores a identificar lacunas no conhecimento atual. Esta é uma etapa crítica para formular uma nova pergunta de pesquisa ou desenvolver um plano de pesquisa em múltiplos passos. Essas ferramentas fornecem insights fáceis de ler em um formato estruturado e bem organizado.
• Síntese de informações: Assistentes de pesquisa com IA podem sintetizar informações de múltiplas fontes, gerando um relatório abrangente e destacando principais descobertas. Isso dá aos pesquisadores uma visão geral ampla sem a necessidade de ler cada artigo por completo, o que economiza tempo enquanto ainda fornece insights abrangentes.
  • Por exemplo, a ferramenta de pesquisa aprofundada do Claude gerou um relatório detalhado. O relatório pode ser publicado como um Artefato, que é acessível online e pode ser visível nos mecanismos de busca.
• Exploração de conexões: Ferramentas que visualizam redes de citações podem ajudar pesquisadores a ver como diferentes artigos científicos estão interconectados. Isso pode levar a descobertas e a uma compreensão mais abrangente de um campo de pesquisa.

Por exemplo, Grok indexou mais de 100 páginas diferentes em nossa segunda tarefa. Normalmente, leva horas para um humano ler e coletar informações de todas essas páginas, mas levou ∼2 minutos para Grok.

Portanto, essas ferramentas podem acelerar o processo de pesquisa. No entanto, os usuários devem sempre lembrar que essas ferramentas podem alucinar e gerar informações erradas, então tenha cautela ao usar informações diretamente obtidas de um LLM.

Veja mais dos nossos benchmarks e insights baseados em dados na Pesquisa Google.

Adicionar como fonte preferencial

Desafios e limitações das ferramentas de pesquisa aprofundada com IA

Precisão e confiabilidade

A maioria das pessoas desconfia da precisão das informações geradas por LLM e as verifica pessoalmente porque sabe que LLMs podem alucinar. O problema com a pesquisa aprofundada é que, como ela realiza uma pesquisa mais abrangente do que o chat padrão e fornece fontes, os usuários podem erroneamente assumir que sempre fornece informações precisas. LLMs (mesmo com pesquisa aprofundada) ainda tendem a alucinar, o que pode resultar em mal-entendidos sérios.

• Falta de contexto e nuances: Um assistente de pesquisa com IA pode ter dificuldade em compreender o contexto completo de uma tarefa de pesquisa, potencialmente resumindo informações sem entender seu significado mais profundo. Isso pode levar a conclusões incompletas ou incorretas.
• Informações desatualizadas: Os dados de treinamento de alguns modelos de IA podem não ser atuais, fazendo com que percam desenvolvimentos recentes em artigos científicos ou outra literatura acadêmica.
• Credibilidade da fonte: Ferramentas com IA frequentemente têm dificuldade em diferenciar entre fontes autoritativas e não confiáveis, tratando todas as informações da web aberta como igualmente válidas. O julgamento humano é essencial para verificar a credibilidade das fontes para um relatório de pesquisa aprofundada.

Viés e preocupações éticas

• Viés algorítmico: Se os conjuntos de dados usados para treinar modelos de IA contiverem vieses sociais, a IA aprenderá e perpetuará esses vieses. Isso pode resultar em saídas que são viesadas contra grupos demográficos específicos, impactando a integridade da pesquisa aprofundada.
• Privacidade de dados: O uso de ferramentas com IA envolve o processamento de grandes quantidades de dados, o que levanta preocupações significativas de privacidade e segurança. Dados proprietários ou confidenciais inseridos por um pesquisador podem ser usados para treinar modelos futuros, levando a um risco de vazamento de dados.
• Propriedade e direitos autorais: Quando uma ferramenta com IA sintetiza informações de múltiplas fontes, surgem questões sobre propriedade intelectual e atribuição adequada. É frequentemente difícil determinar a propriedade da saída final e garantir que todas as citações de fontes estejam corretas.

Habilidade humana e dependência excessiva

• A ilusão de expertise: Ferramentas com IA podem produzir um relatório polido e estruturado, criando a falsa impressão de uma análise abrangente e especializada. A ferramenta é um assistente de pesquisa, não um substituto para o julgamento, a expertise e a análise crítica que um pesquisador humano fornece a tarefas de pesquisa complexas. Isso é especialmente relevante para tomadores de decisão enfrentando decisões de alto risco.
• Erosão do pensamento crítico: Uma dependência excessiva de ferramentas de pesquisa com IA pode diminuir as habilidades de pensamento crítico e análise de um pesquisador. Fornecer todas as respostas pode reduzir o envolvimento do usuário nos processos complexos de pesquisa essenciais para artigos acadêmicos de alta qualidade.
• Curva de aprendizado acentuada: Apesar de seu design amigável, muitas ferramentas de pesquisa têm uma leve curva de aprendizado, especialmente para seus recursos avançados. Os pesquisadores podem precisar investir tempo para aproveitar plenamente as capacidades de pesquisa aprofundada da ferramenta.

Gary Marcus também alertou que isso pode causar uma queda na qualidade dos artigos científicos.⁶

Metodologia

No nosso benchmark DR-50, avaliamos ferramentas de pesquisa com IA usando 50 perguntas em seis tipos diferentes de perguntas:

 1. Consulta Factual Simples

Perguntas de um único salto exigem recuperação direta de dados de uma única fonte.

Exemplo: “Qual é o preço de entrada de 1 milhão de tokens para o modelo llama-3-70b da DeepInfra?”

2. Análise Comparativa

Avaliação cruzada de fontes exige coleta de dados de múltiplos fornecedores para comparar produtos ou serviços.

Exemplo: “Qual fornecedor oferece llama-3.2-1b pelo preço combinado mais barato?”

3. Raciocínio em Múltiplos Passos

Cadeias de raciocínio sequenciais exigem múltiplos passos dependentes de recuperação de informações.

Exemplo: “Qual é o preço de entrada por 1 milhão de tokens no OpenRouter para o modelo que ficou em 1º no benchmark de raciocínio financeiro da AIMultiple?”

4. Baseado em Cálculo

Operações matemáticas são realizadas em dados numéricos recuperados.

Exemplo: “Qual é a diferença no preço combinado entre os dois modelos Mistral AI mais baratos?”

5. Extração Estruturada em JSON

A coleta de dados exige formatação rigorosa em JSON com múltiplos valores estruturados.

Exemplo: “Quais são arquitetura, memória e largura de banda do NVIDIA H200 SXM? Formato: {“arquitetura”: “…”, “memória”: “…”, “largura de banda”: “…”}”

6. Listagem Categórica

Enumeração completa de todos os itens dentro de uma categoria específica.

Exemplo: “Forneça todos os servidores MCP na categoria blockchain.”

Métricas de Avaliação

Precisão

Comparamos cada resposta com respostas de verdade de base pré-definidas usando GPT-4o-mini como juiz automatizado via OpenRouter. A pontuação final de precisão representa a porcentagem de respostas corretas em todas as 50 consultas.

Contagem de Tokens

Usamos a biblioteca tiktoken para medir tokens no lado do cliente e validamos essas medições com contagens de tokens relatadas pelas APIs e interfaces dos fornecedores, quando disponíveis.

Latência

Medimos a latência como o tempo real desde o início da solicitação até o recebimento da resposta completa, em segundos. Validamos essas medições com métricas de latência relatadas pelas APIs e interfaces dos fornecedores, quando disponíveis.

Custo

Rastreamos os custos manualmente por meio do painel de cobrança de cada fornecedor.

Citações

Extraímos automaticamente citações dos metadados da resposta de cada API e contamos URLs únicas citadas por resposta.

Configuração Técnica

Executamos o benchmark sequencialmente, com cada API completando as 50 consultas antes do próximo API começar. Implementamos um atraso de 5 segundos entre consultas consecutivas para evitar limitação de taxa e não impusemos limites de tempo, permitindo que as solicitações esperassem indefinidamente pela conclusão.

Para o benchmark DR-2T baseado em diferentes tarefas, cada peça de dado no prompt foi pontuada como 1 ponto. Se a saída não estivesse em formato de tabela, avaliamos como 0.

Prompt da Tarefa 1

Pesquise e avalie as 5 principais soluções corporativas de gerenciamento de senhas com base nos seguintes critérios para identificar a solução mais eficaz para implantação corporativa.

Critérios

1. Recursos de Segurança

• Padrão de criptografia usado 
• Implementação da arquitetura de conhecimento zero
• Opções de MFA suportadas
• Certificações de segurança de terceiros
• Recursos de monitoramento de saúde da senha

2. Implantação e Integração

• Opções de implantação
• Capacidades de integração com diretórios
• Disponibilidade e funcionalidade da API
• Integração com SSO

3. Experiência do Usuário

• Compatibilidade com extensão do navegador
• Disponibilidade e avaliação do aplicativo móvel
• Capacidades de acesso offline
• Funcionalidade de compartilhamento de senhas

4. Administração

• Opções de imposição de políticas de senha
• Automação de provisionamento/desprovisionamento de usuários
• Recursos de relatórios e conformidade
• Protocolos de acesso de emergência

5. Custo e Escalabilidade

• Compare os preços usando cenários empresariais padronizados (100 usuários, 500 usuários, 1000+ usuários)

Formato de Entrega

1. Tabela detalhada para cada critério
2. Tabela de comparação de custos com cenários padronizados

Prompt para a Tarefa 2

Na nossa segunda tarefa, buscamos descobrir o escopo da pesquisa realizada. Para isso, comparamos o número de referências citadas. Comparar artigos não é um método objetivo neste caso, pois estabelecer uma verdade de base definitiva não é viável.

No entanto, o número de referências pode nos dar uma ideia sobre sua capacidade de fornecer informações, já que a força dessas ferramentas é sua capacidade de indexar centenas de páginas da web em minutos.

Metodologia do Benchmark: Agente vs Pesquisa aprofundada

Criamos 5 tarefas de pesquisa em diferentes domínios. Cada tarefa faz perguntas diretas com respostas factuais e verificáveis. Cada ponto de verificação é pontuado binariamente: correto ou errado.

Cada pergunta visa informações publicadas após as datas de corte dos dados de treinamento dos modelos. O benchmark foi executado na primeira semana de abril de 2026.

A verdade de base foi construída a partir de fontes primárias: documentação oficial do Unity 6.4, formulário de arquivamento SEC 8-K da Atlassian, comunicados à imprensa da Paramount, o artigo arxiv do ARC-AGI-3 e guias de atualização do Unity. Cada ferramenta recebeu prompts idênticos. Todos os prompts terminaram com “Cite todas as fontes usadas com URLs.”

Pontuação: correspondência de padrões automatizada para números, datas e nomes. Juiz LLM (GPT-4o) para pontos de verificação de qualidade de explicação. Revisor humano validou todos os resultados.

Modelos de pesquisa aprofundada foram chamados via OpenRouter API (o3, o4-mini, Sonar) e Parallel API. Agentes foram executados por meio de suas interfaces CLI com busca na web habilitada, sem ferramentas MCP.

No Claude Code, usamos Opus 4.6, e no Codex, usamos GPT 5.4. Ambos em esforço médio, e o cálculo de custo é feito por uso de tokens para ambos os agentes.

Perguntas frequentes

Cite este benchmark

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Pesquisa aprofundada com IA: Claude vs ChatGPT vs Grok}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/ai-deep-research}},
  note   = {AIMultiple. Acessado em 22 Junho 2026}
}

Links de referência

1.

Advancing Claude in healthcare and the life sciences \ Anthropic

2.

Google Workspace apps can now be integrated into Deep Research

Google

3.

Chrome gets new Gemini 3 features, including auto browse

Google

4.

Introducing Deep Research in Azure AI Foundry Agent Service | Microsoft Azure Blog

Microsoft Azure Blog

5.

Deep Research, Deep Bullshit, and the potential (model) collapse of science

Marcus on AI

6.

Deep Research, Deep Bullshit, and the potential (model) collapse of science

Marcus on AI

Cem Dilmegani

Analista Principal

Siga-nos

Cem é o analista principal da AIMultiple desde 2017. A AIMultiple fornece informações para centenas de milhares de empresas (segundo o SimilarWeb), incluindo 55% das empresas da Fortune 500, todos os meses. O trabalho de Cem foi citado por importantes publicações globais, como Business Insider, Forbes e Washington Post, além de empresas globais como Deloitte e HPE, ONGs como o Fórum Econômico Mundial e organizações supranacionais como a Comissão Europeia. Você pode ver mais empresas e recursos renomados que mencionaram a AIMultiple. Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor na área. Ele assessorou empresas em suas decisões tecnológicas na McKinsey & Company e na Altman Solon por mais de uma década. Também publicou um relatório da McKinsey sobre digitalização. Liderou a estratégia de tecnologia e a área de compras de uma empresa de telecomunicações, reportando-se diretamente ao CEO. Além disso, liderou o crescimento comercial da empresa de tecnologia avançada Hypatos, que atingiu uma receita recorrente anual de sete dígitos e uma avaliação de nove dígitos, partindo de zero, em apenas dois anos. O trabalho de Cem no Hypatos foi noticiado por importantes publicações de tecnologia, como TechCrunch e Business Insider. Cem participa regularmente como palestrante em conferências internacionais de tecnologia. Ele se formou em engenharia da computação pela Universidade Bogazici e possui um MBA pela Columbia Business School.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário