Recherche approfondie par IA: Claude vs ChatGPT vs Grok

La recherche approfondie par IA offre aux utilisateurs un éventail plus large de résultats de recherche que les moteurs de recherche par IA. Pour voir les performances à travers différents outils de recherche approfondie par IA, nous présentons trois nouveaux benchmarks :

DR-50 (Deep Research 50) Bench, qui évalue les outils sur 50 questions couvrant six types de questions, DR-2T (Deep Research 2 Task) Bench, qui évalue les outils à travers deux tâches de recherche réelles axées sur la qualité de la génération de rapports, la couverture des sources et la présentation des données structurées, et Agent vs Deep Research Models, démontre que les agents sont moins chers que les modèles de recherche approfondie tout en fournissant des niveaux d'accuracy comparables.

Résultats du benchmark DR-50

Comparaison de la précision et de la latence

Nous avons testé les outils de recherche approfondie par IA sur 50 questions avec 6 types de questions distincts. Consultez notre méthodologie de benchmark

Perplexity Sonar Deep Research affiche la précision la plus élevée à 34 % avec une latence modérée. Parallel Ultra et o4 mini deep research démontrent des niveaux de précision similaires autour de 22-24 %, bien que Parallel Ultra nécessite beaucoup plus de temps. o3-deep-research présente la précision la plus faible avec une latence étendue.

Coût et latence sur la tâche unique réussie

Nous avons mesuré le coût et la latence sur une seule question où tous les outils ont réussi. o4 mini deep research et Perplexity Ultra occupent la région efficace avec de faibles coûts et des temps d'exécution plus rapides. o3 deep research fonctionne à un coût plus élevé avec une latence plus longue. Parallel affiche la latence la plus longue malgré un coût modéré.

Citations

La quantité de citations varie indépendamment du coût et de la latence. o4 mini deep research fournit significativement plus de citations tout en maintenant l'efficacité, suggérant différentes approches pour la source et la référence des informations. Les citations minimales dans o3 deep research, malgré son coût élevé, indiquent que le nombre de citations n'est pas lié à la consommation de ressources.

Résultats du benchmark DR-2T

Nous avons également mené un deuxième benchmark sur les 7 meilleurs outils de recherche approfondie par IA avec deux tâches et les avons évalués selon cinq dimensions.

Nous les avons évalués en fonction de la précision et du nombre de sources. Consultez la méthodologie pour voir comment nous avons évalué ces solutions.

Gemini mène en termes de précision des données fournies :

Claude est le leader en fonction du nombre de sources indexées :

Tâche 1 :

Nous leur avons demandé de créer des tableaux sur les logiciels de gestion des mots de passe d'entreprise selon notre invite. Consultez l'ensemble de l'invite.

Presque tous les outils ont fourni des tableaux détaillés contenant les informations demandées, bien que leurs approches de présentation des données aient varié considérablement.

Pour la génération de rapports complets :

• Gemini et Claude sont apparus comme les solutions leaders, livrant des rapports analytiques étendus avec des insights synthétisés et une analyse contextuelle.
• En revanche, Bright Data Deep Lookup* s'est concentré principalement sur l'extraction de données, fournissant des tableaux structurés avec un contenu narratif limité.

Les chercheurs devraient sélectionner les outils en fonction de leurs besoins de recherche spécifiques. Ceux qui nécessitent une analyse complète et des solutions axées sur les rapports trouveront Gemini et Claude les plus adaptés, car ces outils sont plus axés sur la synthèse des informations en rapports détaillés.

En revanche, les chercheurs privilégiant la collecte de données brutes et nécessitant des recherches web à grande échelle bénéficieront davantage de Bright Data, qui fournit une couverture étendue de données web avec des niveaux de confiance et des explications détaillées sur la pertinence et la fiabilité des sources.

Cette approche centrée sur les données rend Bright Data précieux pour les revues systématiques nécessitant une vérification de sources à haut volume.

Kimi emploie une méthodologie distinctive pour la génération de rapports, produisant un rapport interactif qui intègre des résumés exécutifs, des sections ciblées « meilleur pour » et des recommandations stratégiques.

Le rapport présente des visualisations de données intégrées et une attribution des sources, résultant en un livrable complet adapté à une mise en œuvre immédiate sans modification ultérieure.

Remarque : Perplexity a fourni un rapport détaillé mais n'a pas réussi à créer un tableau avec ses informations collectées. Puisque notre invite demandait spécifiquement des sorties sous forme de tableau, il a reçu zéro point pour cette tâche.

*Nous mettrons à jour Bright Data Deep Lookup lorsque le produit quittera le stade bêta.

Tâche 2 :

Le but de cette tâche est d'évaluer leur vitesse et leur couverture dans la recherche. Nous avons demandé un rapport détaillé sur l'adoption de la RPA pour déterminer le nombre de pages indexées et le temps nécessaire pour générer un rapport.

Bien sûr, le nombre de sources ne doit pas nécessairement corréler avec la qualité de la recherche. Cependant, puisque ces outils sont conçus pour accélérer la recherche, nous l'avons considéré comme une métrique importante.

Nous devons également noter que les temps de recherche varient considérablement entre ces outils. Grok Deep Search est environ 10 fois plus rapide que ChatGPT Deep Research et recherche environ 3 fois plus de pages web.

Claude Deep Search est également très réactif, ayant recherché 261 sources en plus de 6 minutes. Cependant, Gemini peut ne pas être un choix idéal pour ceux qui cherchent une solution rapide et réactive, car il a recherché 62 sources en plus de 15 minutes.

Benchmark Agents vs Modèles de recherche approfondie

Les agents IA comme Claude Code et OpenAI Codex peuvent rechercher sur le web, récupérer des pages spécifiques et extraire des données via des appels d'outils ciblés. Nous avons testé si cette approche agentic correspondait aux performances des modèles de recherche approfondie dédiés sur des tâches de recherche factuelle. Six outils ont été évalués sur 5 tâches avec 33 points de contrôle de vérité terrain couvrant des événements d'entreprise, des fusions-acquisitions, de la documentation logicielle et de la recherche en IA. Consultez notre méthodologie.

Parallel Ultra et Claude Code sont à égalité en tête avec 97 % de précision. Codex a suivi avec 93,9 %. Perplexity Sonar a obtenu 87,9 %. Les modèles de recherche approfondie de OpenAI (o3 et o4-mini) ont obtenu entre 75,8 % et 81,8 %, malgré l'exécution de 27 à 125 recherches web par tâche et un coût 2 à 6 fois supérieur à Sonar.

Les meilleurs performants partagent un schéma : ils naviguent vers des sources primaires et les lisent attentivement. Codex est allé au dépôt SEC 8-K pour la tâche 2 et à la déclaration de procuration SEC pour la tâche 3. Claude Code a récupéré directement les pages de documentation Unity dans la tâche 1. Parallel a trouvé le chiffre spécifique de paiement Zaslav (886,8 M $) que trois autres outils ont manqué. o3 et o4-mini ont recherché largement mais ont extrait des informations moins précises des pages qu'ils ont trouvées.

Claude Code et Codex occupent le coin supérieur droit : haute précision à faible coût (1,54 $ et 1,30 $ respectivement). Parallel atteint la même précision pour 2,10 $. o3 coûte 10,92 $ pour 75,8 % de précision. Sur l'onglet de latence, Claude Code est le plus rapide à 1,7 minute par tâche en moyenne. Parallel est le plus lent à 16,7 minutes mais correspond à la précision maximale. Sonar se situe dans une position intermédiaire forte à 2,3 minutes et 87,9 %.

Sonar produit 5 253 mots par tâche en moyenne. Les agents produisent 398-483. Sonar a écrit 4 509 mots sur la structure Unity EntityId mais n'a pu nommer qu'une de ses cinq méthodes publiques. Codex a écrit 248 mots et a nommé les cinq. Parallel a écrit 1 037 mots et les a obtenus correctement. Plus de mots et plus de citations n'ont pas prédit une précision plus élevée.

Plongée approfondie : Migration de Unity 2022.3 à Unity 6 (Tâche 5)

La tâche 5 est la tâche la plus complexe du benchmark. Elle a demandé à chaque outil de créer un guide de transition de Unity 2022.3 LTS à Unity 6.3 LTS. L'invite spécifiait des numéros de version exacts : 2022.3.62f3, 2022.3.74f1 et 6000.3.12f1. Une réponse correcte nécessite de lire la page des exigences système de Unity 6.3, la page du cycle de vie du support et quatre guides de mise à niveau séparés (6.0, 6.1, 6.2, 6.3).

Trois outils sur six ont renvoyé les exigences système pour Unity 6.0 au lieu de Unity 6.3.

o3, o4-mini et Claude Code ont tous référencé la page de documentation Unity 6.0 au lieu de la page 6.3, malgré l'invite spécifiant « Unity 6.3 » et le numéro de build « 6000.3.12f1 ».

Une équipe suivant le guide d'o3 ciblerait Android API 23 (Android 6.0). Unity 6.3 nécessite API 25 (Android 7.1). La build échouerait ou serait livrée ciblant une plateforme non prise en charge. Le guide lui-même semble professionnel : tableaux propres, structure sensée, ton correct. Les chiffres sont faux.

Codex et Parallel ont tous les deux obtenu tous les chiffres corrects. Codex a navigué directement vers la page des exigences système 6.3 et l'a comparée ligne par ligne avec la page 2022.3. Il a même identifié que le minimum iOS a changé de 12 à 13 dans la ligne 2022.3 au build 2022.3.72f1, avant de sauter à 15 dans 6.3. Parallel a produit un guide complet avec des chiffres corrects et 35 sources citées.

Comment chaque outil a abordé cela :

Claude Code a lancé 4 sous-agents parallèles, chacun gérant une partie différente de la question : dates de support, chemin de mise à niveau, changements cassants et exigences système. Rapide (3 minutes 59 secondes), mais le sous-agent des exigences système a récupéré la mauvaise page de docs.

Codex a exécuté 90 recherches web séquentielles sur 6 minutes 17 secondes. Il a récupéré le guide de mise à niveau 6.3, la page des exigences système 6.3 et la page des exigences système 2022.3 individuellement. Plus lent mais méthodique. Chaque chiffre était correct.

o3 a passé 8 minutes et 32 recherches web. Il a produit 2 132 mots de conseils généraux de migration mais a tiré les calendriers de support et les exigences système de la documentation 6.0. Il n'a mentionné aucun changement cassant spécifique à 6.3 (suppression du mode de compatibilité URP, dépréciation de Netcode 1.x, dépréciation de Relay/Lobby).

Aucun outil n'a lu les quatre guides de mise à niveau (6.0, 6.1, 6.2, 6.3) à la suite. La documentation Unity indique que les développeurs devraient les suivre dans l'ordre car chacun contient des changements cassants uniques. Chaque outil a trouvé la page la plus proéminente et en a extrait. C'est une limitation structurelle pour toute tâche de recherche qui nécessite de travailler à travers une série de documents liés plutôt que de trouver une seule réponse.

Développements dans les outils de recherche approfondie par IA

Kimi K2.5

Kimi K2.5 peut traiter du texte, des images et des vidéos, générer du code prêt pour la production et exécuter des flux de travail complexes en utilisant une architecture d'essaim d'agents.

Agent Swarm est le mécanisme de Kimi K2.5 pour gérer des tâches complexes en transformant un modèle unique en une équipe coordonnée d'agents IA. Au lieu d'exécuter une tâche séquentiellement, Kimi crée plusieurs sous-agents spécialisés, chacun assigné à un rôle spécifique tel que recherche, analyse, codage, vérification ou structuration de contenu. Ces agents opèrent en parallèle, utilisent des outils indépendamment et partagent des résultats intermédiaires, ce qui réduit considérablement le temps d'exécution pour les flux de travail à long horizon.

L'essaim décompose un objectif de haut niveau en sous-tâches, les assigne aux agents, surveille les progrès et intègre les sorties dans un résultat final cohérent. Cette approche est particulièrement utile pour la recherche approfondie, la création de documents à grande échelle, le traitement par lots et la résolution de problèmes multi-étapes, où différentes parties du travail peuvent procéder simultanément.

Kimi K2.5 Deep Research

Kimi K2.5 Deep Research prend en charge la recherche et la génération de rapports de bout en bout pour des questions complexes. Il collecte des informations de multiples sources, analyse les sujets sous plusieurs angles et synthétise les résultats en rapports visuels.

La recherche approfondie est conçue principalement pour l'analyse d'investissement, la recherche industrielle, le travail académique et la planification stratégique, où une analyse orientée décision est requise.

Figure 1 : Un exemple de recherche de Kimi K2.5 Deep Research sur les métriques ESG et les rendements d'investissement.¹

Claude pour les sciences de la vie

Claude for Life Sciences est conçu pour soutenir le travail scientifique tout au long du cycle de développement des médicaments et des dispositifs pour les organisations de biotechnologie, de produits pharmaceutiques et de recherche. Les mises à jour récentes étendent sa portée au-delà de la recherche préclinique vers les opérations d'essais cliniques et les flux de travail réglementaires, ajoutant de nouveaux connecteurs de données et compétences d'agent adaptées aux cas d'utilisation réels des sciences de la vie.

Fonctionnalités et capacités clés :

• Connecteurs scientifiques étendus : Accès à des plateformes telles que Medidata, ClinicalTrials.gov, bioRxiv/medRxiv, Open Targets, ChEMBL, ToolUniverse et Owkin, ainsi qu'aux intégrations existantes avec Benchling, PubMed, 10x Genomics, BioRender, Synapse.org et Wiley.
• Intelligence des essais cliniques : Utilisation sécurisée des données historiques d'inscription aux essais et de performance des sites pour soutenir l'analyse de faisabilité, la planification du recrutement des patients et la surveillance des essais.
• Soutien à la découverte précoce : Outils pour aider à l'identification de cibles, l'analyse de composés et les tests d'hypothèses en utilisant des bases de données scientifiques et des outils de calcul curatés.
• Flux de travail bioinformatiques : Compétences d'agent et bundles d'outils qui soutiennent les pipelines de traitement et d'analyse de données, y compris les déploiements scVI-tools et Nextflow.
• Rédaction et planification de protocoles : Une compétence de rédaction de protocole d'essai clinique qui intègre les voies réglementaires, le contexte concurrentiel, les recommandations de points de terminaison et les directives FDA pertinentes.
• Préparation réglementaire : Assistance à l'identification des lacunes dans les documents réglementaires, la rédaction de réponses aux questions des agences et la navigation dans les directives applicables.²

Gemini Deep Research intégration avec Gmail, Docs, Drive et Chat

Google a introduit une mise à jour significative de Gemini Deep Research, étendant sa capacité à accéder aux données de tout l'écosystème Google. L'outil peut maintenant se connecter à Gmail, Google Drive (y compris Docs, Slides, Sheets et PDF) et Google Chat, permettant aux utilisateurs d'inclure des sources privées et partagées directement dans leur processus de recherche.

Avec cette mise à jour, les utilisateurs peuvent :

• Construire des rapports complets en combinant des données provenant d'e-mails, de documents et de chats avec des informations web.
• Conduire une analyse concurrentielle qui intègre des plans de projet, des feuilles de calcul de comparaison et des discussions d'équipe.
• Lancer un plan de recherche multi-étapes pour un nouveau produit en analysant des matériaux de brainstorming précoces et des fils de communication connexes.

Cette fonctionnalité permet à Gemini Deep Research de soutenir à la fois les revues de littérature académique et la recherche de marché. En combinant plusieurs sources de données, les utilisateurs peuvent générer des analyses plus détaillées et découvrir des insights clés plus efficacement.³

Gemini dans Chrome : Auto browse

Google met à jour Gemini dans Chrome sur macOS, Windows et Chromebook Plus avec Gemini 3, ajoutant un panneau latéral, un support d'applications Google plus intégré et des fonctionnalités agentic telles que auto-browse :

• Navigation et actions agentic multi-étapes : La nouvelle fonctionnalité Auto Browse de Chrome utilise Gemini 3 pour agir comme un web agent capable d'exécuter de manière autonome des tâches complexes multi-étapes, telles que la recherche d'options de voyage, le remplissage de formulaires, la comparaison de produits et la navigation entre des sites web en interprétant les instructions et en interagissant avec les pages au nom de l'utilisateur.
• Disponibilité : Auto Browse est actuellement déployé en version préliminaire pour les abonnés Google AI Pro et AI Ultra aux États-Unis et nécessite Chrome sur des plateformes comme Windows, macOS ou Chromebook Plus.
• Couverture des applications connectées : La mise à jour Gemini dans Chrome prend en charge les intégrations d'applications connectées avec des services tels que Gmail, Calendar, YouTube, Maps, Google Shopping et Flights.
  • Pour les actions impliquant des étapes sensibles ou à haut risque, telles que l'achat ou la publication sur les réseaux sociaux, le système se met en pause et demande une confirmation explicite de l'utilisateur avant de procéder.⁴

Microsoft introduit Deep Research dans Azure AI Foundry Agent Service

Microsoft a lancé l'aperçu public de Deep Research dans Azure AI Foundry Agent Service, offrant la technologie de recherche agentic de OpenAI via la plateforme d'entreprise de Azure. Le service permet l'automatisation de tâches de recherche complexes, l'intégration entre les systèmes d'entreprise et la création de résultats de recherche transparents et auditable.⁵

Les fonctionnalités clés sont :

• Recherche automatisée multi-étapes : Utilise le modèle o3-deep-research pour planifier, analyser et synthétiser des données provenant du web et des systèmes d'entreprise.
• Ancrage web avec Bing Search : Garantit que les informations sont basées sur des sources vérifiées et actuelles.
• Sorties transparentes : Chaque rapport inclut des sources citées, des étapes de raisonnement et des clarifications.
• Intégration avec les outils Azure : Fonctionne avec Logic Apps, Azure Functions et d'autres connecteurs pour la reporting et l'automatisation des flux de travail.
• Flexibilité programmatique : Disponible via API et SDK, permettant aux développeurs d'intégrer des outils de recherche approfondie par IA dans des applications et des flux de travail.

Comment cela fonctionne

1. Clarification de l'intention de recherche : Le système utilise GPT-4o et GPT-4.1 pour définir la question de recherche.
2. Collecte de données : Bing Search rassemble des données web fiables pour l'ancrage.
3. Analyse des résultats : Le modèle de recherche approfondie effectue un raisonnement et une synthèse pour produire des rapports complets avec des insights clés.
4. Assurance de la conformité : Chaque résultat est traçable et auditable pour une utilisation d'entreprise.

Avantages des outils de recherche approfondie par IA

Efficacité et productivité accrues

• Revue de littérature : Les outils de recherche IA agissent comme un assistant de recherche, effectuant une recherche approfondie de littérature sur d'immenses bases de données de documents scientifiques. Ils identifient les documents pertinents et peuvent synthétiser des informations pour générer des résumés concis, réduisant considérablement le temps et l'effort nécessaires pour une revue de littérature manuelle.
• Collecte et analyse de données : Un assistant de recherche IA peut automatiser la collecte de données en extrayant de grandes bases de données et pages web. Ces outils possèdent des capacités de recherche approfondie qui leur permettent de traiter et d'analyser des ensembles de données massifs beaucoup plus rapidement que les méthodes traditionnelles. Ils peuvent identifier des modèles et des tendances qui pourraient être manqués par une revue manuelle, ce qui est crucial pour des tâches de recherche complexes comme l'analyse de marché ou la création d'un rapport de recherche approfondie.
• Automatisation des tâches répétitives : L'IA peut gérer des tâches répétitives comme la saisie de données et le formatage des citations de sources. En automatisant ces processus chronophages, les chercheurs peuvent se concentrer sur des sujets plus complexes et les aspects créatifs de leur travail.

Insights et découverte plus profonds

• Identification des lacunes de recherche : En analysant la littérature académique existante, les outils IA peuvent aider les chercheurs à identifier les lacunes dans les connaissances actuelles. C'est une étape critique pour formuler une nouvelle question de recherche ou développer un plan de recherche multi-étapes. Ces outils fournissent des insights faciles à lire dans un format structuré et bien organisé.
• Synthèse des informations : Les assistants de recherche IA peuvent synthétiser des informations de multiples sources, générant un rapport complet et mettant en évidence les découvertes clés. Cela donne aux chercheurs une vue d'ensemble sans avoir à lire chaque document en entier, ce qui économise du temps tout en fournissant toujours des insights complets.
  • Par exemple, l'outil de recherche approfondie de Claude a généré un rapport détaillé. Le rapport peut être publié en tant qu'Artifact, qui est accessible en ligne et peut être visible sur les moteurs de recherche.
• Exploration des connexions : Les outils qui visualisent les réseaux de citations peuvent aider les chercheurs à voir comment différents documents scientifiques sont interconnectés. Cela peut mener à des découvertes et une compréhension plus complète d'un domaine de recherche.

Par exemple, Grok a indexé plus de 100 pages différentes dans notre deuxième tâche. Normalement, il faut des heures à un humain pour lire et rassembler des informations de toutes ces pages, mais cela a pris ~2 minutes à Grok.

Par conséquent, ces outils peuvent accélérer le processus de recherche. Cependant, les utilisateurs doivent toujours se rappeler que ces outils peuvent halluciner et générer de mauvaises informations, alors soyez prudent lorsque vous utilisez des informations directement prises d'un LLM.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Défis et limites des outils de recherche approfondie par IA

Précision et fiabilité

La plupart des gens sont suspicieux de la précision des informations générées par LLM et les vérifient eux-mêmes car ils savent que les LLM peuvent halluciner. Le problème avec la recherche approfondie est que, puisqu'elle conduit une recherche plus complète que le chat standard et fournit des sources, les utilisateurs peuvent à tort supposer qu'elle fournit toujours des informations précises. Les LLM (même avec recherche approfondie) ont toujours tendance à halluciner, et cela peut entraîner de graves malentendus.

• Manque de contexte et de nuance : Un assistant de recherche IA peut avoir du mal à saisir le contexte complet d'une tâche de recherche, résumant potentiellement des informations sans comprendre leur signification plus profonde. Cela peut mener à des conclusions incomplètes ou incorrectes.
• Informations obsolètes : Les données d'entraînement de certains modèles IA peuvent ne pas être à jour, les amenant à manquer des développements récents dans les documents scientifiques ou d'autres littératures académiques.
• Crédibilité des sources : Les outils IA ont souvent du mal à différencier les sources autoritaires et peu fiables, traitant toutes les informations du web ouvert comme également valides. Le jugement humain est essentiel pour vérifier la crédibilité des sources pour un rapport de recherche approfondie.

Biais et préoccupations éthiques

• Biais algorithmique : Si les ensembles de données utilisés pour entraîner les modèles IA contiennent des biais sociétaux, l'IA les apprendra et les perpétuera. Cela peut entraîner des sorties qui sont biaisées contre des démographies spécifiques, impactant l'intégrité de la recherche approfondie.
• Vie privée des données : L'utilisation d'outils IA implique le traitement de grandes quantités de données, ce qui soulève des préoccupations significatives en matière de vie privée et de sécurité. Des données propriétaires ou confidentielles saisies par un chercheur pourraient être utilisées pour entraîner de futurs modèles, entraînant un risque de fuite de données.
• Propriété et droits d'auteur : Lorsqu'un outil IA synthétise des informations de multiples sources, des questions se posent concernant la propriété intellectuelle et l'attribution appropriée. Il est souvent difficile de déterminer la propriété de la sortie finale et de s'assurer que toutes les citations de sources sont correctes.

Compétence humaine et sur-reliance

• L'illusion d'expertise : Les outils IA peuvent produire un rapport poli et structuré, créant la fausse impression d'une analyse complète et experte. L'outil est un assistant de recherche, pas un remplacement pour le jugement, l'expertise et le contrôle qu'un chercheur humain fournit aux tâches de recherche complexes. Cela est particulièrement pertinent pour les décideurs confrontés à des décisions à haut risque.
• Érosion de la pensée critique : Une sur-reliance sur les outils de recherche IA peut diminuer la pensée critique et les compétences analytiques d'un chercheur. Fournir toutes les réponses peut réduire l'engagement de l'utilisateur dans les processus de recherche complexes essentiels pour les documents académiques de haute qualité.
• Courbe d'apprentissage raide : Malgré leur conception conviviale, de nombreux outils de recherche ont une légère courbe d'apprentissage, en particulier pour leurs fonctionnalités avancées. Les chercheurs peuvent devoir investir du temps pour exploiter pleinement les capacités de recherche approfondie de l'outil.

Gary Marcus a également averti que cela peut entraîner un déclin de la qualité des documents scientifiques.⁶

Méthodologie

Dans notre benchmark DR-50, nous avons évalué les outils de recherche IA en utilisant 50 questions couvrant six types de questions différents :

1. Recherche factuelle simple

Les questions à saut unique nécessitent une récupération de données simple à partir d'une seule source.

Exemple : « Quel est le prix d'entrée de 1M de tokens pour le modèle llama-3-70b de DeepInfra ? »

2. Analyse comparative

L'évaluation multi-sources nécessite la collecte de données auprès de multiples fournisseurs pour comparer des produits ou des services.

Exemple : « Quel fournisseur offre llama-3.2-1b au prix combiné le moins cher ? »

3. Raisonnement multi-sauts

Les chaînes de raisonnement séquentielles nécessitent plusieurs étapes dépendantes de récupération d'informations.

Exemple : « Quel est le prix d'entrée par 1 million de tokens sur OpenRouter pour le modèle qui s'est classé 1er dans le benchmark de raisonnement financier AIMultiple ? »

4. Basé sur le calcul

Des opérations mathématiques sont effectuées sur des données numériques récupérées.

Exemple : « Quelle est la différence de prix combiné entre les deux modèles Mistral AI les moins chers ? »

5. Extraction structurée JSON

La collecte de données nécessite un formatage strict JSON avec plusieurs valeurs structurées.

Exemple : « Quelles sont l'architecture, la mémoire, la bande passante de NVIDIA H200 SXM ? Format : {« architecture »: « … », « mémoire »: « … », « bande passante »: « … »} »

6. Liste catégorielle

Énumération complète de tous les éléments dans une catégorie spécifique.

Exemple : « Fournissez tous les serveurs MCP dans la catégorie blockchain. »

Métriques d'évaluation

Précision

Nous avons comparé chaque réponse par rapport à des réponses de vérité terrain prédéfinies en utilisant GPT-4o-mini comme juge automatisé via OpenRouter. Le score de précision final représente le pourcentage de réponses correctes sur l'ensemble des 50 requêtes.

Comptage de tokens

Nous avons utilisé la bibliothèque tiktoken pour mesurer les tokens côté client et avons croisé ces mesures avec les comptes de tokens rapportés par les API et interfaces des fournisseurs là où disponibles.

Latence

Nous avons mesuré la latence comme le temps réel de l'initiation de la requête à la réception de la réponse complète, rapporté en secondes. Nous avons croisé ces mesures avec les métriques de latence rapportées par les API et interfaces des fournisseurs là où disponibles.

Coût

Nous avons suivi les coûts manuellement via le tableau de bord de facturation de chaque fournisseur.

Citations

Nous avons automatiquement extrait les citations des métadonnées de réponse de chaque API et compté les URLs uniques citées par réponse.

Configuration technique

Nous avons exécuté le benchmark séquentiellement, chaque API complétant les 50 requêtes avant que la API suivante ne commence. Nous avons implémenté un délai de 5 secondes entre les requêtes consécutives pour éviter la limitation de débit, et nous n'avons imposé aucune limite de temps d'attente, permettant aux requêtes d'attendre indéfiniment la complétion.

Pour le benchmark DR-2T basé sur différentes tâches, chaque élément de données dans l'invite a été noté 1 point. Si la sortie n'était pas au format tableau, nous l'avons notée 0.

Invite de la Tâche 1

Recherchez et évaluez les 5 meilleures solutions de gestion des mots de passe d'entreprise selon les critères suivants pour identifier la solution la plus efficace pour le déploiement d'entreprise.

Critères

1. Fonctionnalités de sécurité

• Standard de chiffrement utilisé
• Implémentation de l'architecture à connaissance zéro
• Options MFA prises en charge
• Certifications de sécurité tierces
• Fonctionnalités de surveillance de la santé des mots de passe

2. Déploiement et intégration

• Options de déploiement
• Capacités d'intégration de répertoire
• Disponibilité et fonctionnalité API
• Intégration SSO

3. Expérience utilisateur

• Compatibilité des extensions de navigateur
• Disponibilité et notation de l'application mobile
• Capacités d'accès hors ligne
• Fonctionnalité de partage de mots de passe

4. Administration

• Options d'application de politique de mot de passe
• Automatisation de la provision/déprovision des utilisateurs
• Fonctionnalités de reporting et de conformité
• Protocoles d'accès d'urgence

5. Coût et évolutivité

• Comparez les prix en utilisant des scénarios d'entreprise standardisés (100 utilisateurs, 500 utilisateurs, 1000+ utilisateurs)

Format de livraison

1. Tableau détaillé pour chaque critère
2. Tableau de comparaison des coûts avec des scénarios standardisés

Invite pour la Tâche 2

Dans notre deuxième tâche, nous avons cherché à découvrir l'étendue de la recherche conduite. Pour ce faire, nous avons comparé le nombre de références citées. Comparer des articles n'est pas une méthode objective dans ce cas, car établir une vérité terrain définitive n'est pas faisable.

Cependant, le nombre de références peut nous donner une idée de leur capacité à fournir des informations, puisque la force de ces outils est leur capacité à indexer des centaines de pages web en quelques minutes.

Méthodologie du benchmark Agent vs Recherche approfondie

Nous avons créé 5 tâches de recherche dans différents domaines. Chaque tâche pose des questions directes avec des réponses factuelles et vérifiables. Chaque point de contrôle est noté binaire : correct ou faux.

Chaque question cible des informations publiées après les dates de coupure des données d'entraînement des modèles. Le benchmark a été exécuté la première semaine d'avril 2026.

La vérité terrain a été construite à partir de sources primaires : documentation officielle Unity 6.4, dépôt SEC 8-K d'Atlassian, communiqués de presse de Paramount, article arxiv ARC-AGI-3 et guides de mise à niveau Unity. Chaque outil a reçu des invites identiques. Toutes les invites se terminaient par « Citez toutes les sources que vous avez utilisées avec des URLs. »

Notation : correspondance de motifs automatisée pour les nombres, les dates et les noms. Juge LLM (GPT-4o) pour les points de contrôle de qualité d'explication. Un examinateur humain a validé tous les résultats.

Les modèles de recherche approfondie ont été appelés via OpenRouter API (o3, o4-mini, Sonar) et Parallel API. Les agents ont été exécutés via leurs interfaces CLI avec la recherche web activée, sans outils MCP.

Dans Claude Code, nous avons utilisé Opus 4.6, et dans Codex, nous avons utilisé GPT 5.4. Les deux en effort moyen, et le calcul des coûts est fait par l'utilisation de tokens pour les deux agents.

FAQ

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Recherche approfondie par IA: Claude vs ChatGPT vs Grok}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/ai-deep-research}},
  note   = {AIMultiple. Consulté le 22 Juin 2026}
}

Liens de référence

1.

Advancing Claude in healthcare and the life sciences \ Anthropic

2.

Google Workspace apps can now be integrated into Deep Research

Google

3.

Chrome gets new Gemini 3 features, including auto browse

Google

4.

Introducing Deep Research in Azure AI Foundry Agent Service | Microsoft Azure Blog

Microsoft Azure Blog

5.

Deep Research, Deep Bullshit, and the potential (model) collapse of science

Marcus on AI

6.

Deep Research, Deep Bullshit, and the potential (model) collapse of science

Marcus on AI

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017. AIMultiple informe chaque mois des centaines de milliers d'entreprises (selon similarWeb), dont 55 % des entreprises du classement Fortune 500. Les travaux de Cem ont été cités par des publications internationales de premier plan telles que Business Insider, Forbes et le Washington Post, ainsi que par des entreprises mondiales comme Deloitte et HPE, des ONG comme le Forum économique mondial et des organisations supranationales comme la Commission européenne. Vous trouverez d'autres entreprises et ressources réputées ayant fait référence à AIMultiple. Tout au long de sa carrière, Cem a exercé les fonctions de consultant, d'acheteur et d'entrepreneur dans le secteur des technologies. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la numérisation. Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité directe du PDG. Il a également piloté la croissance commerciale de la société de deep tech Hypatos, qui a atteint un chiffre d'affaires annuel récurrent à sept chiffres et une valorisation à neuf chiffres en seulement deux ans. Les travaux de Cem chez Hypatos ont été présentés dans des publications technologiques de référence telles que TechCrunch et Business Insider. Cem intervient régulièrement lors de conférences internationales sur les technologies. Diplômé en génie informatique de l'université de Bogazici, il est également titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire