KI Deep Research: Claude vs ChatGPT vs Grok

KI-Deep-Research bietet Nutzern eine breitere Palette an Suchergebnissen als KI-Suchmaschinen. Um die Leistung verschiedener KI-Deep-Research-Tools zu vergleichen, führen wir drei neue Benchmarks ein:

DR-50 (Deep Research 50) Bench, der die Tools anhand von 50 Fragen aus sechs Fragetypen bewertet, DR-2T (Deep Research 2 Tasks) Bench, der die Tools durch zwei praxisnahe Forschungsaufgaben mit Fokus auf Berichtsqualität, Quellenabdeckung und strukturierte Datenpräsentation testet, und Agent vs Deep Research Models, der zeigt, dass Agenten günstiger sind als Deep-Research-Modelle, während sie ein vergleichbares Genauigkeitsniveau bieten.

Agenten vs. Deep-Research-Modelle Benchmark

KI-Agenten wie Claude Code und OpenAI Codex können das Web durchsuchen, spezifische Seiten abrufen und Daten durch gezielte Tool-Aufrufe extrahieren. Wir haben getestet, ob dieser agentenbasierte Ansatz mit der Leistung speziell entwickelter Deep-Research-Modelle bei faktischen Rechercheaufgaben mithalten kann. Sechs Tools wurden in 5 Aufgaben mit 33 Ground-Truth-Checkpunkten aus den Bereichen Unternehmensereignisse, M&A, Softwaredokumentation und KI-Forschung bewertet. Siehe unsere Methodik.

Parallel Ultra und Claude Code belegten mit 97% Genauigkeit gemeinsam den Spitzenplatz. Codex folgte mit 93,9%. Perplexity Sonar erreichte 87,9%. Die OpenAI-Deep-Research-Modelle (o3 und o4-mini) erzielten Werte zwischen 75,8% und 81,8%, obwohl sie 27-125 Websuchen pro Aufgabe durchführten und das 2-6fache mehr kosteten als Sonar.

Die leistungsstärksten Tools folgen einem gemeinsamen Muster: Sie navigieren zu Primärquellen und lesen diese sorgfältig. Codex ging für Aufgabe 2 zur SEC-8-K-Meldung und für Aufgabe 3 zur SEC-Proxy-Erklärung. Claude Code rief in Aufgabe 1 direkt die Unity-Dokumentationsseiten auf. Parallel fand die spezifische Zaslav-Auszahlungszahl ($886,8 Mio.), die drei andere Tools übersahen. o3 und o4-mini suchten breit, extrahierten jedoch weniger präzise Informationen aus den gefundenen Seiten.

Claude Code und Codex befinden sich in der oberen rechten Ecke: hohe Genauigkeit bei niedrigen Kosten (jeweils $1,54 und $1,30). Parallel erreicht dieselbe Genauigkeit für $2,10. o3 kostet $10,92 für 75,8% Genauigkeit. Auf der Latenz-Registerkarte ist Claude Code mit durchschnittlich 1,7 Minuten pro Aufgabe am schnellsten. Parallel ist mit 16,7 Minuten am langsamsten, erreicht aber die höchste Genauigkeit. Sonar liegt mit 2,3 Minuten und 87,9% in einer starken mittleren Position.

Sonar produziert durchschnittlich 5.253 Wörter pro Aufgabe. Agenten erzeugen 398-483. Sonar schrieb 4.509 Wörter über die Unity-EntityId-Struktur, konnte aber nur eine ihrer fünf öffentlichen Methoden nennen. Codex schrieb 248 Wörter und nannte alle fünf. Parallel schrieb 1.037 Wörter und hatte sie korrekt. Mehr Wörter und mehr Zitationen sagten keine höhere Genauigkeit voraus.

Detaillierte Betrachtung: Migration von Unity 2022.3 auf Unity 6 (Aufgabe 5)

Aufgabe 5 ist die komplexeste Aufgabe im Benchmark. Sie forderte jedes Tool auf, einen Übergangsleitfaden von Unity 2022.3 LTS zu Unity 6.3 LTS zu erstellen. Der Prompt gab genaue Versionsnummern vor: 2022.3.62f3, 2022.3.74f1 und 6000.3.12f1. Eine korrekte Antwort erfordert das Lesen der Unity-6.3-Systemanforderungsseite, der Support-Lebenszyklus-Seite und vier separater Upgrade-Leitfäden (6.0, 6.1, 6.2, 6.3).

Drei von sechs Tools gaben Systemanforderungen für Unity 6.0 anstelle von Unity 6.3 zurück.

o3, o4-mini und Claude Code bezogen sich alle auf die Unity-6.0-Dokumentationsseite anstatt auf die 6.3-Seite, obwohl der Prompt „Unity 6.3“ und die Build-Nummer „6000.3.12f1“ spezifizierte.

Ein Team, das o3s Leitfaden folgen würde, würde Android API 23 (Android 6.0) anvisieren. Unity 6.3 erfordert jedoch API 25 (Android 7.1). Der Build würde fehlschlagen oder eine nicht unterstützte Plattform anvisieren. Der Leitfaden selbst sieht professionell aus: saubere Tabellen, vernünftige Struktur, korrekter Ton. Aber die Zahlen sind falsch.

Codex und Parallel haben jede Zahl korrekt. Codex navigierte direkt zur 6.3-Systemanforderungsseite und verglich sie Zeile für Zeile mit der 2022.3-Seite. Es stellte sogar fest, dass sich das iOS-Minimum von 12 auf 13 innerhalb der 2022.3-Linie bei Build 2022.3.72f1 verschob, bevor es in 6.3 auf 15 sprang. Parallel erstellte einen umfassenden Leitfaden mit korrekten Zahlen und 35 zitierten Quellen.

Wie jedes Tool die Aufgabe anging:

Claude Code erzeugte 4 parallele Sub-Agenten, die jeweils einen anderen Teil der Frage bearbeiteten: Support-Daten, Upgrade-Pfad, Breaking Changes und Systemanforderungen. Schnell (3 Minuten 59 Sekunden), aber der Sub-Agent für Systemanforderungen rief die falsche Dokumentationsseite ab.

Codex führte 90 sequenzielle Websuchen in 6 Minuten 17 Sekunden durch. Es rief den 6.3-Upgrade-Leitfaden, die 6.3-Systemanforderungsseite und die 2022.3-Systemanforderungsseite einzeln ab. Langsamer, aber methodisch. Jede Zahl war korrekt.

o3 benötigte 8 Minuten und 32 Websuchen. Es produzierte 2.132 Wörter allgemeiner Migrationsratschläge, entnahm aber Support-Zeitpläne und Systemanforderungen aus der 6.0-Dokumentation. Es erwähnte keine 6.3-spezifischen Breaking Changes (Entfernung des URP-Kompatibilitätsmodus, Netcode-1.x-Abkündigung, Relay/Lobby-Abkündigung).

Kein Tool las alle vier Upgrade-Leitfäden (6.0, 6.1, 6.2, 6.3) nacheinander. Die Dokumentation von Unity besagt, dass Entwickler sie der Reihe nach befolgen sollten, da jeder einzigartige Breaking Changes enthält. Jedes Tool fand die prominenteste Seite und extrahierte daraus. Dies ist eine strukturelle Einschränkung für jede Rechercheaufgabe, die das Durcharbeiten einer Reihe zusammenhängender Dokumente anstelle einer einzelnen Antwort erfordert.

DR-50 Bench Ergebnisse

Vergleich von Genauigkeit und Latenz

Wir haben KI-Deep-Research-Tools anhand von 50 Fragen mit 6 verschiedenen Fragetypen getestet. Siehe unsere Benchmark-Methodik.

Perplexity Sonar Deep Research zeigt die höchste Genauigkeit von 34% bei moderater Latenz. Parallel Ultra und o4 mini Deep Research weisen eine ähnliche Genauigkeit um 22-24% auf, wobei Parallel Ultra deutlich mehr Zeit benötigt. o3-deep-research zeigt die geringste Genauigkeit bei längerer Latenz.

Kosten und Latenz bei der einzigen erfolgreichen Aufgabe

Wir haben Kosten und Latenz bei einer einzigen Frage gemessen, bei der alle Tools erfolgreich waren. o4 mini Deep Research und Perplexity Ultra befinden sich im effizienten Bereich mit niedrigen Kosten und kürzeren Fertigstellungszeiten. o3 Deep Research arbeitet zu höheren Kosten mit längerer Latenz. Parallel zeigt die längste Latenz, obwohl die Kosten moderat sind.

Zitationen

Die Anzahl der Zitationen variiert unabhängig von Kosten und Latenz. o4 mini Deep Research liefert deutlich mehr Zitationen bei gleichzeitiger Effizienz, was auf unterschiedliche Ansätze bei der Quellenangabe und Referenzierung hindeutet. Die minimalen Zitationen bei o3 Deep Research trotz seiner Premium-Kosten zeigen, dass die Zitationsanzahl nicht an den Ressourcenverbrauch gekoppelt ist.

DR-2T Bench Ergebnisse

Wir haben außerdem einen zweiten Benchmark mit den Top-7-KI-Deep-Research-Tools mit zwei Aufgaben durchgeführt und sie in fünf Dimensionen bewertet.

Wir bewerteten sie anhand der Genauigkeit und der Anzahl der Quellen. In der Methodik sehen Sie, wie wir diese Lösungen evaluiert haben.

Gemini führt bei der Genauigkeit der bereitgestellten Daten:

Claude ist führend bei der Anzahl der indexierten Quellen:

Aufgabe 1:

Wir forderten sie auf, Tabellen zu Enterprise-Passwortmanagement-Software gemäß unserem Prompt zu erstellen. Siehe den vollständigen Prompt.

Nahezu alle Tools lieferten detaillierte Tabellen mit den angeforderten Informationen, allerdings variierten ihre Ansätze zur Datenpräsentation erheblich.

Für die umfassende Berichterstellung:

• Gemini und Claude erwiesen sich als die führenden Lösungen und lieferten umfangreiche analytische Berichte mit synthetisierten Erkenntnissen und kontextueller Analyse.
• Im Gegensatz dazu konzentrierte sich Bright Data Deep Lookup* hauptsächlich auf Datenextraktion und lieferte strukturierte Tabellen mit begrenztem narrativem Inhalt.

Forscher sollten die Tools basierend auf ihren spezifischen Forschungsanforderungen auswählen. Wer umfassende Analysen und berichtsfokussierte Lösungen benötigt, für den sind Gemini und Claude am geeignetsten, da diese Tools stärker darauf ausgerichtet sind, Informationen in detaillierte Berichte zu synthetisieren.

Forscher, die dagegen Wert auf Rohdatensammlung legen und umfangreiche Websuchen benötigen, werden mehr von Bright Data profitieren, das eine breite Abdeckung von Webdaten mit Konfidenzniveaus und detaillierten Erläuterungen zur Quellenrelevanz und -zuverlässigkeit bietet.

Dieser datenzentrierte Ansatz macht Bright Data wertvoll für systematische Übersichtsarbeiten, die eine umfangreiche Quellenverifizierung erfordern.

Kimi verwendet eine besondere Methodik für die Berichterstellung und produziert einen interaktiven Bericht, der Zusammenfassungen, gezielte „Best for“-Abschnitte und strategische Empfehlungen enthält.

Der Bericht enthält integrierte Datenvisualisierungen und Quellenangaben und stellt somit ein komplettes, sofort einsetzbares Ergebnis dar.

Hinweis: Perplexity lieferte einen detaillierten Bericht, erstellte jedoch keine Tabelle mit den gesammelten Informationen. Da unser Prompt explizit Tabellenausgaben forderte, erhielt es für diese Aufgabe null Punkte.

*Wir werden Bright Data Deep Lookup aktualisieren, sobald das Produkt die Beta-Phase verlässt.

Aufgabe 2:

Das Ziel dieser Aufgabe ist es, ihre Geschwindigkeit und Abdeckung bei der Recherche zu bewerten. Wir forderten einen detaillierten Bericht zur RPA-Einführung, um die Anzahl der indexierten Seiten und die benötigte Zeit für die Berichterstellung zu ermitteln.

Natürlich muss die Anzahl der Quellen nicht mit der Qualität der Recherche korrelieren. Da diese Tools jedoch darauf ausgelegt sind, Recherchen zu beschleunigen, hielten wir sie für eine wichtige Metrik.

Wir sollten auch anmerken, dass die Suchzeiten zwischen diesen Tools erheblich variieren. Grok Deep Search ist ungefähr 10-mal schneller als ChatGPT Deep Research und durchsucht etwa dreimal mehr Webseiten.

Claude Deep Search ist ebenfalls sehr reaktionsschnell und recherchierte 261 Quellen in über 6 Minuten. Gemini ist jedoch möglicherweise keine ideale Wahl für diejenigen, die eine schnelle und reaktionsfähige Lösung suchen, da es 62 Quellen in über 15 Minuten recherchierte.

Entwicklungen bei KI-Deep-Research-Tools

Kimi K2.5

Kimi K2.5 kann Text, Bilder und Videos verarbeiten, produktionsreifen Code generieren und komplexe Workflows mit einer Agenten-Schwarm-Architektur ausführen.

Agent Swarm ist der Mechanismus von Kimi K2.5, um komplexe Aufgaben zu bewältigen, indem ein einzelnes Modell in ein koordiniertes Team von KI-Agenten verwandelt wird. Anstatt eine Aufgabe sequenziell auszuführen, erstellt Kimi mehrere spezialisierte Sub-Agenten, denen jeweils eine spezifische Rolle wie Forschung, Analyse, Codierung, Verifizierung oder Inhaltsstrukturierung zugewiesen wird. Diese Agenten arbeiten parallel, nutzen Tools unabhängig voneinander und teilen Zwischenergebnisse, was die Ausführungszeit für langfristige Workflows erheblich reduziert.

Der Schwarm zerlegt ein übergeordnetes Ziel in Teilaufgaben, weist sie den Agenten zu, überwacht den Fortschritt und integriert die Ergebnisse zu einem kohärenten Endergebnis. Dieser Ansatz ist besonders nützlich für Deep Research, umfangreiche Dokumentenerstellung, Batch-Verarbeitung und mehrstufige Problemlösung, bei der verschiedene Teile der Arbeit gleichzeitig ablaufen können.

Kimi K2.5 Deep Research

Kimi K2.5 Deep Research unterstützt durchgängige Recherche und Berichterstellung für komplexe Fragestellungen. Es sammelt Informationen aus mehreren Quellen, analysiert Themen aus verschiedenen Perspektiven und synthetisiert die Ergebnisse in visuellen Berichten.

Das Deep Research ist hauptsächlich für Investmentanalyse, Branchenforschung, akademische Arbeiten und strategische Planung konzipiert, wo entscheidungsorientierte Analysen erforderlich sind.

Abbildung 1: Eine Beispielrecherche von Kimi K2.5 Deep Research zu ESG-Metriken und Anlagerenditen.

Claude für Biowissenschaften

Claude für Biowissenschaften wurde entwickelt, um wissenschaftliche Arbeit entlang des gesamten Lebenszyklus der Arzneimittel- und Geräteentwicklung für Biotechnologie-, Pharma- und Forschungsorganisationen zu unterstützen. Jüngste Updates erweitern den Anwendungsbereich über die präklinische Forschung hinaus auf den Betrieb klinischer Studien und regulatorische Arbeitsabläufe und fügen neue Daten-Connectors und Agentenfähigkeiten hinzu, die auf reale Anwendungsfälle in den Biowissenschaften zugeschnitten sind.

Wichtige Funktionen und Fähigkeiten:

• Erweiterte wissenschaftliche Connectors: Zugriff auf Plattformen wie Medidata, ClinicalTrials.gov, bioRxiv/medRxiv, Open Targets, ChEMBL, ToolUniverse und Owkin sowie bestehende Integrationen mit Benchling, PubMed, 10x Genomics, BioRender, Synapse.org und Wiley.
• Klinische Studien-Intelligence: Sicherer Zugriff auf historische Studiendaten zur Patientenrekrutierung und Standortleistung, um Machbarkeitsanalysen, Rekrutierungsplanung und Studienüberwachung zu unterstützen.
• Unterstützung früher Entdeckungen: Werkzeuge zur Unterstützung bei der Zielidentifizierung, Compound-Analyse und Hypothesentests unter Verwendung kuratierter wissenschaftlicher Datenbanken und Rechenwerkzeuge.
• Bioinformatik-Workflows: Agentenfähigkeiten und Tool-Bundles, die Datenverarbeitung und Analyse-Pipelines unterstützen, einschließlich scVI-tools und Nextflow-Bereitstellungen.
• Protokollentwurf und Planung: Eine Fähigkeit zum Entwerfen klinischer Studienprotokolle, die regulatorische Pfade, Wettbewerbskontext, Endpunktempfehlungen und relevante FDA-Leitlinien einbezieht.
• Regulatorische Vorbereitung: Unterstützung bei der Identifizierung von Lücken in regulatorischen Dokumenten, der Formulierung von Antworten auf Behördenfragen und der Navigation durch anwendbare Richtlinien.¹

Gemini Deep Research Integration mit Gmail, Docs, Drive und Chat

Google hat ein bedeutendes Update für Gemini Deep Research eingeführt, das die Fähigkeit erweitert, auf Daten aus dem gesamten Google-Ökosystem zuzugreifen. Das Tool kann nun eine Verbindung zu Gmail, Google Drive (einschließlich Docs, Slides, Sheets und PDFs) und Google Chat herstellen, sodass Nutzer private und geteilte Quellen direkt in ihren Rechercheprozess einbeziehen können.

Mit diesem Update können Nutzer:

• Umfassende Berichte erstellen, indem sie Daten aus E-Mails, Dokumenten und Chats mit Webinformationen kombinieren.
• Eine Wettbewerbsanalyse durchführen, die Projektpläne, Vergleichstabellen und Teamdiskussionen integriert.
• Einen mehrstufigen Rechercheplan für ein neues Produkt starten, indem sie frühe Brainstorming-Materialien und zugehörige Kommunikationsfäden analysieren.

Diese Funktion ermöglicht es Gemini Deep Research, sowohl akademische Literaturrecherchen als auch Marktforschung zu unterstützen. Durch die Kombination mehrerer Datenquellen können Nutzer detailliertere Analysen erstellen und wichtige Erkenntnisse effizienter gewinnen.²

Gemini in Chrome: Automatisch Browse

Google aktualisiert Gemini in Chrome unter macOS, Windows und Chromebook Plus mit Gemini 3, einem Seitenpanel, umfassenderer Unterstützung für Google-Apps und agentenbasierten Funktionen wie Automatisch-Browse:

• Agentenbasiertes, mehrstufiges Browsen und Aktionen: Die neue Automatisch-Browse-Funktion von Chrome nutzt Gemini 3 als Web-Agenten, der komplexe, mehrstufige Aufgaben autonom ausführen kann, wie z. B. die Recherche von Reiseoptionen, das Ausfüllen von Formularen, den Vergleich von Produkten und das Navigieren zwischen Websites, indem er Anweisungen interpretiert und im Namen des Nutzers mit Seiten interagiert.
• Verfügbarkeit: Automatisch Browse wird derzeit in der Vorschau für Google KI Pro- und KI Ultra-Abonnenten in den USA eingeführt und erfordert Chrome auf Plattformen wie Windows, macOS oder Chromebook Plus.
• Umfang der verbundenen Apps: Das aktualisierte Gemini in Chrome unterstützt Connected Apps-Integrationen mit Diensten wie Gmail, Kalender, YouTube, Maps, Google Shopping und Flights.
  • Bei Aktionen, die sensible oder risikoreiche Schritte umfassen, wie z. B. der Abschluss eines Kaufs oder das Posten in sozialen Medien, pausiert das System und fordert eine ausdrückliche Nutzerbestätigung an, bevor es fortfährt.³

Microsoft führt Deep Research im Azure KI Foundry Agent Service ein

Microsoft hat die öffentliche Vorschau von Deep Research im Azure KI Foundry Agent Service gestartet und bietet damit die agentenbasierte Forschungstechnologie von OpenAI über die Unternehmensplattform von Azure. Der Service ermöglicht die Automatisierung komplexer Forschungsaufgaben, die Integration über Geschäftssysteme hinweg und die Erstellung transparenter, überprüfbarer Forschungsergebnisse.⁴

Wichtige Funktionen sind:

• Automatisierte mehrstufige Recherche: Verwendet das o3-deep-research-Modell, um Daten aus dem Web und Unternehmenssystemen zu planen, zu analysieren und zu synthetisieren.
• Web-Grounding mit Bing Search: Stellt sicher, dass Informationen auf verifizierten, aktuellen Quellen basieren.
• Transparente Ergebnisse: Jeder Bericht enthält zitierte Quellen, Argumentationsschritte und Klarstellungen.
• Integration mit Azure-Tools: Funktioniert mit Logic Apps, Azure Functions und anderen Konnektoren für Berichterstellung und Workflow-Automatisierung.
• Programmatische Flexibilität: Verfügbar über API und SDK, sodass Entwickler KI-Deep-Research-Tools in Apps und Workflows einbetten können.

Funktionsweise

1. Klärung der Forschungsabsicht: Das System verwendet GPT-4o und GPT-4.1, um die Forschungsfrage zu definieren.
2. Datenerfassung: Bing Search sammelt zuverlässige Webdaten für das Grounding.
3. Ergebnisanalyse: Das Deep-Research-Modell führt Argumentation und Synthese durch, um umfassende Berichte mit wichtigen Erkenntnissen zu erstellen.
4. Compliance-Sicherstellung: Jedes Ergebnis ist nachvollziehbar und überprüfbar für den Unternehmenseinsatz.

Vorteile von KI-Deep-Research-Tools

Verbesserte Effizienz und Produktivität

• Literaturrecherchen: KI-Recherchetools fungieren als Forschungsassistent und führen umfangreiche Literaturrecherchen in riesigen Datenbanken wissenschaftlicher Arbeiten durch. Sie identifizieren relevante Arbeiten und können Informationen synthetisieren, um prägnante Zusammenfassungen zu erstellen, was den Zeit- und Arbeitsaufwand für eine manuelle Literaturrecherche erheblich reduziert.
• Datenerfassung und -analyse: Ein KI-Forschungsassistent kann die Datenerfassung automatisieren, indem er große Datenbanken und Webseiten durchsucht. Diese Tools verfügen über umfassende Recherchefähigkeiten, die es ihnen ermöglichen, riesige Datensätze weitaus schneller zu verarbeiten und zu analysieren als herkömmliche Methoden. Sie können Muster und Trends erkennen, die bei einer manuellen Überprüfung übersehen werden könnten, was für komplexe Forschungsaufgaben wie Marktanalysen oder die Erstellung eines detaillierten Forschungsberichts entscheidend ist.
• Automatisierung wiederkehrender Aufgaben: KI kann sich wiederholende Aufgaben wie Dateneingabe und Formatierung von Quellenangaben übernehmen. Durch die Automatisierung dieser zeitaufwändigen Prozesse können sich Forscher auf komplexere Themen und die kreativen Aspekte ihrer Arbeit konzentrieren.

Tiefergehende Erkenntnisse und Entdeckungen

• Identifizierung von Forschungslücken: Durch die Analyse bestehender wissenschaftlicher Literatur können KI-Tools Forschern helfen, Lücken im aktuellen Wissensstand zu identifizieren. Dies ist ein entscheidender Schritt für die Formulierung einer neuen Forschungsfrage oder die Entwicklung eines mehrstufigen Forschungsplans. Diese Tools liefern leicht verständliche Erkenntnisse in einem strukturierten, übersichtlichen Format.
• Informationssynthese: KI-Forschungsassistenten können Informationen aus mehreren Quellen synthetisieren, einen umfassenden Bericht erstellen und die wichtigsten Ergebnisse hervorheben. Dies gibt Forschern einen breiten Überblick, ohne dass sie jedes einzelne Paper vollständig lesen müssen, was Zeit spart und dennoch umfassende Einblicke bietet.
  • Zum Beispiel erstellte das Deep-Research-Tool von Claude einen detaillierten Bericht. Der Bericht kann als Artifact veröffentlicht werden, das online zugänglich ist und in Suchmaschinen sichtbar sein kann.
• Erkundung von Verbindungen: Tools, die Zitationsnetzwerke visualisieren, können Forschern helfen zu erkennen, wie verschiedene wissenschaftliche Arbeiten miteinander verbunden sind. Dies kann zu Entdeckungen und einem umfassenderen Verständnis eines Forschungsfeldes führen.

Zum Beispiel indexierte Grok in unserer zweiten Aufgabe mehr als 100 verschiedene Seiten. Normalerweise würde ein Mensch Stunden brauchen, um all diese Seiten zu lesen und Informationen zu sammeln, aber Grok benötigte dafür etwa 2 Minuten.

Daher können diese Tools den Rechercheprozess beschleunigen. Nutzer sollten jedoch immer bedenken, dass diese Tools halluzinieren und falsche Informationen generieren können. Seien Sie daher vorsichtig, wenn Sie Informationen direkt von einem LLM übernehmen.

Herausforderungen und Einschränkungen von KI-Deep-Research-Tools

Genauigkeit und Zuverlässigkeit

Die meisten Menschen sind misstrauisch gegenüber der Genauigkeit von LLM-generierten Informationen und überprüfen sie selbst, weil sie wissen, dass LLMs halluzinieren können. Das Problem bei Deep Research ist, dass Nutzer aufgrund der umfassenderen Recherche im Vergleich zum Standard-Chat und der Angabe von Quellen fälschlicherweise annehmen könnten, dass es stets korrekte Informationen liefert. LLMs (auch mit Deep Research) neigen immer noch zu Halluzinationen, und dies kann zu schwerwiegenden Missverständnissen führen.

• Mangel an Kontext und Nuancen: Ein KI-Forschungsassistent kann Schwierigkeiten haben, den vollen Kontext einer Forschungsaufgabe zu erfassen, und möglicherweise Informationen zusammenfassen, ohne deren tiefere Bedeutung zu verstehen. Dies kann zu unvollständigen oder falschen Schlussfolgerungen führen.
• Veraltete Informationen: Die Trainingsdaten einiger KI-Modelle sind möglicherweise nicht aktuell, sodass sie jüngste Entwicklungen in wissenschaftlichen Arbeiten oder anderer akademischer Literatur verpassen.
• Glaubwürdigkeit der Quellen: KI-Tools haben oft Schwierigkeiten, zwischen autoritativen und unzuverlässigen Quellen zu unterscheiden, und behandeln alle Informationen aus dem offenen Web als gleichwertig. Menschliches Urteilsvermögen ist unerlässlich, um die Glaubwürdigkeit der Quellen für einen fundierten Forschungsbericht zu prüfen.

Verzerrungen und ethische Bedenken

• Algorithmische Verzerrung: Wenn die Datensätze, die zum Trainieren von KI-Modellen verwendet werden, gesellschaftliche Vorurteile enthalten, wird die KI diese lernen und verstärken. Dies kann zu Ergebnissen führen, die verzerrt gegenüber bestimmten Bevölkerungsgruppen sind und die Integrität der umfassenden Recherche beeinträchtigen.
• Datenschutz: Der Einsatz von KI-Tools beinhaltet die Verarbeitung großer Datenmengen, was erhebliche Datenschutz- und Sicherheitsbedenken aufwirft. Proprietäre oder vertrauliche Daten, die von einem Forscher eingegeben werden, könnten zum Training zukünftiger Modelle verwendet werden, was das Risiko von Datenlecks birgt.
• Eigentum und Urheberrecht: Wenn ein KI-Tool Informationen aus mehreren Quellen synthetisiert, stellen sich Fragen zum geistigen Eigentum und zur korrekten Zuschreibung. Es ist oft schwierig, das Eigentum an der endgültigen Ausgabe zu bestimmen und sicherzustellen, dass alle Quellenangaben korrekt sind.

Menschliche Fähigkeiten und übermäßige Abhängigkeit

• Die Illusion von Expertise: KI-Tools können einen ausgefeilten, strukturierten Bericht erstellen und so den falschen Eindruck einer umfassenden Expertenanalyse erwecken. Das Tool ist ein Forschungsassistent, kein Ersatz für das Urteilsvermögen, die Expertise und die Überprüfung, die ein menschlicher Forscher in komplexe Forschungsaufgaben einbringt. Dies ist besonders relevant für Entscheidungsträger, die vor folgenreichen Entscheidungen stehen.
• Erosion des kritischen Denkens: Eine übermäßige Abhängigkeit von KI-Recherchetools kann die kritischen Denk- und Analysefähigkeiten eines Forschers beeinträchtigen. Wenn alle Antworten bereitgestellt werden, kann dies das Engagement des Nutzers in den komplexen Forschungsprozessen verringern, die für qualitativ hochwertige wissenschaftliche Arbeiten unerlässlich sind.
• Steile Lernkurve: Trotz ihres benutzerfreundlichen Designs haben viele Recherchetools eine leichte Lernkurve, insbesondere bei ihren erweiterten Funktionen. Forscher müssen möglicherweise Zeit investieren, um die umfassenden Recherchefähigkeiten des Tools voll auszuschöpfen.

Gary Marcus warnte auch, dass dies zu einem Qualitätsverlust wissenschaftlicher Arbeiten führen kann.⁵

Entdecken Sie weitere unserer Benchmarks und datengestützten Erkenntnisse in der Google-Suche.

Als bevorzugte Quelle hinzufügen

Methodik

In unserem DR-50 Benchmark haben wir KI-Recherchetools anhand von 50 Fragen aus sechs verschiedenen Fragetypen bewertet:

1. Einfache faktenbasierte Suche

Single-Hop-Fragen erfordern eine unkomplizierte Datenabfrage aus einer einzigen Quelle.

Beispiel: „Was ist der 1M Token-Eingabepreis für DeepInfras llama-3-70b-Modell?“

2. Vergleichende Analyse

Die quellenübergreifende Bewertung erfordert die Datenerfassung von mehreren Anbietern, um Produkte oder Dienstleistungen zu vergleichen.

Beispiel: „Welcher Anbieter bietet llama-3.2-1b zum günstigsten Mischpreis an?“

3. Multi-Hop-Argumentation

Sequentielle Argumentationsketten erfordern mehrere voneinander abhängige Schritte der Informationsbeschaffung.

Beispiel: „Wie hoch ist der Eingabepreis pro 1 Million Token auf OpenRouter für das Modell, das im AIMultiple Finance Reasoning Benchmark den 1. Platz belegte?“

4. Berechnungsbasiert

Mathematische Operationen werden mit abgerufenen numerischen Daten durchgeführt.

Beispiel: „Wie groß ist der Unterschied im Mischpreis zwischen den beiden günstigsten Mistral KI-Modellen?“

5. Strukturierte JSON-Extraktion

Die Datenerfassung erfordert eine strikte JSON-Formatierung mit mehreren strukturierten Werten.

Beispiel: „Welche Architektur, welcher Speicher, welche Bandbreite hat NVIDIA H200 SXM? Format: {“architecture”: “…”, “memory”: “…”, “bandwidth”: “…”}“

6. Kategoriale Auflistung

Vollständige Aufzählung aller Elemente innerhalb einer bestimmten Kategorie.

Beispiel: „Nennen Sie alle MCP-Server in der Blockchain-Kategorie.“

Bewertungsmetriken

Genauigkeit

Wir verglichen jede Antwort mit vordefinierten Ground-Truth-Antworten unter Verwendung von GPT-4o-mini als automatisiertem Bewerter über OpenRouter. Die endgültige Genauigkeitsbewertung stellt den Prozentsatz korrekter Antworten über alle 50 Abfragen dar.

Token-Zählung

Wir verwendeten die tiktoken-Bibliothek, um Token clientseitig zu messen, und validierten diese Messungen mit den von Anbieter-APIs und UIs gemeldeten Token-Zählungen, sofern verfügbar.

Latenz

Wir maßen die Latenz als tatsächliche Zeit von der Anfrage bis zum Erhalt der vollständigen Antwort, angegeben in Sekunden. Wir verglichen diese Messungen mit den von Anbieter-APIs und UIs gemeldeten Latenzwerten, sofern verfügbar.

Kosten

Wir verfolgten die Kosten manuell über die Abrechnungs-Dashboards der einzelnen Anbieter.

Zitationen

Wir extrahierten automatisch Zitationen aus den Antwortmetadaten jeder API und zählten die pro Antwort zitierten eindeutigen URLs.

Technischer Aufbau

Wir führten den Benchmark sequenziell durch, wobei jede API alle 50 Abfragen abschloss, bevor die nächste API startete. Wir fügten eine Verzögerung von 5 Sekunden zwischen aufeinanderfolgenden Abfragen ein, um Ratenbegrenzungen zu vermeiden, und setzten keine Zeitlimits, sodass Anfragen unbegrenzt auf ihre Fertigstellung warten konnten.

Für den DR-2T Benchmark, der auf unterschiedlichen Aufgaben basierte, wurde jedes Datenelement im Prompt mit 1 Punkt bewertet. Wenn die Ausgabe nicht im Tabellenformat vorlag, bewerteten wir sie mit 0.

Prompt von Aufgabe 1

Recherchieren und bewerten Sie die 5 führenden Enterprise-Passwortmanagement-Lösungen anhand der folgenden Kriterien, um die effektivste Lösung für den Unternehmenseinsatz zu identifizieren.

Kriterien

1. Sicherheitsmerkmale

• Verwendeter Verschlüsselungsstandard 
• Implementierung der Zero-Knowledge-Architektur
• Unterstützte MFA-Optionen
• Sicherheitszertifizierungen durch Dritte
• Funktionen zur Überwachung der Passwortqualität

2. Bereitstellung & Integration

• Bereitstellungsoptionen
• Verzeichnisintegrationsfähigkeiten
• API-Verfügbarkeit und -Funktionalität
• SSO-Integration

3. Benutzererfahrung

• Kompatibilität mit Browsererweiterungen
• Verfügbarkeit und Bewertung der mobilen App
• Offline-Zugriffsmöglichkeiten
• Funktion zum Teilen von Passwörtern

4. Administration

• Optionen zur Durchsetzung von Passwortrichtlinien
• Automatisierung der Benutzerbereitstellung/-entfernung
• Berichts- und Compliance-Funktionen
• Protokolle für den Notfallzugriff

5. Kosten & Skalierbarkeit

• Vergleichen Sie die Preisgestaltung anhand standardisierter Unternehmensszenarien (100 Benutzer, 500 Benutzer, 1000+ Benutzer)

Lieferformat

1. Detaillierte Tabelle für jedes Kriterium
2. Kostenvergleichstabelle mit standardisierten Szenarien

Prompt für Aufgabe 2

In unserer zweiten Aufgabe wollten wir den Umfang der durchgeführten Recherche ermitteln. Dazu verglichen wir die Anzahl der zitierten Referenzen. Der Vergleich von Artikeln ist in diesem Fall keine objektive Methode, da die Festlegung einer definitiven Ground Truth nicht machbar ist.

Die Anzahl der Referenzen kann uns jedoch einen Eindruck von ihrer Fähigkeit zur Informationsbereitstellung vermitteln, da die Stärke dieser Tools darin besteht, Hunderte von Webseiten in Minuten zu indexieren.

Methodik des Agent vs Deep Research Benchmarks

Wir erstellten 5 Rechercheaufgaben aus verschiedenen Bereichen. Jede Aufgabe stellt direkte Fragen mit faktischen, überprüfbaren Antworten. Jeder Checkpoint wird binär bewertet: richtig oder falsch.

Jede Frage zielt auf Informationen ab, die nach dem Stichtag der Trainingsdaten der Modelle veröffentlicht wurden. Der Benchmark wurde in der ersten Aprilwoche 2026 durchgeführt.

Die Ground Truth wurde aus Primärquellen erstellt: offizielle Unity-6.4-Dokumentation, Atlassian-SEC-8-K-Meldung, Paramount-Pressemitteilungen, das ARC-AGI-3-arxiv-Paper und die Unity-Upgrade-Leitfäden. Alle Tools erhielten identische Prompts. Alle Prompts endeten mit „Zitieren Sie alle verwendeten Quellen mit URLs.“

Bewertung: automatisierter Musterabgleich für Zahlen, Daten und Namen. LLM-Richter (GPT-4o) für erklärungsqualitätsbezogene Checkpoints. Ein menschlicher Prüfer validierte alle Ergebnisse.

Deep-Research-Modelle wurden über die OpenRouter-API (o3, o4-mini, Sonar) und die Parallel-API aufgerufen. Agenten wurden über ihre CLI-Schnittstellen mit aktivierter Websuche ausgeführt, keine MCP-Tools.

In Claude Code verwendeten wir Opus 4.6, und in Codex verwendeten wir GPT 5.4. Beide mit mittlerem Aufwand, und die Kostenberechnung erfolgte anhand des Token-Verbrauchs für beide Agenten.

FAQs

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{KI Deep Research: Claude vs ChatGPT vs Grok}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/ai-deep-research}},
  note   = {AIMultiple. Abgerufen am 22. Juni 2026}
}

Referenzlinks

1.

Advancing Claude in healthcare and the life sciences \ Anthropic

2.

Google Workspace apps can now be integrated into Deep Research

Google

3.

Chrome gets new Gemini 3 features, including auto browse

Google

4.

Introducing Deep Research in Azure AI Foundry Agent Service | Microsoft Azure Blog

Microsoft Azure Blog

5.

Deep Research, Deep Bullshit, and the potential (model) collapse of science

Marcus on AI

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 55 % der Fortune 500. Cems Arbeit wurde von führenden globalen Publikationen wie Business Insider, Forbes und der Washington Post, von globalen Unternehmen wie Deloitte und HPE sowie von NGOs wie dem Weltwirtschaftsforum und supranationalen Organisationen wie der Europäischen Kommission zitiert. Weitere namhafte Unternehmen und Ressourcen, die AIMultiple referenziert haben, finden Sie hier. Im Laufe seiner Karriere war Cem als Technologieberater, Technologieeinkäufer und Technologieunternehmer tätig. Über ein Jahrzehnt lang beriet er Unternehmen bei McKinsey & Company und Altman Solon in ihren Technologieentscheidungen. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung. Bei einem Telekommunikationsunternehmen leitete er die Technologiestrategie und -beschaffung und berichtete direkt an den CEO. Darüber hinaus verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von null auf einen siebenstelligen jährlichen wiederkehrenden Umsatz und eine neunstellige Unternehmensbewertung kam. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider gewürdigt. Er ist ein gefragter Redner auf internationalen Technologiekonferenzen. Cem absolvierte sein Studium der Informatik an der Bogazici-Universität und besitzt einen MBA der Columbia Business School.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten