KI-Tiefenrecherche: Claude vs ChatGPT vs Grok

KI-Tiefenrecherche bietet Nutzern eine breitere Palette von Suchergebnissen als KI-Suchmaschinen. Um die Leistung verschiedener KI-Tiefenrecherche-Tools zu sehen, stellen wir drei neue Benchmarks vor:

DR-50 (Deep Research 50) Bench, das Tools anhand von 50 Fragen bewertet, die sechs Fragetypen abdecken, DR-2T (Deep Research 2 Task) Bench, das Tools durch zwei reale Forschungsaufgaben bewertet, die sich auf die Qualität der Berichterstellung, die Quellenabdeckung und die Darstellung strukturierter Daten konzentrieren, und Agent vs Deep Research Models, zeigt, dass Agenten günstiger sind als Deep-Research-Modelle und gleichzeitig vergleichbare Genauigkeitsniveaus bieten.

Ergebnisse des DR-50 Bench

Vergleich von Genauigkeit und Latenz

Wir haben KI-Tiefenrecherche-Tools anhand von 50 Fragen mit 6 verschiedenen Fragetypen getestet. Sehen Sie sich unsere Benchmark-Methodik an.

Perplexity Sonar Deep Research zeigt mit 34 % die höchste Genauigkeit bei moderater Latenz. Parallel Ultra und o4 mini deep research weisen ähnliche Genauigkeitsniveaus von etwa 22–24 % auf, obwohl Parallel Ultra deutlich mehr Zeit benötigt. o3-deep-research weist die niedrigste Genauigkeit bei verlängerter Latenz auf.

Kosten und Latenz bei der einzelnen erfolgreichen Aufgabe

Wir haben Kosten und Latenz bei einer einzelnen Frage gemessen, bei der alle Tools erfolgreich waren. o4 mini deep research und Perplexity Ultra nehmen den effizienten Bereich mit niedrigen Kosten und schnelleren Abschlusszeiten ein. o3 deep research arbeitet mit höheren Kosten und längerer Latenz. Parallel zeigt trotz moderater Kosten die längste Latenz.

Zitate

Die Anzahl der Zitate variiert unabhängig von Kosten und Latenz. o4 mini deep research liefert deutlich mehr Zitate bei gleichzeitiger Aufrechterhaltung der Effizienz, was auf unterschiedliche Ansätze bei der Beschaffung und Referenzierung von Informationen hindeutet. Die minimalen Zitate in o3 deep research trotz seiner Premium-Kosten zeigen, dass die Anzahl der Zitate nicht an den Ressourcenverbrauch gebunden ist.

Ergebnisse des DR-2T Bench

Wir haben zudem einen zweiten Benchmark bei den Top-7-KI-Tiefenrecherche-Tools mit zwei Aufgaben durchgeführt und diese in fünf Dimensionen bewertet.

Wir haben sie basierend auf Genauigkeit und der Anzahl der Quellen bewertet. Schauen Sie sich die Methodik an, um zu sehen, wie wir diese Lösungen bewertet haben.

Gemini führt bei der Genauigkeit der bereitgestellten Daten:

Claude ist der Marktführer basierend auf der Anzahl der indizierten Quellen:

Aufgabe 1:

Wir haben sie gebeten, Tabellen über Software für das Unternehmenspasswortmanagement gemäß unserem Prompt zu erstellen. Sehen Sie sich den gesamten Prompt an.

Fast alle Tools lieferten detaillierte Tabellen mit den angeforderten Informationen, obwohl ihre Ansätze zur Darstellung der Daten erheblich variierten.

Für die umfassende Berichterstellung:

• Gemini und Claude haben sich als führende Lösungen herausgestellt und umfangreiche analytische Berichte mit synthetisierten Erkenntnissen und kontextueller Analyse geliefert.
• Im Gegensatz dazu konzentrierte sich Bright Data Deep Lookup* hauptsächlich auf die Datenextraktion und lieferte strukturierte Tabellen mit begrenztem narrativem Inhalt.

Forscher sollten Tools basierend auf ihren spezifischen Forschungsbedürfnissen auswählen. diejenigen, die umfassende Analysen und berichtsorientierte Lösungen benötigen, werden Gemini und Claude am besten geeignet finden, da diese Tools stärker auf die Synthese von Informationen in detaillierte Berichte ausgerichtet sind.

Umgekehrt profitieren Forscher, die die Sammlung roher Daten priorisieren und groß angelegte Websuchen benötigen, mehr von Bright Data, das eine umfangreiche Webdaten-Abdeckung mit Konfidenzniveaus und detaillierten Erklärungen zur Relevanz und Zuverlässigkeit der Quellen bietet.

Dieser datenzentrierte Ansatz macht Bright Data wertvoll für systematische Übersichten, die eine Verifizierung großer Quellenmengen erfordern.

Kimi verwendet eine einzigartige Methodik für die Berichterstellung und erstellt einen interaktiven Bericht, der Zusammenfassungen für Führungskräfte, gezielte „Best for"-Abschnitte und strategische Empfehlungen enthält.

Der Bericht verfügt über integrierte Datenvisualisierungen und Quellenzuordnungen, was zu einem vollständigen Ergebnis führt, das ohne weitere Änderungen sofort umgesetzt werden kann.

Hinweis: Perplexity lieferte einen detaillierten Bericht, schaffte es jedoch nicht, eine Tabelle mit den gesammelten Informationen zu erstellen. Da unser Prompt spezifisch Tabellenausgaben anforderte, erhielt es für diese Aufgabe null Punkte.

*Wir werden Bright Data Deep Lookup aktualisieren, wenn das Produkt die Beta-Phase verlässt.

Aufgabe 2:

Ziel dieser Aufgabe ist es, ihre Geschwindigkeit und Abdeckung in der Forschung zu bewerten. Wir haben einen detaillierten Bericht über die RPA-Einführung angefordert, um die Anzahl der indizierten Seiten und die Zeit zu bestimmen, die für die Erstellung eines Berichts benötigt wird.

Natürlich muss die Anzahl der Quellen nicht mit der Qualität der Forschung korrelieren. Da diese Tools jedoch darauf ausgelegt sind, die Forschung zu beschleunigen, haben wir dies als wichtigen Messwert betrachtet.

Wir sollten auch feststellen, dass die Suchzeiten bei diesen Tools erheblich variieren. Grok Deep Search ist etwa 10-mal schneller als ChatGPT Deep Research und durchsucht etwa 3-mal mehr Webseiten.

Claude Deep Search ist ebenfalls sehr reaktionsschnell und hat in über 6 Minuten 261 Quellen recherchiert. Gemini ist jedoch möglicherweise keine ideale Wahl für diejenigen, die eine schnelle und reaktionsschnelle Lösung suchen, da es in über 15 Minuten nur 62 Quellen recherchiert hat.

Agenten vs. Deep-Research-Modelle Benchmark

KI-Agenten wie Claude Code und OpenAI Codex können im Web suchen, bestimmte Seiten abrufen und Daten durch gezielte Tool-Aufrufe extrahieren. Wir haben getestet, ob dieser agentische Ansatz die Leistung von speziell entwickelten Deep-Research-Modellen bei faktenbasierten Forschungsaufgaben erreicht. Sechs Tools wurden anhand von 5 Aufgaben mit 33 Ground-Truth-Checkpoints bewertet, die Unternehmensereignisse, M&A, Softwaredokumentation und KI-Forschung abdecken. Sehen Sie sich unsere Methodik an.

Parallel Ultra und Claude Code lagen mit 97 % Genauigkeit gleichauf an der Spitze. Codex folgte mit 93,9 %. Perplexity Sonar erzielte 87,9 %. Die OpenAI Deep-Research-Modelle (o3 und o4-mini) erzielten zwischen 75,8 % und 81,8 %, obwohl sie 27–125 Websuchen pro Aufgabe durchführten und 2–6-mal mehr kosteten als Sonar.

Die Top-Performer teilen ein Muster: Sie navigieren zu Primärquellen und lesen sie sorgfältig. Codex ging für Aufgabe 2 zur SEC 8-K-Einreichung und für Aufgabe 3 zur SEC-Proxy-Erklärung. Claude Code holte die Unity-Dokumentationsseiten direkt in Aufgabe 1. Parallel fand die spezifische Zaslav-Auszahlungszahl (886,8 Mio. $), die drei andere Tools verpassten. o3 und o4-mini suchten breit, extrahierten jedoch weniger präzise Informationen aus den gefundenen Seiten.

Claude Code und Codex besetzen die obere rechte Ecke: hohe Genauigkeit bei niedrigen Kosten (1,54 $ bzw. 1,30 $). Parallel erreicht die gleiche Genauigkeit für 2,10 $. o3 kostet 10,92 $ für 75,8 % Genauigkeit. Auf der Latenz-Tabelle ist Claude Code mit durchschnittlich 1,7 Minuten pro Aufgabe am schnellsten. Parallel ist mit 16,7 Minuten am langsamsten, erreicht aber die Top-Genauigkeit. Sonar nimmt eine starke Mittelposition mit 2,3 Minuten und 87,9 % ein.

Sonar produziert durchschnittlich 5.253 Wörter pro Aufgabe. Agenten produzieren 398–483. Sonar schrieb 4.509 Wörter über die Unity EntityId-Struktur, konnte aber nur eine seiner fünf öffentlichen Methoden benennen. Codex schrieb 248 Wörter und nannte alle fünf. Parallel schrieb 1.037 Wörter und bekam sie richtig. Mehr Wörter und mehr Zitate sagten keine höhere Genauigkeit voraus.

Tiefenanalyse: Migration von Unity 2022.3 zu Unity 6 (Aufgabe 5)

Aufgabe 5 ist die komplexeste Aufgabe im Benchmark. Sie bat jedes Tool, einen Übergangsleitfaden von Unity 2022.3 LTS zu Unity 6.3 LTS zu erstellen. Der Prompt gab genaue Versionsnummern an: 2022.3.62f3, 2022.3.74f1 und 6000.3.12f1. Eine korrekte Antwort erfordert das Lesen der Unity 6.3-Systemanforderungsseite, der Support-Lebenszyklusseite und vier separaten Upgrade-Leitfäden (6.0, 6.1, 6.2, 6.3).

Drei von sechs Tools lieferten Systemanforderungen für Unity 6.0 anstelle von Unity 6.3.

o3, o4-mini und Claude Code verwiesen alle auf die Unity 6.0-Dokumentationsseite anstelle der 6.3-Seite, obwohl der Prompt „Unity 6.3" und die Build-Nummer „6000.3.12f1" angab.

Ein Team, das sich an o3s Leitfaden hält, würde Android API 23 (Android 6.0) anvisieren. Unity 6.3 erfordert API 25 (Android 7.1). Der Build würde fehlschlagen oder auf einer nicht unterstützten Plattform ausgeliefert werden. Der Leitfaden selbst sieht professionell aus: saubere Tabellen, sinnvolle Struktur, korrekter Ton. Die Zahlen sind falsch.

Codex und Parallel haben jede Zahl richtig. Codex navigierte direkt zur 6.3-Systemanforderungsseite und verglich sie Zeile für Zeile mit der 2022.3-Seite. Es identifizierte sogar, dass sich das iOS-Minimum innerhalb der 2022.3-Linie bei Build 2022.3.72f1 von 12 auf 13 verschob, bevor es in 6.3 auf 15 sprang. Parallel produzierte einen umfassenden Leitfaden mit korrekten Zahlen und 35 zitierten Quellen.

Wie jedes Tool es angegangen ist:

Claude Code startete 4 parallele Sub-Agenten, die jeweils einen anderen Teil der Frage bearbeiteten: Support-Daten, Upgrade-Pfad, Breaking Changes und Systemanforderungen. Schnell (3 Minuten 59 Sekunden), aber der Sub-Agent für Systemanforderungen holte die falsche Dokumentationsseite.

Codex führte 90 sequenzielle Websuchen über 6 Minuten 17 Sekunden durch. Es holte den 6.3-Upgrade-Leitfaden, die 6.3-Systemanforderungsseite und die 2022.3-Systemanforderungsseite einzeln. Langsamer, aber methodisch. Jede Zahl war korrekt.

o3 verbrachte 8 Minuten und 32 Websuchen. Es produzierte 2.132 Wörter allgemeiner Migrationsberatung, zog aber Support-Zeitpläne und Systemanforderungen aus der 6.0-Dokumentation. Es erwähnte keine 6.3-spezifischen Breaking Changes (Entfernung des URP Compatibility Mode, Deprecation von Netcode 1.x, Deprecation von Relay/Lobby).

Kein Tool las alle vier Upgrade-Leitfäden (6.0, 6.1, 6.2, 6.3) in Folge. Unitys Docs besagen, dass Entwickler sie in der Reihenfolge befolgen sollten, da jede einzigartige Breaking Changes enthält. Jedes Tool fand die prominenteste Seite und extrahierte daraus. Dies ist eine strukturelle Einschränkung für jede Forschungsaufgabe, die erfordert, dass man sich durch eine Reihe verwandter Dokumente arbeitet, anstatt eine einzelne Antwort zu finden.

Entwicklungen bei KI-Tiefenrecherche-Tools

Kimi K2.5

Kimi K2.5 kann Text, Bilder und Video verarbeiten, produktionsreifen Code generieren und komplexe Workflows mithilfe einer Agent-Schwarm-Architektur ausführen.

Agent Swarm ist der Mechanismus von Kimi K2.5 für die Bewältigung komplexer Aufgaben, indem ein einzelnes Modell in ein koordiniertes Team von KI-Agenten verwandelt wird. Anstatt eine Aufgabe sequenziell auszuführen, erstellt Kimi mehrere spezialisierte Sub-Agenten, die jeweils eine bestimmte Rolle wie Forschung, Analyse, Codierung, Verifizierung oder Inhaltsstrukturierung zugewiesen bekommen. Diese Agenten arbeiten parallel, nutzen Tools unabhängig und teilen Zwischenergebnisse, was die Ausführungszeit für Workflows mit langem Horizont erheblich verkürzt.

Der Schwarm zerlegt ein übergeordnetes Ziel in Teilaufgaben, weist sie Agenten zu, überwacht den Fortschritt und integriert Ausgaben in ein kohärentes Endergebnis. Dieser Ansatz ist besonders nützlich für Tiefenrecherche, die Erstellung großer Dokumente, Batch-Verarbeitung und mehrstufige Problemlösung, bei denen verschiedene Teile der Arbeit gleichzeitig fortschreiten können.

Kimi K2.5 Deep Research

Kimi K2.5 Deep Research unterstützt die End-to-End-Forschung und Berichterstellung für komplexe Fragen. Es sammelt Informationen aus mehreren Quellen, analysiert Themen aus mehreren Perspektiven und synthetisiert Ergebnisse in visuellen Berichten.

Die Tiefenrecherche ist primär für Investitionsanalysen, Branchenforschung, akademische Arbeiten und strategische Planung konzipiert, wo entscheidungsorientierte Analysen erforderlich sind.

Abbildung 1: Ein Beispiel für eine Forschung von Kimi K2.5 Deep Research zu ESG-Metriken und Investitionsrenditen.¹

Claude für Life Sciences

Claude for Life Sciences wurde entwickelt, um wissenschaftliche Arbeiten über den gesamten Lebenszyklus der Arzneimittel- und Geräteentwicklung für Biotechnologie-, Pharma- und Forschungsorganisationen zu unterstützen. Kürzliche Updates erweitern seinen Umfang über die präklinische Forschung hinaus in klinische Studienoperationen und regulatorische Workflows und fügen neue Datenkonnectoren und Agent-Fähigkeiten hinzu, die auf reale Anwendungsfälle in den Life Sciences zugeschnitten sind.

Wichtige Funktionen und Fähigkeiten:

• Erweiterte wissenschaftliche Konnectoren: Zugriff auf Plattformen wie Medidata, ClinicalTrials.gov, bioRxiv/medRxiv, Open Targets, ChEMBL, ToolUniverse und Owkin, neben bestehenden Integrationen mit Benchling, PubMed, 10x Genomics, BioRender, Synapse.org und Wiley.
• Klinische Studienintelligenz: Sichere Nutzung historischer Studiendaten zur Einschreibung und Standortleistung zur Unterstützung der Machbarkeitsanalyse, Planung der Patientenrekrutierung und Überwachung von Studien.
• Frühe Entdeckungsunterstützung: Tools zur Unterstützung bei der Zielidentifikation, Verbindungsanalyse und Hypothesentestung unter Verwendung kuratierter wissenschaftlicher Datenbanken und computergestützter Tools.
• Bioinformatik-Workflows: Agent-Fähigkeiten und Tool-Bündel, die Datenverarbeitungs- und Analysepipelines unterstützen, einschließlich scVI-tools und Nextflow-Bereitstellungen.
• Protokollentwurf und Planung: Eine Fähigkeit zum Entwurf klinischer Studienprotokolle, die regulatorische Wege, Wettbewerbskontext, Endpunktempfehlungen und relevante FDA-Leitlinien einbezieht.
• Regulatorische Vorbereitung: Unterstützung bei der Identifizierung von Lücken in regulatorischen Dokumenten, dem Entwurf von Antworten auf Agenturfragen und der Navigation durch geltende Richtlinien.²

Gemini Deep Research-Integration mit Gmail, Docs, Drive und Chat

Google hat ein signifikantes Update für Gemini Deep Research eingeführt und erweitert dessen Fähigkeit, auf Daten aus dem gesamten Google-Ökosystem zuzugreifen. Das Tool kann nun mit Gmail, Google Drive (einschließlich Docs, Slides, Sheets und PDFs) und Google Chat verbinden und ermöglicht es Nutzern, private und geteilte Quellen direkt in ihren Forschungsprozess einzubeziehen.

Mit diesem Update können Nutzer:

• Umfassende Berichte erstellen, indem sie Daten aus E-Mails, Dokumenten und Chats mit Webinformationen kombinieren.
• Eine Wettbewerbsanalyse durchführen, die Projektpläne, Vergleichstabellen und Teamdiskussionen integriert.
• Einen mehrstufigen Forschungsplan für ein neues Produkt starten, indem sie frühe Brainstorming-Materialien und verwandte Kommunikationsstränge analysieren.

Diese Funktion ermöglicht es Gemini Deep Research, sowohl akademische Literaturübersichten als auch Marktforschung zu unterstützen. Durch die Kombination mehrerer Datenquellen können Nutzer detailliertere Analysen erstellen und wichtige Erkenntnisse effizienter aufdecken.³

Gemini in Chrome: Auto browse

Google aktualisiert Gemini in Chrome auf macOS, Windows und Chromebook Plus mit Gemini 3 und fügt eine Seitenleiste, besser integrierte Google App-Unterstützung und agentische Funktionen wie auto-browse hinzu:

• Agentisches mehrstufiges Browsen und Aktionen: Die neue Auto-Browse-Funktion von Chrome nutzt Gemini 3, um als Web-Agent zu agieren, der autonom komplexe, mehrstufige Aufgaben ausführen kann, wie z. B. die Recherche von Reiseoptionen, das Ausfüllen von Formularen, den Vergleich von Produkten und die Navigation zwischen Websites durch Interpretation von Anweisungen und Interaktion mit Seiten im Namen des Nutzers.
• Verfügbarkeit: Auto Browse wird derzeit in der Vorschau für Google AI Pro- und AI Ultra-Abonnenten in den USA eingeführt und erfordert Chrome auf Plattformen wie Windows, macOS oder Chromebook Plus.
• Abdeckung verbundener Apps: Das aktualisierte Gemini in Chrome unterstützt Integrationen verbundener Apps mit Diensten wie Gmail, Kalender, YouTube, Maps, Google Shopping und Flights.
  • Für Aktionen, die sensible oder hochriskante Schritte beinhalten, wie z. B. einen Kauf abschließen oder in sozialen Medien posten, pausiert das System und fordert eine ausdrückliche Benutzerbestätigung an, bevor es fortfährt.⁴

Microsoft stellt Deep Research in Azure AI Foundry Agent Service vor

Microsoft hat die öffentliche Vorschau von Deep Research innerhalb des Azure AI Foundry Agent Service gestartet und bietet die agentic-Forschungstechnologie von OpenAI über die Unternehmensplattform von Azure an. Der Dienst ermöglicht die Automatisierung komplexer Forschungsaufgaben, die Integration über Geschäftssysteme hinweg und die Erstellung transparenter, überprüfbarer Forschungsergebnisse.⁵

Wichtige Funktionen sind:

• Automatisierte mehrstufige Forschung: Nutzt das o3-deep-research-Modell, um Daten aus dem Web und Unternehmenssystemen zu planen, zu analysieren und zu synthetisieren.
• Web-Verankerung mit Bing Search: Stellt sicher, dass Informationen auf verifizierten, aktuellen Quellen basieren.
• Transparente Ausgaben: Jeder Bericht enthält zitierte Quellen, Denkprozesse und Klarstellungen.
• Integration mit Azure-Tools: Funktioniert mit Logic Apps, Azure Functions und anderen Konnectoren für Berichterstattung und Workflow-Automatisierung.
• Programmierbare Flexibilität: Verfügbar über API und SDK, sodass Entwickler KI-Tiefenrecherche-Tools in Apps und Workflows einbetten können.

Wie es funktioniert

1. Klärung der Forschungsabsicht: Das System nutzt GPT-4o und GPT-4.1, um die Forschungsfrage zu definieren.
2. Datensammlung: Bing Search sammelt zuverlässige Webdaten zur Verankerung.
3. Ergebnisanalyse: Das Deep-Research-Modell führt Denkprozesse und Synthese durch, um umfassende Berichte mit wichtigen Erkenntnissen zu erstellen.
4. Einhaltung sicherstellen: Jedes Ergebnis ist für den Unternehmenseinsatz nachvollziehbar und überprüfbar.

Vorteile von KI-Tiefenrecherche-Tools

Erhöhte Effizienz und Produktivität

• Literaturübersichten: KI-Forschungstools fungieren als Forschungsassistent und führen eine tiefe Literatursuche in riesigen Datenbanken wissenschaftlicher Arbeiten durch. Sie identifizieren relevante Arbeiten und können Informationen synthetisieren, um prägnante Zusammenfassungen zu erstellen, was die Zeit und den Aufwand für eine manuelle Literaturübersicht erheblich reduziert.
• Datensammlung und -analyse: Ein KI-Forschungsassistent kann die Datensammlung automatisieren, indem er große Datenbanken und Webseiten durchsucht. Diese Tools verfügen über Tiefenrecherchefähigkeiten, die es ihnen ermöglichen, massive Datensätze viel schneller zu verarbeiten und zu analysieren als traditionelle Methoden. Sie können Muster und Trends identifizieren, die bei einer manuellen Überprüfung übersehen werden könnten, was für komplexe Forschungsaufgaben wie Marktanalysen oder die Erstellung eines Deep-Research-Berichts entscheidend ist.
• Automatisierung sich wiederholender Aufgaben: KI kann sich wiederholende Aufgaben wie Dateneingabe und Formatierung von Quellenzitaten übernehmen. Durch die Automatisierung dieser zeitaufwändigen Prozesse können sich Forscher auf komplexere Themen und die kreativen Aspekte ihrer Arbeit konzentrieren.

Tiefere Erkenntnisse und Entdeckungen

• Identifizierung von Forschungslücken: Durch die Analyse bestehender akademischer Literatur können KI-Tools Forschern helfen, Lücken im aktuellen Wissen zu identifizieren. Dies ist ein entscheidender Schritt für die Formulierung einer neuen Forschungsfrage oder die Entwicklung eines mehrstufigen Forschungsplans. Diese Tools bieten leicht lesbare Erkenntnisse in einem strukturierten, gut organisierten Format.
• Synthese von Informationen: KI-Forschungsassistenten können Informationen aus mehreren Quellen synthetisieren, einen umfassenden Bericht erstellen und wichtige Erkenntnisse hervorheben. Dies gibt Forschern einen breiten Überblick, ohne dass sie jedes einzelne Papier vollständig lesen müssen, was Zeit spart und dennoch umfassende Erkenntnisse liefert.
  • Beispielsweise generierte das Deep-Research-Tool von Claude einen detaillierten Bericht. Der Bericht kann als Artifact veröffentlicht werden, das online zugänglich ist und in Suchmaschinen sichtbar sein kann.
• Verbindungen erkunden: Tools, die Zitationsnetzwerke visualisieren, können Forschern helfen zu sehen, wie verschiedene wissenschaftliche Arbeiten miteinander verbunden sind. Dies kann zu Entdeckungen und einem umfassenderen Verständnis eines Forschungsgebiets führen.

Beispielsweise indizierte Grok in unserer zweiten Aufgabe mehr als 100 verschiedene Seiten. Normalerweise dauert es Stunden, bis ein Mensch alle diese Seiten liest und Informationen sammelt, aber es dauerte ∼2 Minuten für Grok.

Daher können diese Tools den Forschungsprozess beschleunigen. Nutzer sollten jedoch immer daran denken, dass diese Tools halluzinieren und falsche Informationen generieren können, also seien Sie vorsichtig, wenn Sie Informationen verwenden, die direkt von einem LLM stammen.

Entdecken Sie weitere unserer Benchmarks und datengestützten Erkenntnisse in der Google-Suche.

Als bevorzugte Quelle hinzufügen

Herausforderungen und Grenzen von KI-Tiefenrecherche-Tools

Genauigkeit und Zuverlässigkeit

Die meisten Menschen sind misstrauisch gegenüber der Genauigkeit von LLM-generierten Informationen und überprüfen sie selbst, da sie wissen, dass LLMs halluzinieren können. Das Problem bei der Tiefenrecherche ist, dass, da sie umfassendere Forschung durchführt als Standard-Chat und Quellen bereitstellt, Nutzer fälschlicherweise annehmen können, dass sie immer genaue Informationen liefert. LLMs (selbst mit Tiefenrecherche) neigen immer noch dazu zu halluzinieren, und dies kann zu ernsthaften Missverständnissen führen.

• Fehlender Kontext und Nuancen: Ein KI-Forschungsassistent kann Schwierigkeiten haben, den vollständigen Kontext einer Forschungsaufgabe zu erfassen und möglicherweise Informationen zusammenzufassen, ohne deren tiefere Bedeutung zu verstehen. Dies kann zu unvollständigen oder falschen Schlussfolgerungen führen.
• Veraltete Informationen: Die Trainingsdaten einiger KI-Modelle sind möglicherweise nicht aktuell, wodurch sie neuere Entwicklungen in wissenschaftlichen Arbeiten oder anderer akademischer Literatur übersehen.
• Quellenzuverlässigkeit: KI-Tools haben oft Schwierigkeiten, zwischen autoritativen und unzuverlässigen Quellen zu unterscheiden und behandeln alle Informationen aus dem offenen Web als gleich gültig. Menschliches Urteilsvermögen ist unerlässlich, um die Glaubwürdigkeit von Quellen für einen Deep-Research-Bericht zu überprüfen.

Bias und ethische Bedenken

• Algorithmischer Bias: Wenn die Datensätze, die zum Trainieren von KI-Modellen verwendet werden, gesellschaftliche Vorurteile enthalten, wird die KI diese lernen und perpetuieren. Dies kann zu Ausgaben führen, die voreingenommen gegenüber bestimmten Demografien sind und die Integrität der Tiefenrecherche beeinträchtigen.
• Datenschutz: Die Verwendung von KI-Tools beinhaltet die Verarbeitung großer Datenmengen, was erhebliche Datenschutz- und Sicherheitsbedenken aufwirft. Proprietäre oder vertrauliche Daten, die von einem Forscher eingegeben werden, könnten zum Trainieren zukünftiger Modelle verwendet werden, was zu einem Risiko von Datenlecks führt.
• Eigentum und Urheberrecht: Wenn ein KI-Tool Informationen aus mehreren Quellen synthetisiert, stellen sich Fragen zum geistigen Eigentum und zur ordnungsgemäßen Zuordnung. Es ist oft schwierig, das Eigentum am endgültigen Output zu bestimmen und sicherzustellen, dass alle Quellenzitate korrekt sind.

Menschliche Fähigkeiten und Übervertrauen

• Der Schein von Expertise: KI-Tools können einen polierten, strukturierten Bericht erstellen, der den falschen Eindruck einer umfassenden, expertenbasierten Analyse erweckt. Das Tool ist ein Forschungsassistent, kein Ersatz für das Urteilsvermögen, die Expertise und die Überprüfung, die ein menschlicher Forscher komplexen Forschungsaufgaben bietet. Dies ist besonders relevant für Entscheidungsträger, die vor hochriskanten Entscheidungen stehen.
• Erosion des kritischen Denkens: Ein übermäßiges Vertrauen in KI-Forschungstools kann das kritische Denken und die analytischen Fähigkeiten eines Forschers beeinträchtigen. Das Bereitstellen aller Antworten kann das Engagement des Nutzers in den komplexen Forschungsprozessen reduzieren, die für hochwertige akademische Arbeiten unerlässlich sind.
• Steile Lernkurve: Trotz ihres benutzerfreundlichen Designs haben viele Forschungstools eine leichte Lernkurve, insbesondere für ihre erweiterten Funktionen. Forscher müssen möglicherweise Zeit investieren, um die Tiefenrecherchefähigkeiten des Tools voll auszuschöpfen.

Gary Marcus warnte auch, dass dies zu einem Rückgang der Qualität wissenschaftlicher Arbeiten führen kann.⁶

Methodik

In unserem DR-50-Benchmark haben wir KI-Forschungstools anhand von 50 Fragen in sechs verschiedenen Fragetypen bewertet:

1. Einfache faktenbasierte Suche

Single-Hop-Fragen erfordern eine unkomplizierte Datenabfrage aus einer einzigen Quelle.

Beispiel: „Was ist der 1M-Token-Eingabepreis für das llama-3-70b-Modell von DeepInfra?"

2. Vergleichende Analyse

Cross-Source-Evaluierung erfordert die Datensammlung von mehreren Anbietern, um Produkte oder Dienstleistungen zu vergleichen.

Beispiel: „Welcher Anbieter bietet llama-3.2-1b zum günstigsten gemischten Preis?"

3. Multi-Hop-Reasoning

Sequentielle Reasoning-Ketten erfordern mehrere abhängige Schritte der Informationsabfrage.

Beispiel: „Was ist der Eingabepreis pro 1 Million Token auf OpenRouter für das Modell, das im AIMultiple Finance Reasoning-Benchmark den 1. Platz belegt hat?"

4. Berechnungsbasiert

Mathematische Operationen werden auf abgerufenen numerischen Daten durchgeführt.

Beispiel: „Was ist der Unterschied im gemischten Preis zwischen den zwei günstigsten Mistral AI-Modellen?"

5. Strukturierte JSON-Extraktion

Datensammlung erfordert striktes JSON-Formatieren mit mehreren strukturierten Werten.

Beispiel: „Was sind Architektur, Speicher, Bandbreite von NVIDIA H200 SXM? Format: {„architecture": „…", „memory": „…", „bandwidth": „…"}"

6. Kategorische Auflistung

Vollständige Aufzählung aller Elemente innerhalb einer bestimmten Kategorie.

Beispiel: „Stellen Sie alle MCP-Server in der Blockchain-Kategorie bereit."

Bewertungsmetriken

Genauigkeit

Wir haben jede Antwort mit vordefinierten Ground-Truth-Antworten verglichen, wobei GPT-4o-mini als automatisierter Richter über OpenRouter verwendet wurde. Der endgültige Genauigkeitswert repräsentiert den Prozentsatz der korrekten Antworten über alle 50 Abfragen hinweg.

Token-Zählung

Wir haben die tiktoken-Bibliothek verwendet, um Token client-seitig zu messen und diese Messungen mit Token-Zählungen von Provider-APIs und UIs, wo verfügbar, cross-validiert.

Latenz

Wir haben die Latenz als Wandzeit von der Anforderungseinleitung bis zum Erhalt der vollständigen Antwort gemessen, angegeben in Sekunden. Wir haben diese Messungen mit Latenzmetriken von Provider-APIs und UIs, wo verfügbar, cross-validiert.

Kosten

Wir haben die Kosten manuell über das Abrechnungs-Dashboard jedes Providers verfolgt.

Zitate

Wir haben Zitate automatisch aus den Antwortmetadaten jeder API extrahiert und die Anzahl der einzigartigen URLs gezählt, die pro Antwort zitiert wurden.

Technisches Setup

Wir haben den Benchmark sequenziell ausgeführt, wobei jede API alle 50 Abfragen abschloss, bevor die nächste API startete. Wir haben eine Verzögerung von 5 Sekunden zwischen aufeinanderfolgenden Abfragen implementiert, um Rate Limiting zu vermeiden, und wir haben keine Timeout-Limits auferlegt, sodass Anfragen unbegrenzt auf den Abschluss warten konnten.

Für den DR-2T-Benchmark basierend auf verschiedenen Aufgaben wurde jedes Stück Daten im Prompt mit 1 Punkt bewertet. Wenn die Ausgabe nicht im Tabellenformat war, haben wir sie mit 0 bewertet.

Prompt der Aufgabe 1

Forschen und bewerten Sie die Top-5-Lösungen für das Unternehmenspasswortmanagement basierend auf den folgenden Kriterien, um die effektivste Lösung für den Unternehmenseinsatz zu identifizieren.

Kriterien

1. Sicherheitsfunktionen

• Verwendeter Verschlüsselungsstandard
• Implementierung der Zero-Knowledge-Architektur
• Unterstützte MFA-Optionen
• Sicherheitszertifizierungen von Drittanbietern
• Funktionen zur Überwachung der Passwortgesundheit

2. Bereitstellung & Integration

• Bereitsoptionen
• Fähigkeiten zur Verzeichnisintegration
• Verfügbarkeit und Funktionalität der API
• SSO-Integration

3. Benutzererfahrung

• Kompatibilität von Browsererweiterungen
• Verfügbarkeit und Bewertung der mobilen App
• Fähigkeiten für den Offline-Zugriff
• Funktion zum Teilen von Passwörtern

4. Verwaltung

• Optionen zur Durchsetzung von Passwortrichtlinien
• Automatisierung der Benutzerbereitstellung/De-Provisionierung
• Berichterstattung und Compliance-Funktionen
• Protokolle für den Notfallzugriff

5. Kosten & Skalierbarkeit

• Vergleich der Preise unter Verwendung standardisierter Unternehmensszenarien (100 Benutzer, 500 Benutzer, 1000+ Benutzer)

Lieferformat

1. Detaillierte Tabelle für jedes Kriterium
2. Kostenvergleichstabelle mit standardisierten Szenarien

Prompt für Aufgabe 2

In unserer zweiten Aufgabe wollten wir den Umfang der durchgeführten Forschung entdecken. Dazu haben wir die Anzahl der zitierten Referenzen verglichen. Der Vergleich von Artikeln ist in diesem Fall keine objektive Methode, da die Festlegung einer definitiven Ground Truth nicht machbar ist.

Die Anzahl der Referenzen kann uns jedoch einen Eindruck von ihrer Fähigkeit geben, Informationen bereitzustellen, da die Stärke dieser Tools ihre Fähigkeit ist, Hunderte von Webseiten in Minuten zu indizieren.

Agent vs Deep Research Benchmark Methodik

Wir haben 5 Forschungsaufgaben in verschiedenen Domänen erstellt. Jede Aufgabe stellt direkte Fragen mit faktenbasierten, überprüfbaren Antworten. Jeder Checkpoint wird binär bewertet: korrekt oder falsch.

Jede Frage zielt auf Informationen ab, die nach den Stichtagen der Trainingsdaten der Modelle veröffentlicht wurden. Der Benchmark wurde in der ersten Aprilwoche 2026 durchgeführt.

Die Ground Truth wurde aus Primärquellen erstellt: Unity 6.4 offizielle Dokumentation, Atlassian SEC 8-K-Einreichung, Paramount-Pressemitteilungen, das ARC-AGI-3-arxiv-Papier und Unity-Upgrade-Leitfäden. Jedes Tool erhielt identische Prompts. Alle Prompts endeten mit „Zitieren Sie alle verwendeten Quellen mit URLs."

Bewertung: Automatisiertes Musterabgleich für Zahlen, Daten und Namen. LLM-Richter (GPT-4o) für Erklärungsqualitäts-Checkpoints. Ein menschlicher Prüfer validierte alle Ergebnisse.

Deep-Research-Modelle wurden über OpenRouter API (o3, o4-mini, Sonar) und Parallel API aufgerufen. Agenten wurden über ihre CLI-Schnittstellen mit aktivierter Websuche ausgeführt, ohne MCP-Tools.

In Claude Code verwendeten wir Opus 4.6, und in Codex verwendeten wir GPT 5.4. Beide in mittlerem Aufwand, und die Kostenberechnung erfolgt durch Token-Verbrauch für beide Agenten.

FAQs

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{KI-Tiefenrecherche: Claude vs ChatGPT vs Grok}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/ai-deep-research}},
  note   = {AIMultiple. Abgerufen am 22. Juni 2026}
}

Referenzlinks

1.

Advancing Claude in healthcare and the life sciences \ Anthropic

2.

Google Workspace apps can now be integrated into Deep Research

Google

3.

Chrome gets new Gemini 3 features, including auto browse

Google

4.

Introducing Deep Research in Azure AI Foundry Agent Service | Microsoft Azure Blog

Microsoft Azure Blog

5.

Deep Research, Deep Bullshit, and the potential (model) collapse of science

Marcus on AI

6.

Deep Research, Deep Bullshit, and the potential (model) collapse of science

Marcus on AI

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 55 % der Fortune 500. Cems Arbeit wurde von führenden globalen Publikationen wie Business Insider, Forbes und der Washington Post, von globalen Unternehmen wie Deloitte und HPE sowie von NGOs wie dem Weltwirtschaftsforum und supranationalen Organisationen wie der Europäischen Kommission zitiert. Weitere namhafte Unternehmen und Ressourcen, die AIMultiple referenziert haben, finden Sie hier. Im Laufe seiner Karriere war Cem als Technologieberater, Technologieeinkäufer und Technologieunternehmer tätig. Über ein Jahrzehnt lang beriet er Unternehmen bei McKinsey & Company und Altman Solon in ihren Technologieentscheidungen. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung. Bei einem Telekommunikationsunternehmen leitete er die Technologiestrategie und -beschaffung und berichtete direkt an den CEO. Darüber hinaus verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von null auf einen siebenstelligen jährlichen wiederkehrenden Umsatz und eine neunstellige Unternehmensbewertung kam. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider gewürdigt. Er ist ein gefragter Redner auf internationalen Technologiekonferenzen. Cem absolvierte sein Studium der Informatik an der Bogazici-Universität und besitzt einen MBA der Columbia Business School.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten