KI-Tiefenforschung: Claude vs. ChatGPT vs. Grok

Die KI-gestützte Tiefenrecherche ist eine Funktion einiger LLM-Studiengänge, die Nutzern ein breiteres Spektrum an Suchergebnissen bietet als KI-Suchmaschinen . Um die Leistungsfähigkeit verschiedener KI-gestützter Tiefenrecherche-Tools zu vergleichen, führen wir zwei neue Benchmarks ein:

DR-50 (Deep Research 50) Bench , bei dem Tools anhand von 50 Fragen aus sechs Fragetypen bewertet werden, und DR-2T (Deep Research 2 Task) Bench , bei dem Tools anhand von zwei realen Forschungsaufgaben bewertet werden, die sich auf die Qualität der Berichtserstellung, die Quellenabdeckung und die strukturierte Datenpräsentation konzentrieren.

DR-50 Bench-Ergebnisse

Wir testeten KI-gestützte Deep-Research-Tools anhand von 50 Fragen in 6 verschiedenen Fragetypen. Unsere Benchmark-Methodik finden Sie hier.

Vergleich von Genauigkeit und Latenz

perplexity-sonar-deep-research erzielt mit 34 % die höchste Genauigkeit bei moderater Latenz. parallel-ultra und o4-mini-deep-research weisen ähnliche Genauigkeitswerte von etwa 22–24 % auf, wobei parallel-ultra deutlich mehr Zeit benötigt. o3-deep-research zeigt die niedrigste Genauigkeit bei erhöhter Latenz.

Kosten und Latenz bei der einzelnen erfolgreichen Aufgabe

Wir haben Kosten und Latenz anhand einer einzelnen Frage gemessen, bei der alle Tools erfolgreich waren. o4-mini-deep-research und perplexity-ultra befinden sich im effizienten Bereich mit niedrigen Kosten und kürzeren Bearbeitungszeiten. o3-deep-research arbeitet mit höheren Kosten und längerer Latenz. Parallel weist trotz moderater Kosten die längste Latenz auf.

Zitate

Die Anzahl der Zitate variiert unabhängig von Kosten und Latenz. o4-mini-deep-research liefert deutlich mehr Zitate bei gleichbleibender Effizienz, was auf unterschiedliche Ansätze bei der Informationsbeschaffung und -referenzierung hindeutet. Die geringe Anzahl an Zitaten in o3-deep-research trotz des höheren Preises zeigt, dass die Zitatanzahl nicht vom Ressourcenverbrauch abhängt.

DR-2T Bench-Ergebnisse

Wir haben außerdem einen zweiten Vergleich der sieben führenden KI-basierten Deep-Learning-Tools anhand von zwei Aufgaben durchgeführt und diese anhand von fünf Dimensionen bewertet.

Wir haben sie anhand ihrer Genauigkeit und der Anzahl der Quellen bewertet. In der Methodik erfahren Sie, wie wir diese Lösungen bewertet haben.

Gemini ist führend in der Genauigkeit der bereitgestellten Daten:

Claude ist der Führende, gemessen an der Anzahl der indizierten Quellen:

Aufgabe 1:

Wir haben sie gebeten, gemäß unserer Aufgabenstellung Tabellen über Passwortverwaltungssoftware für Unternehmen zu erstellen. Die vollständige Aufgabenstellung finden Sie hier.

Nahezu alle Tools lieferten detaillierte Tabellen mit den angeforderten Informationen, wobei sich die Ansätze zur Datenpräsentation jedoch deutlich unterschieden.

Für die Erstellung umfassender Berichte:

• Gemini und Claude haben sich als führende Lösungen etabliert und liefern umfassende Analyseberichte mit zusammenfassenden Erkenntnissen und Kontextanalysen.
• Im Gegensatz dazu konzentrierte sich Bright Data Deep Lookup* primär auf die Datenextraktion und stellte strukturierte Tabellen mit begrenztem beschreibendem Inhalt bereit.

Forschende sollten ihre Werkzeuge anhand ihrer spezifischen Forschungsbedürfnisse auswählen. Für diejenigen, die umfassende Analysen und berichtsorientierte Lösungen benötigen, sind Gemini und Claude am besten geeignet, da diese Werkzeuge stärker auf die Synthese von Informationen zu detaillierten Berichten ausgerichtet sind.

Umgekehrt profitieren Forscher, die Wert auf die Sammlung von Rohdaten legen und umfangreiche Web-Recherchen benötigen, mehr von Bright Data , das eine umfassende Web- Datenabdeckung mit Konfidenzniveaus und detaillierten Erläuterungen zur Relevanz und Zuverlässigkeit der Quellen bietet.

Dieser datenzentrierte Ansatz macht Bright Data wertvoll für systematische Reviews, die eine umfangreiche Quellenverifizierung erfordern.

Kimi verwendet eine besondere Methodik zur Berichtserstellung und erstellt einen interaktiven Bericht, der Managementzusammenfassungen, zielgerichtete „Best-for“-Abschnitte und strategische Empfehlungen enthält.

Der Bericht enthält integrierte Datenvisualisierungen und Quellenangaben, sodass ein vollständiges Ergebnis vorliegt, das ohne weitere Anpassungen sofort implementiert werden kann.

Hinweis: Perplexity lieferte zwar einen detaillierten Bericht, konnte aber keine Tabelle mit den gesammelten Informationen erstellen. Da unsere Aufgabenstellung ausdrücklich Tabellenausgaben verlangte, erhielt Perplexity für diese Aufgabe null Punkte.

*Wir werden Bright Data Deep Lookup aktualisieren, sobald das Produkt die Beta-Phase verlässt.

Aufgabe 2:

Ziel dieser Aufgabe ist die Bewertung ihrer Geschwindigkeit und Abdeckung in der Forschung. Wir haben einen detaillierten Bericht über die Einführung von RPA angefordert, um die Anzahl der indexierten Seiten und die Zeit für die Berichtserstellung zu ermitteln.

Die Anzahl der Quellen muss natürlich nicht mit der Qualität der Forschung korrelieren. Da diese Tools jedoch darauf ausgelegt sind, die Forschung zu beschleunigen, haben wir sie als wichtiges Kriterium betrachtet.

Es ist außerdem zu beachten, dass die Suchzeiten der verschiedenen Tools deutlich variieren. Grok Deep Search ist etwa zehnmal schneller als ChatGPT Deep Research und durchsucht etwa dreimal so viele Webseiten.

Claude Deep Search reagiert ebenfalls sehr schnell und hat 261 Quellen in über 6 Minuten durchsucht. Gemini hingegen ist möglicherweise nicht die ideale Wahl für alle, die eine schnelle und reaktionsschnelle Lösung suchen, da es für die Durchsuchung von 62 Quellen über 15 Minuten benötigte.

Entwicklungen bei KI-Forschungswerkzeugen

Kimi K2.5

Kimi K2.5 kann Text, Bilder und Videos verarbeiten, produktionsreifen Code generieren und komplexe Arbeitsabläufe mithilfe einer Agentenschwarmarchitektur ausführen.

Agent Swarm ist der Mechanismus von Kimi K2.5 zur Bewältigung komplexer Aufgaben, indem ein einzelnes Modell in ein koordiniertes Team von KI-Agenten umgewandelt wird. Anstatt eine Aufgabe sequenziell auszuführen, erstellt Kimi mehrere spezialisierte Subagenten, denen jeweils eine spezifische Rolle zugewiesen wird, wie z. B. Recherche, Analyse, Codierung, Verifizierung oder Inhaltsstrukturierung. Diese Agenten arbeiten parallel, nutzen Tools unabhängig voneinander und teilen Zwischenergebnisse, was die Ausführungszeit für Workflows mit langem Zeithorizont deutlich reduziert.

Der Schwarm zerlegt ein übergeordnetes Ziel in Teilaufgaben, weist diese Agenten zu, überwacht den Fortschritt und integriert die Ergebnisse zu einem kohärenten Endergebnis. Dieser Ansatz eignet sich besonders für tiefgreifende Forschung, die Erstellung umfangreicher Dokumente, Stapelverarbeitung und die Lösung mehrstufiger Probleme, bei denen verschiedene Arbeitsschritte parallel bearbeitet werden können.

Kimi K2.5 Tiefenforschung

Kimi K2.5 Deep Research unterstützt umfassende Recherchen und die Erstellung von Berichten zu komplexen Fragestellungen. Es sammelt Informationen aus verschiedenen Quellen, analysiert Themen aus unterschiedlichen Perspektiven und fasst die Ergebnisse in visuellen Berichten zusammen.

Die detaillierte Recherche ist primär für Investitionsanalysen, Branchenforschung, akademische Arbeiten und strategische Planungen konzipiert, bei denen entscheidungsorientierte Analysen erforderlich sind.

Abbildung 1: Ein Beispiel aus der Forschung von Kimi K2.5 Deep Research zu ESG-Kennzahlen und Anlagerenditen. ¹

Claude für Lebenswissenschaften

Claude for Life Sciences unterstützt wissenschaftliche Arbeiten entlang des gesamten Entwicklungszyklus von Arzneimitteln und Medizinprodukten für Biotechnologie-, Pharma- und Forschungsorganisationen. Jüngste Updates erweitern den Anwendungsbereich über die präklinische Forschung hinaus auf klinische Studien und regulatorische Prozesse und fügen neue Datenkonnektoren und Agentenfunktionen hinzu, die speziell auf reale Anwendungsfälle in den Life Sciences zugeschnitten sind.

Hauptmerkmale und Funktionen:

• Erweiterte wissenschaftliche Konnektoren: Zugang zu Plattformen wie Medidata, ClinicalTrials.gov, bioRxiv/medRxiv, Open Targets, ChEMBL, ToolUniverse und Owkin sowie bestehende Integrationen mit Benchling, PubMed, 10x Genomics, BioRender, Synapse.org und Wiley.
• Klinische Studieninformationen: Sichere Nutzung historischer Daten zur Studienteilnahme und zur Leistung der Studienzentren zur Unterstützung von Machbarkeitsanalysen, Planung der Patientenrekrutierung und Studienüberwachung.
• Unterstützung bei der frühen Wirkstoffforschung: Tools zur Unterstützung der Zielidentifizierung, der Verbindungsanalyse und des Hypothesentests mithilfe kuratierter wissenschaftlicher Datenbanken und computergestützter Werkzeuge.
• Bioinformatik-Workflows: Agentenfähigkeiten und Werkzeugpakete, die Datenverarbeitungs- und Analysepipelines unterstützen, einschließlich scVI-Tools und Nextflow-Implementierungen.
• Protokollerstellung und -planung: Eine Fähigkeit zur Erstellung von klinischen Studienprotokollen, die regulatorische Rahmenbedingungen, Wettbewerbskontext, Empfehlungen zu Endpunkten und relevante FDA-Richtlinien berücksichtigt.
• Vorbereitung auf regulatorische Angelegenheiten: Unterstützung bei der Identifizierung von Lücken in regulatorischen Dokumenten, beim Verfassen von Antworten auf behördliche Anfragen und bei der Navigation durch die geltenden Richtlinien. ²

Gemini Deep Research-Integration mit Gmail, Docs, Drive und Chat

Google hat Gemini Deep Research umfassend aktualisiert und dessen Zugriffsmöglichkeiten auf Daten aus dem gesamten Google-Ökosystem erweitert. Das Tool kann nun Verbindungen zu Gmail, Google Drive (einschließlich Docs, Slides, Sheets und PDFs) und Google Chat herstellen, sodass Nutzer private und geteilte Quellen direkt in ihren Rechercheprozess einbinden können.

Mit diesem Update können Benutzer:

• Erstellen Sie umfassende Berichte, indem Sie Daten aus E-Mails, Dokumenten und Chats mit Informationen aus dem Web kombinieren.
• Führen Sie eine Wettbewerbsanalyse durch, die Projektpläne, Vergleichstabellen und Teamdiskussionen integriert.
• Starten Sie einen mehrstufigen Forschungsplan für ein neues Produkt, indem Sie frühe Brainstorming-Materialien und damit verbundene Kommunikationsstränge analysieren.

Diese Funktion ermöglicht es Gemini Deep Research, sowohl wissenschaftliche Literaturrecherchen als auch Marktforschung zu unterstützen. Durch die Kombination mehrerer Datenquellen können Nutzer detailliertere Analysen erstellen und wichtige Erkenntnisse effizienter gewinnen. ³

Gemini in Chrome: Automatisches Durchsuchen

Google aktualisiert Gemini in Chrome auf macOS, Windows und Chromebook Plus mit Gemini 3 und fügt eine Seitenleiste, eine stärkere Integration von Google-Apps und agentenbasierte Funktionen wie automatisches Surfen hinzu:

• Agentengesteuertes mehrstufiges Surfen und Aktionen: Die neue Auto Browse-Funktion von Chrome nutzt Gemini 3 als Webagenten , der komplexe, mehrstufige Aufgaben autonom ausführen kann, wie z. B. die Recherche von Reiseoptionen, das Ausfüllen von Formularen, den Vergleich von Produkten und die Navigation zwischen Websites, indem er Anweisungen interpretiert und im Namen des Benutzers mit Seiten interagiert.
• Verfügbarkeit: Auto Browse wird derzeit in den USA als Vorschau für Abonnenten von Google AI Pro und AI Ultra eingeführt und erfordert Chrome auf Plattformen wie Windows, macOS oder Chromebook Plus.
• Abdeckung verbundener Apps: Das aktualisierte Gemini in Chrome unterstützt die Integration verbundener Apps mit Diensten wie Gmail, Kalender, YouTube, Maps, Google Shopping und Flights.
  • Bei Aktionen mit sensiblen oder risikoreichen Schritten, wie dem Abschluss eines Kaufs oder dem Posten in sozialen Medien, hält das System inne und fordert eine ausdrückliche Bestätigung des Nutzers an, bevor es fortfährt. ⁴

Microsoft stellt Deep Research im Azure AI Foundry Agent Service vor

Microsoft hat die öffentliche Vorschau von Deep Research im Azure AI Foundry Agent Service veröffentlicht und bietet damit die agentenbasierte Forschungstechnologie von OpenAI über die Azure-Unternehmensplattform an. Der Dienst ermöglicht die Automatisierung komplexer Forschungsaufgaben, die Integration in Geschäftssysteme und die Erstellung transparenter, nachvollziehbarer Forschungsergebnisse. ⁵

Die wichtigsten Merkmale sind:

• Automatisierte mehrstufige Recherche: Nutzt das o3-Deep-Research-Modell zur Planung, Analyse und Synthese von Daten aus dem Web und Unternehmenssystemen.
• Web-Relief mit Bing Search: Gewährleistet, dass die Informationen auf verifizierten, aktuellen Quellen basieren.
• Transparente Ergebnisse: Jeder Bericht enthält zitierte Quellen, Argumentationsschritte und Erläuterungen.
• Integration mit Azure-Tools: Funktioniert mit Logic Apps, Azure Functions und anderen Konnektoren für Berichterstellung und Workflow-Automatisierung.
• Programmatische Flexibilität: Verfügbar über API und SDK, sodass Entwickler KI-gestützte Deep-Research-Tools in Apps und Workflows einbetten können.

So funktioniert es

1. Verdeutlichung der Forschungsabsicht: Das System verwendet GPT-4o und GPT-4.1, um die Forschungsfrage zu definieren.
2. Datenerfassung: Bing Search sammelt zuverlässige Webdaten zur Fundierung.
3. Analyse der Ergebnisse: Das Deep-Research-Modell führt Schlussfolgerungen und Synthesen durch, um umfassende Berichte mit wichtigen Erkenntnissen zu erstellen.
4. Sicherstellung der Compliance: Jedes Ergebnis ist für den unternehmensweiten Einsatz nachvollziehbar und überprüfbar.

Vorteile von KI-gestützten Deep-Research-Tools

Gesteigerte Effizienz und Produktivität

• Literaturrecherchen: KI-gestützte Recherchetools fungieren als Forschungsassistenten und führen eine umfassende Literatursuche in riesigen Datenbanken wissenschaftlicher Artikel durch. Sie identifizieren relevante Artikel und können Informationen synthetisieren, um prägnante Zusammenfassungen zu erstellen. Dadurch wird der Zeit- und Arbeitsaufwand für eine manuelle Literaturrecherche erheblich reduziert.
• Datenerfassung und -analyse: Ein KI-gestützter Forschungsassistent kann die Datenerfassung durch die Analyse großer Datenbanken und Webseiten automatisieren. Diese Tools verfügen über umfassende Analysefunktionen, die es ihnen ermöglichen, massive Datensätze deutlich schneller als herkömmliche Methoden zu verarbeiten und zu analysieren. Sie können Muster und Trends erkennen, die bei einer manuellen Überprüfung möglicherweise übersehen werden. Dies ist entscheidend für komplexe Forschungsaufgaben wie Marktanalysen oder die Erstellung ausführlicher Forschungsberichte.
• Automatisierung wiederkehrender Aufgaben: Künstliche Intelligenz kann wiederkehrende Aufgaben wie Dateneingabe und Formatierung von Quellenangaben übernehmen. Durch die Automatisierung dieser zeitaufwändigen Prozesse können sich Forschende auf komplexere Themen und die kreativen Aspekte ihrer Arbeit konzentrieren.

Tiefere Einblicke und Entdeckungen

• Identifizierung von Forschungslücken: Durch die Analyse bestehender wissenschaftlicher Literatur können KI-Tools Forschenden helfen, Wissenslücken aufzudecken. Dies ist ein entscheidender Schritt für die Formulierung einer neuen Forschungsfrage oder die Entwicklung eines mehrstufigen Forschungsplans. Die Tools liefern leicht verständliche Erkenntnisse in einem strukturierten und übersichtlichen Format.
• Informationssynthese: KI-gestützte Forschungsassistenten können Informationen aus verschiedenen Quellen zusammenführen, einen umfassenden Bericht erstellen und die wichtigsten Ergebnisse hervorheben. Dies ermöglicht Forschern einen breiten Überblick, ohne dass sie jede einzelne Studie vollständig lesen müssen. So sparen sie Zeit und erhalten dennoch fundierte Einblicke.
  • Claudes umfassendes Recherchetool erstellte beispielsweise einen detaillierten Bericht. Dieser Bericht kann als Artefakt veröffentlicht werden, ist online zugänglich und kann von Suchmaschinen gefunden werden.
• Verbindungen erforschen: Tools zur Visualisierung von Zitationsnetzwerken helfen Forschern, die Zusammenhänge zwischen verschiedenen wissenschaftlichen Publikationen zu erkennen. Dies kann zu neuen Erkenntnissen und einem umfassenderen Verständnis eines Forschungsfeldes führen.

In unserer zweiten Aufgabe indexierte Grok beispielsweise über 100 verschiedene Seiten. Normalerweise benötigt ein Mensch Stunden, um all diese Seiten zu lesen und die Informationen daraus zu extrahieren, Grok hingegen nur etwa 2 Minuten.

Daher können diese Tools den Forschungsprozess beschleunigen. Nutzer sollten jedoch stets bedenken, dass diese Tools irreführende und falsche Informationen generieren können. Seien Sie daher vorsichtig bei der Verwendung von Informationen, die direkt aus einem LLM-Artikel stammen.

Herausforderungen und Grenzen von KI-gestützten Deep-Research-Tools

Genauigkeit und Zuverlässigkeit

Die meisten Menschen misstrauen den von LLMs generierten Informationen und überprüfen sie selbst, da sie wissen, dass LLMs Halluzinationen haben können. Das Problem bei tiefergehender Recherche besteht darin, dass Nutzer fälschlicherweise annehmen könnten, die Informationen seien immer korrekt, weil sie umfassender als ein normaler Chat ist und Quellen angibt. LLMs (selbst nach gründlicher Recherche) neigen jedoch weiterhin zu Halluzinationen, was zu schwerwiegenden Missverständnissen führen kann.

• Mangelnder Kontext und fehlende Nuancen: Ein KI-gestützter Forschungsassistent kann Schwierigkeiten haben, den vollständigen Kontext einer Forschungsaufgabe zu erfassen und Informationen möglicherweise zusammenzufassen, ohne deren tiefere Bedeutung zu verstehen. Dies kann zu unvollständigen oder falschen Schlussfolgerungen führen.
• Veraltete Informationen: Die Trainingsdaten für einige KI-Modelle sind möglicherweise nicht aktuell, sodass sie neuere Entwicklungen in wissenschaftlichen Artikeln oder anderer akademischer Literatur nicht berücksichtigen.
• Quellenglaubwürdigkeit: KI-Tools haben oft Schwierigkeiten, zwischen vertrauenswürdigen und unzuverlässigen Quellen zu unterscheiden und behandeln alle Informationen aus dem offenen Internet als gleichwertig. Menschliches Urteilsvermögen ist daher unerlässlich, um die Glaubwürdigkeit von Quellen für einen fundierten Forschungsbericht zu überprüfen.

Voreingenommenheit und ethische Bedenken

• Algorithmische Verzerrung: Enthalten die zum Trainieren von KI-Modellen verwendeten Datensätze gesellschaftliche Verzerrungen, lernt und perpetuiert die KI diese. Dies kann zu Ergebnissen führen, die bestimmte Bevölkerungsgruppen benachteiligen und die Integrität tiefgreifender Forschung beeinträchtigen.
• Datenschutz: Der Einsatz von KI-Tools beinhaltet die Verarbeitung großer Datenmengen, was erhebliche Bedenken hinsichtlich Datenschutz und Datensicherheit aufwirft. Von Forschern eingegebene geschützte oder vertrauliche Daten könnten zum Trainieren zukünftiger Modelle verwendet werden, wodurch das Risiko eines Datenlecks entsteht.
• Eigentum und Urheberrecht: Wenn ein KI-Tool Informationen aus verschiedenen Quellen zusammenführt, entstehen Fragen zum geistigen Eigentum und zur korrekten Quellenangabe. Es ist oft schwierig, die Eigentumsrechte am Endergebnis zu klären und sicherzustellen, dass alle Quellenangaben korrekt sind.

Menschliches Können und übermäßige Abhängigkeit

• Die Illusion von Expertise: KI-Tools können zwar einen ausgefeilten, strukturierten Bericht erstellen und so fälschlicherweise den Eindruck einer umfassenden Expertenanalyse erwecken. Das Tool ist jedoch lediglich ein Forschungsassistent und kein Ersatz für das Urteilsvermögen, die Expertise und die Sorgfalt, die ein menschlicher Forscher bei komplexen Forschungsaufgaben einbringt. Dies gilt insbesondere für Entscheidungsträger, die vor weitreichenden Entscheidungen stehen.
• Verlust kritischen Denkens: Eine übermäßige Nutzung von KI-Forschungswerkzeugen kann das kritische Denken und die analytischen Fähigkeiten von Forschern beeinträchtigen. Die Bereitstellung aller Antworten kann die Beteiligung der Nutzer an den komplexen Forschungsprozessen verringern, die für qualitativ hochwertige wissenschaftliche Arbeiten unerlässlich sind.
• Steile Lernkurve: Trotz ihrer benutzerfreundlichen Gestaltung erfordern viele Forschungswerkzeuge eine gewisse Einarbeitungszeit, insbesondere bei ihren fortgeschrittenen Funktionen. Forschende müssen unter Umständen Zeit investieren, um die umfassenden Forschungsmöglichkeiten des Werkzeugs voll auszuschöpfen.

Gary Marcus warnte außerdem davor, dass dies zu einem Rückgang der Qualität wissenschaftlicher Arbeiten führen könne. ⁶

Methodik

In unserem DR-50-Benchmark haben wir KI-Forschungstools anhand von 50 Fragen aus sechs verschiedenen Fragetypen evaluiert:

1. Einfache Faktensuche

Bei Single-Hop-Fragen ist ein unkomplizierter Datenabruf aus einer einzigen Quelle erforderlich.

Beispiel: „Wie hoch ist der Inputpreis von 1 Million Token für das llama-3-70b-Modell von DeepInfra?“

2. Vergleichende Analyse

Für eine quellenübergreifende Evaluierung müssen Daten von mehreren Anbietern erhoben werden, um Produkte oder Dienstleistungen zu vergleichen.

Beispiel: „Welcher Anbieter bietet Lama-3.2-1b zum günstigsten Mischpreis an?“

3. Multi-Hop-Schlussfolgerung

Sequenzielle Schlussfolgerungsketten erfordern mehrere voneinander abhängige Schritte der Informationsbeschaffung.

Beispiel: „Wie hoch ist der Inputpreis pro 1 Million Token auf OpenRouter für das Modell, das im AIMultiple Finance Reasoning Benchmark den 1. Platz belegte?“

4. Berechnungsbasiert

An den abgerufenen numerischen Daten werden mathematische Operationen durchgeführt.

Beispiel: „Wie groß ist der Unterschied im Durchschnittspreis zwischen den beiden günstigsten Mistral AI-Modellen?“

5. Strukturierte JSON-Extraktion

Die Datenerfassung erfordert eine strikte JSON-Formatierung mit mehreren strukturierten Werten.

Beispiel: „Welche Architektur, welchen Speicher und welche Bandbreite bietet die NVIDIA H200 SXM?“ Format: {„Architektur“: „…“, „Speicher“: „…“, „Bandbreite“: „…“}“

6. Kategorische Auflistung

Vollständige Auflistung aller Elemente innerhalb einer bestimmten Kategorie.

Beispiel: „Alle MCP-Server in der Blockchain-Kategorie bereitstellen.“

Bewertungsmetriken

Genauigkeit

Wir verglichen jede Antwort mit vordefinierten Referenzantworten mithilfe von GPT-4o-mini als automatisiertem Bewertungssystem über OpenRouter. Der endgültige Genauigkeitswert gibt den Prozentsatz korrekter Antworten über alle 50 Anfragen hinweg an.

Token-Zählung

Wir verwendeten die tiktoken-Bibliothek, um die Token clientseitig zu messen und validierten diese Messungen mit den Token-Zählungen, die von den APIs und Benutzeroberflächen der Anbieter gemeldet wurden, sofern verfügbar.

Latenz

Wir haben die Latenz als die Zeitspanne von der Anfrageinitiierung bis zum Empfang der vollständigen Antwort in Sekunden gemessen. Diese Messungen wurden, sofern verfügbar, mit den von den Anbieter-APIs und -Benutzeroberflächen gemeldeten Latenzmetriken validiert.

Kosten

Wir haben die Kosten manuell über das Abrechnungs-Dashboard jedes Anbieters erfasst.

Zitate

Wir haben automatisch Zitate aus den Antwortmetadaten jeder API extrahiert und die Anzahl der pro Antwort zitierten eindeutigen URLs gezählt.

Technische Einrichtung

Wir führten den Benchmark sequenziell aus, wobei jede API alle 50 Abfragen abschloss, bevor die nächste API gestartet wurde. Um eine Ratenbegrenzung zu vermeiden, implementierten wir eine Verzögerung von 5 Sekunden zwischen aufeinanderfolgenden Abfragen und legten keine Timeout-Limits fest, sodass Anfragen unbegrenzt auf ihre Fertigstellung warten konnten.

Beim DR-2T-Benchmark, der auf verschiedenen Aufgaben basiert, wurde jedes Datenelement in der Eingabeaufforderung mit 1 Punkt bewertet. Wenn die Ausgabe nicht in Tabellenform vorlag, wurde sie mit 0 Punkten bewertet.

Aufgabenstellung 1

Recherchieren und bewerten Sie die Top 5 der Passwortmanagement-Lösungen für Unternehmen anhand der folgenden Kriterien, um die effektivste Lösung für den Unternehmenseinsatz zu ermitteln.

Kriterien

1. Sicherheitsmerkmale

• verwendeter Verschlüsselungsstandard
• Implementierung der Zero-Knowledge-Architektur
• Unterstützte MFA-Optionen
• Sicherheitszertifizierungen von Drittanbietern
• Funktionen zur Überwachung des Passwortzustands

2. Bereitstellung und Integration

• Bereitstellungsoptionen
• Funktionen zur Verzeichnisintegration
• API-Verfügbarkeit und -Funktionalität
• SSO-Integration

3. Benutzererfahrung

• Browser-Erweiterungskompatibilität
• Verfügbarkeit und Bewertung der mobilen App
• Offline-Zugriffsfunktionen
• Passwortfreigabefunktion

4. Verwaltung

• Optionen zur Durchsetzung der Passwortrichtlinie
• Automatisierung der Benutzerbereitstellung/-entfernung
• Berichts- und Compliance-Funktionen
• Notfallzugangsprotokolle

5. Kosten und Skalierbarkeit

• Preisvergleich anhand standardisierter Unternehmensszenarien (100 Benutzer, 500 Benutzer, 1000+ Benutzer)

Lieferformat

1. Detaillierte Tabelle für jedes Kriterium
2. Kostenvergleichstabelle mit standardisierten Szenarien

Aufgabenstellung für Aufgabe 2

In unserer zweiten Aufgabe ging es darum, den Umfang der durchgeführten Forschung zu ermitteln. Dazu verglichen wir die Anzahl der zitierten Referenzen. Der Vergleich von Artikeln ist in diesem Fall keine objektive Methode, da es nicht möglich ist, eine endgültige Wahrheit zu ermitteln.

Allerdings lässt sich aus der Anzahl der Referenzen ein Hinweis auf ihre Fähigkeit gewinnen, Informationen bereitzustellen, da die Stärke dieser Tools in ihrer Fähigkeit liegt, Hunderte von Webseiten in wenigen Minuten zu indexieren.

FAQs

Referenzlinks

1.

Kimi K2.5 | Open Visual Agentic Model for Real Work

Kimi

2.

Advancing Claude in healthcare and the life sciences \ Anthropic

3.

Google Workspace apps can now be integrated into Deep Research

Google

4.

Chrome gets new Gemini 3 features, including auto browse

Google

5.

Introducing Deep Research in Azure AI Foundry Agent Service | Microsoft Azure Blog

Microsoft Azure Blog

6.

Deep Research, Deep Bullshit, and the potential (model) collapse of science

Marcus on AI

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 55 % der Fortune 500. Cems Arbeit wurde von führenden globalen Publikationen wie Business Insider, Forbes und der Washington Post, von globalen Unternehmen wie Deloitte und HPE sowie von NGOs wie dem Weltwirtschaftsforum und supranationalen Organisationen wie der Europäischen Kommission zitiert. Weitere namhafte Unternehmen und Ressourcen, die AIMultiple referenziert haben, finden Sie hier. Im Laufe seiner Karriere war Cem als Technologieberater, Technologieeinkäufer und Technologieunternehmer tätig. Über ein Jahrzehnt lang beriet er Unternehmen bei McKinsey & Company und Altman Solon in ihren Technologieentscheidungen. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung. Bei einem Telekommunikationsunternehmen leitete er die Technologiestrategie und -beschaffung und berichtete direkt an den CEO. Darüber hinaus verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von null auf einen siebenstelligen jährlichen wiederkehrenden Umsatz und eine neunstellige Unternehmensbewertung kam. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider gewürdigt. Er ist ein gefragter Redner auf internationalen Technologiekonferenzen. Cem absolvierte sein Studium der Informatik an der Bogazici-Universität und besitzt einen MBA der Columbia Business School.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten