Ricerca approfondita AI: Claude vs ChatGPT vs Grok

La ricerca approfondita AI offre agli utenti una gamma più ampia di risultati di ricerca rispetto ai motori di ricerca AI. Per vedere le prestazioni tra diversi strumenti di ricerca approfondita AI, stiamo introducendo tre nuovi benchmark:

DR-50 (Deep Research 50) Bench, che valuta gli strumenti su 50 domande che coprono sei tipi di domande, DR-2T (Deep Research 2 Task) Bench, che valuta gli strumenti attraverso due compiti di ricerca del mondo reale focalizzati sulla qualità della generazione di rapporti, sulla copertura delle fonti e sulla presentazione dei dati strutturati, e Agent vs Deep Research Models, dimostra che gli agenti sono più economici dei modelli di ricerca approfondita fornendo livelli comparabili di accuratezza.

Risultati del benchmark DR-50

Confronto tra accuratezza e latenza

Abbiamo testato gli strumenti di ricerca approfondita AI su 50 domande con 6 tipi di domande distinti. Consulta la nostra metodologia del benchmark

Perplexity Sonar Deep Research mostra la massima accuratezza al 34% con latenza moderata. Parallel Ultra e o4 mini deep research dimostrano livelli di accuratezza simili intorno al 22-24%, sebbene Parallel Ultra richieda significativamente più tempo. o3-deep-research mostra la minima accuratezza con latenza prolungata.

Costo e latenza sul singolo compito riuscito

Abbiamo misurato costo e latenza su una singola domanda in cui tutti gli strumenti hanno avuto successo. o4 mini deep research e Perplexity Ultra occupano la regione efficiente con bassi costi e tempi di completamento più rapidi. o3 deep research opera a costi più elevati con latenza più lunga. Parallel mostra la latenza più lunga nonostante costi moderati.

Citazioni

La quantità di citazioni varia indipendentemente da costo e latenza. o4 mini deep research fornisce significativamente più citazioni mantenendo l'efficienza, suggerendo approcci diversi alla raccolta e al riferimento delle informazioni. Le minime citazioni in o3 deep research, nonostante il suo costo premium, indicano che il numero di citazioni non è legato al consumo di risorse.

Risultati del benchmark DR-2T

Abbiamo anche condotto un secondo benchmark sui migliori 7 strumenti di ricerca approfondita AI con due compiti e li abbiamo valutati su cinque dimensioni.

Li abbiamo valutati in base all'accuratezza e al numero di fonti. Consulta la metodologia per vedere come abbiamo valutato queste soluzioni.

Gemini guida nell'accuratezza dei dati forniti:

Claude è il leader in base al numero di fonti indicizzate:

Compito 1:

Abbiamo chiesto loro di creare tabelle sul software di gestione delle password aziendali secondo il nostro prompt. Vedi l'intero prompt.

Quasi tutti gli strumenti hanno fornito tabelle dettagliate contenenti le informazioni richieste, sebbene i loro approcci alla presentazione dei dati variassero significativamente.

Per la generazione completa di rapporti:

• Gemini e Claude sono emersi come le soluzioni leader, fornendo rapporti analitici estesi con approfondimenti sintetizzati e analisi contestuali.
• In contrasto, Bright Data Deep Lookup* si è concentrato principalmente sull'estrazione dei dati, fornendo tabelle strutturate con contenuto narrativo limitato.

I ricercatori dovrebbero selezionare gli strumenti in base alle loro specifiche esigenze di ricerca. Coloro che richiedono analisi complete e soluzioni focalizzate sui rapporti troveranno Gemini e Claude più adatti, poiché questi strumenti sono più focalizzati sulla sintesi delle informazioni in rapporti dettagliati.

Al contrario, i ricercatori che danno priorità alla raccolta di dati grezzi e richiedono ricerche web su larga scala trarranno maggior beneficio da Bright Data, che fornisce una copertura estesa dei dati web con livelli di confidenza e spiegazioni dettagliate della rilevanza e dell'affidabilità delle fonti.

Questo approccio incentrato sui dati rende Bright Data prezioso per le revisioni sistematiche che richiedono la verifica di un alto volume di fonti.

Kimi impiega una metodologia distintiva per la generazione di rapporti, producendo un rapporto interattivo che incorpora riassunti esecutivi, sezioni mirate "migliore per" e raccomandazioni strategiche.

Il rapporto presenta visualizzazioni dei dati integrate e attribuzione delle fonti, risultando in un prodotto finale completo adatto all'implementazione immediata senza ulteriori modifiche.

Nota: Perplexity ha fornito un rapporto dettagliato ma non è riuscito a creare una tabella con le informazioni raccolte. Poiché il nostro prompt richiedeva specificamente output tabellari, ha ricevuto zero punti per quel compito.

*Agiorneremo Bright Data Deep Lookup quando il prodotto uscirà dalla fase beta.

Compito 2:

L'obiettivo di questo compito è valutare la loro velocità e copertura nella ricerca. Abbiamo richiesto un rapporto dettagliato sull'adozione di RPA per determinare il numero di pagine indicizzate e il tempo necessario per generare un rapporto.

Certo, il numero di fonti non deve necessariamente correlare con la qualità della ricerca. Tuttavia, poiché questi strumenti sono progettati per accelerare la ricerca, lo abbiamo considerato una metrica importante.

Dovremmo anche notare che i tempi di ricerca variano significativamente tra questi strumenti. Grok Deep Search è circa 10 volte più veloce di ChatGPT Deep Research e cerca circa 3 volte più pagine web.

Claude Deep Search è anche altamente reattivo, avendo ricercato 261 fonti in oltre 6 minuti. Tuttavia, Gemini potrebbe non essere una scelta ideale per chi cerca una soluzione veloce e reattiva, poiché ha ricercato 62 fonti in oltre 15 minuti.

Benchmark Agenti vs Modelli di Ricerca Approfondita

Gli agenti AI come Claude Code e OpenAI Codex possono cercare sul web, recuperare pagine specifiche ed estrarre dati attraverso chiamate mirate agli strumenti. Abbiamo testato se questo approccio agentic corrisponde alle prestazioni dei modelli di ricerca approfondita costruiti appositamente per compiti di ricerca fattuale. Sei strumenti sono stati valutati su 5 compiti con 33 checkpoint ground-truth che coprono eventi aziendali, M&A, documentazione software e ricerca AI. Consulta la nostra metodologia.

Parallel Ultra e Claude Code sono risultati pari al vertice con il 97% di accuratezza. Codex ha seguito con il 93,9%. Perplexity Sonar ha ottenuto 87,9%. I modelli di ricerca approfondita di OpenAI (o3 e o4-mini) hanno ottenuto tra il 75,8% e l'81,8%, nonostante eseguano 27-125 ricerche web per compito e costino 2-6 volte di più di Sonar.

I migliori performer condividono un modello: navigano verso fonti primarie e le leggono attentamente. Codex è andato al deposito SEC 8-K per il Compito 2 e alla dichiarazione di proxy SEC per il Compito 3. Claude Code ha recuperato direttamente le pagine della documentazione Unity nel Compito 1. Parallel ha trovato la cifra specifica del pagamento Zaslav (886,8 milioni di dollari) che tre altri strumenti hanno perso. o3 e o4-mini hanno cercato ampiamente ma hanno estratto informazioni meno precise dalle pagine che hanno trovato.

Claude Code e Codex occupano l'angolo in alto a destra: alta accuratezza a basso costo (1,54 $ e 1,30 $, rispettivamente). Parallel ottiene la stessa accuratezza per 2,10 $. o3 costa 10,92 $ per un'accuratezza del 75,8%. Nella scheda latenza, Claude Code è il più veloce a 1,7 minuti per compito in media. Parallel è il più lento a 16,7 minuti ma corrisponde alla massima accuratezza. Sonar si trova in una forte posizione centrale a 2,3 minuti e 87,9%.

Sonar produce 5.253 parole per compito in media. Gli agenti producono 398-483. Sonar ha scritto 4.509 parole sulla struttura Unity EntityId ma ha potuto nominare solo una delle sue cinque metodi pubblici. Codex ha scritto 248 parole e ha nominato tutte e cinque. Parallel ha scritto 1.037 parole e le ha ottenute correttamente. Più parole e più citazioni non hanno previsto una maggiore accuratezza.

Approfondimento: Migrazione da Unity 2022.3 a Unity 6 (Compito 5)

Il Compito 5 è il compito più complesso nel benchmark. Ha chiesto a ogni strumento di creare una guida di transizione da Unity 2022.3 LTS a Unity 6.3 LTS. Il prompt specificava numeri di versione esatti: 2022.3.62f3, 2022.3.74f1 e 6000.3.12f1. Una risposta corretta richiede la lettura della pagina dei requisiti di sistema di Unity 6.3, della pagina del ciclo di vita del supporto e di quattro guide di aggiornamento separate (6.0, 6.1, 6.2, 6.3).

Tre strumenti su sei hanno restituito i requisiti di sistema per Unity 6.0 invece di Unity 6.3.

o3, o4-mini e Claude Code hanno tutti fatto riferimento alla pagina della documentazione Unity 6.0 invece della pagina 6.3, nonostante il prompt specificasse "Unity 6.3" e il numero di build "6000.3.12f1".

Un team che segue la guida di o3 mirerebbe a API 25 di Android (Android 6.0). Unity 6.3 richiede API 25 (Android 7.1). La build fallirebbe o verrebbe distribuita mirando a una piattaforma non supportata. La guida stessa sembra professionale: tabelle pulite, struttura sensata, tono corretto. I numeri sono sbagliati.

Codex e Parallel hanno ottenuto tutti i numeri corretti. Codex ha navigato direttamente alla pagina dei requisiti di sistema 6.3 e l'ha confrontata riga per riga con la pagina 2022.3. Ha persino identificato che il minimo iOS è passato da 12 a 13 all'interno della linea 2022.3 alla build 2022.3.72f1, prima di saltare a 15 in 6.3. Parallel ha prodotto una guida completa con numeri corretti e 35 fonti citate.

Come ogni strumento ha affrontato la questione:

Claude Code ha generato 4 sub-agenti paralleli, ognuno gestendo una parte diversa della domanda: date di supporto, percorso di aggiornamento, cambiamenti di rottura e requisiti di sistema. Veloce (3 minuti 59 secondi), ma il sub-agente dei requisiti di sistema ha recuperato la pagina sbagliata dei documenti.

Codex ha eseguito 90 ricerche web sequenziali in 6 minuti 17 secondi. Ha recuperato la guida di aggiornamento 6.3, la pagina dei requisiti di sistema 6.3 e la pagina dei requisiti di sistema 2022.3 individualmente. Più lento ma metodico. Ogni numero era corretto.

o3 ha impiegato 8 minuti e 32 ricerche web. Ha prodotto 2.132 parole di consigli generali sulla migrazione ma ha estratto le tempistiche di supporto e i requisiti di sistema dalla documentazione 6.0. Non ha menzionato alcun cambiamento di rottura specifico per 6.3 (rimozione della Modalità di Compatibilità URP, deprecazione di Netcode 1.x, deprecazione di Relay/Lobby).

Nessuno strumento ha letto tutte e quattro le guide di aggiornamento (6.0, 6.1, 6.2, 6.3) in sequenza. La documentazione di Unity afferma che gli sviluppatori dovrebbero seguirle in ordine perché ognuna contiene cambiamenti di rottura unici. Ogni strumento ha trovato la pagina più prominente ed estratto da quella. Questa è una limitazione strutturale per qualsiasi compito di ricerca che richiede di lavorare attraverso una serie di documenti correlati piuttosto che trovare una singola risposta.

Sviluppi negli strumenti di ricerca approfondita AI

Kimi K2.5

Kimi K2.5 può elaborare testo, immagini e video, generare codice pronto per la produzione ed eseguire flussi di lavoro complessi utilizzando un'architettura di sciame di agenti.

Agent Swarm è il meccanismo di Kimi K2.5 per gestire compiti complessi trasformando un singolo modello in un team coordinato di agenti AI. Invece di eseguire un compito in sequenza, Kimi crea più sub-agenti specializzati, a ciascuno assegnato un ruolo specifico come ricerca, analisi, codifica, verifica o strutturazione dei contenuti. Questi agenti operano in parallelo, usano strumenti indipendentemente e condividono risultati intermedi, il che riduce significativamente il tempo di esecuzione per flussi di lavoro a lungo orizzonte.

Lo sciame scompone un obiettivo di alto livello in sottocompiti, li assegna agli agenti, monitora i progressi e integra gli output in un risultato finale coerente. Questo approccio è particolarmente utile per la ricerca approfondita, la creazione di documenti su larga scala, l'elaborazione batch e la risoluzione di problemi multi-step, in cui diverse parti del lavoro possono procedere simultaneamente.

Kimi K2.5 Deep Research

Kimi K2.5 Deep Research supporta la ricerca end-to-end e la generazione di rapporti per domande complesse. Raccoglie informazioni da più fonti, analizza argomenti da più prospettive e sintetizza i risultati in rapporti visivi.

La ricerca approfondita è progettata principalmente per l'analisi degli investimenti, la ricerca industriale, il lavoro accademico e la pianificazione strategica, dove è richiesta un'analisi orientata alle decisioni.

Figura 1: Un esempio di ricerca da Kimi K2.5 Deep Research su metriche ESG e rendimenti degli investimenti.¹

Claude per le scienze della vita

Claude for Life Sciences è progettato per supportare il lavoro scientifico in tutto il ciclo di vita dello sviluppo di farmaci e dispositivi per organizzazioni di biotecnologia, farmaceutiche e di ricerca. Gli aggiornamenti recenti espandono il suo ambito oltre la ricerca preclinica nelle operazioni di trial clinici e nei flussi di lavoro normativi, aggiungendo nuovi connettori di dati e competenze di agenti adattate a casi d'uso reali delle scienze della vita.

Caratteristiche e capacità chiave:

• Connettori scientifici ampliati: Accesso a piattaforme come Medidata, ClinicalTrials.gov, bioRxiv/medRxiv, Open Targets, ChEMBL, ToolUniverse e Owkin, insieme alle integrazioni esistenti con Benchling, PubMed, 10x Genomics, BioRender, Synapse.org e Wiley.
• Intelligenza sui trial clinici: Uso sicuro dei dati storici di arruolamento nei trial e delle prestazioni dei siti per supportare l'analisi di fattibilità, la pianificazione del reclutamento dei pazienti e il monitoraggio dei trial.
• Supporto alla scoperta precoce: Strumenti per assistere nell'identificazione dei target, nell'analisi dei composti e nei test delle ipotesi utilizzando database scientifici curati e strumenti computazionali.
• Flussi di lavoro di bioinformatica: Competenze di agenti e bundle di strumenti che supportano pipeline di elaborazione e analisi dei dati, inclusi scVI-tools e distribuzioni Nextflow.
• Redazione e pianificazione dei protocolli: Una competenza di redazione del protocollo di trial clinico che incorpora percorsi normativi, contesto competitivo, raccomandazioni sugli endpoint e linee guida FDA pertinenti.
• Preparazione normativa: Assistenza nell'identificazione di lacune nei documenti normativi, nella redazione di risposte alle domande delle agenzie e nella navigazione delle linee guida applicabili.²

Integrazione di Gemini Deep Research con Gmail, Docs, Drive e Chat

Google ha introdotto un aggiornamento significativo a Gemini Deep Research, espandendo la sua capacità di accedere ai dati da tutto l'ecosistema Google. Lo strumento può ora connettersi a Gmail, Google Drive (inclusi Docs, Slides, Sheets e PDF) e Google Chat, consentendo agli utenti di includere fonti private e condivise direttamente nel loro processo di ricerca.

Con questo aggiornamento, gli utenti possono:

• Costruire rapporti completi combinando dati da email, documenti e chat con informazioni web.
• Eseguire un'analisi competitiva che integra piani di progetto, fogli di calcolo di confronto e discussioni di team.
• Avviare un piano di ricerca multi-step per un nuovo prodotto analizzando materiali di brainstorming iniziali e thread di comunicazione correlati.

Questa funzionalità consente a Gemini Deep Research di supportare sia le revisioni della letteratura accademica che la ricerca di mercato. Combinando più fonti di dati, gli utenti possono generare analisi più dettagliate e scoprire approfondimenti chiave in modo più efficiente.³

Gemini in Chrome: Auto browse

Google sta aggiornando Gemini in Chrome su macOS, Windows e Chromebook Plus con Gemini 3, aggiungendo un pannello laterale, un supporto più integrato per le app Google e funzionalità agentiche come auto-browse:

• Navigazione e azioni agentiche multi-step: La nuova funzionalità Auto Browse di Chrome utilizza Gemini 3 per agire come un agente web che può eseguire autonomamente compiti complessi e multi-step, come la ricerca di opzioni di viaggio, la compilazione di moduli, il confronto di prodotti e la navigazione tra siti web interpretando le istruzioni e interagendo con le pagine per conto dell'utente.
• Disponibilità: Auto Browse è attualmente in rollout in anteprima per gli abbonati Google AI Pro e AI Ultra negli Stati Uniti e richiede Chrome su piattaforme come Windows, macOS o Chromebook Plus.
• Copertura delle app connesse: Il Gemini aggiornato in Chrome supporta integrazioni di app connesse con servizi come Gmail, Calendar, YouTube, Maps, Google Shopping e Flights.
  • Per azioni che coinvolgono passaggi sensibili o ad alto rischio, come completare un acquisto o pubblicare sui social media, il sistema si interrompe e richiede una conferma esplicita dell'utente prima di procedere.⁴

Microsoft introduce Deep Research nel servizio Agent di Azure AI Foundry

Microsoft ha lanciato l'anteprima pubblica di Deep Research all'interno del servizio Agent di Azure AI Foundry, offrendo la tecnologia di ricerca agentic di OpenAI attraverso la piattaforma aziendale di Azure. Il servizio consente l'automazione di compiti di ricerca complessi, l'integrazione tra sistemi aziendali e la creazione di output di ricerca trasparenti e verificabili.⁵

Le caratteristiche chiave sono:

• Ricerca automatizzata multi-step: Utilizza il modello o3-deep-research per pianificare, analizzare e sintetizzare dati dal web e dai sistemi aziendali.
• Fondamentazione web con Bing Search: Assicura che le informazioni siano basate su fonti verificate e attuali.
• Output trasparenti: Ogni rapporto include fonti citate, passaggi di ragionamento e chiarimenti.
• Integrazione con gli strumenti Azure: Funziona con Logic Apps, Azure Functions e altri connettori per la reportistica e l'automazione dei flussi di lavoro.
• Flessibilità programmatica: Disponibile tramite API e SDK, consentendo agli sviluppatori di incorporare strumenti di ricerca approfondita AI nelle app e nei flussi di lavoro.

Come funziona

1. Chiarimento dell'intento di ricerca: Il sistema utilizza GPT-4o e GPT-4.1 per definire la domanda di ricerca.
2. Raccolta dei dati: Bing Search raccoglie dati web affidabili per la fondazione.
3. Analisi dei risultati: Il modello di ricerca approfondita esegue ragionamento e sintesi per produrre rapporti completi con approfondimenti chiave.
4. Garantire la conformità: Ogni risultato è tracciabile e verificabile per l'uso aziendale.

Vantaggi degli strumenti di ricerca approfondita AI

Efficienza e produttività migliorate

• Revisioni della letteratura: Gli strumenti di ricerca AI agiscono come un assistente di ricerca, eseguendo una ricerca approfondita della letteratura su vasti database di articoli scientifici. Identificano articoli pertinenti e possono sintetizzare informazioni per generare riassunti concisi, riducendo significativamente il tempo e lo sforzo necessari per una revisione manuale della letteratura.
• Raccolta e analisi dei dati: Un assistente di ricerca AI può automatizzare la raccolta dei dati estraendo grandi database e pagine web. Questi strumenti possiedono capacità di ricerca approfondita che consentono loro di elaborare e analizzare dataset massicci molto più velocemente dei metodi tradizionali. Possono identificare modelli e tendenze che potrebbero essere persi da una revisione manuale, il che è cruciale per compiti di ricerca complessi come l'analisi di mercato o la creazione di un rapporto di ricerca approfondita.
• Automazione di compiti ripetitivi: L'AI può gestire compiti ripetitivi come l'inserimento di dati e la formattazione delle citazioni delle fonti. Automatizzando questi processi che richiedono tempo, i ricercatori possono concentrarsi su argomenti più complessi e sugli aspetti creativi del loro lavoro.

Approfondimenti e scoperte più profondi

• Identificazione delle lacune nella ricerca: Analizzando la letteratura accademica esistente, gli strumenti AI possono aiutare i ricercatori a individuare lacune nelle conoscenze attuali. Questo è un passo critico per formulare una nuova domanda di ricerca o sviluppare un piano di ricerca multi-step. Questi strumenti forniscono approfondimenti facili da leggere in un formato strutturato e ordinatamente organizzato.
• Sintesi delle informazioni: Gli assistenti di ricerca AI possono sintetizzare informazioni da più fonti, generando un rapporto completo e evidenziando le scoperte chiave. Questo offre ai ricercatori una panoramica ampia senza dover leggere ogni singolo articolo per intero, il che fa risparmiare tempo fornendo comunque approfondimenti completi.
  • Ad esempio, lo strumento di ricerca approfondita di Claude ha generato un rapporto dettagliato. Il rapporto può essere pubblicato come Artifact, che è accessibile online e può essere visibile sui motori di ricerca.
• Esplorazione delle connessioni: Gli strumenti che visualizzano le reti di citazioni possono aiutare i ricercatori a vedere come diversi articoli scientifici sono interconnessi. Questo può portare a scoperte e una comprensione più completa di un campo di ricerca.

Ad esempio, Grok ha indicizzato più di 100 pagine diverse nel nostro secondo compito. Normalmente, ci vogliono ore per un umano per leggere e raccogliere informazioni da tutte queste pagine, ma ci sono voluti ~2 minuti per Grok.

Quindi, questi strumenti possono accelerare il processo di ricerca. Tuttavia, gli utenti dovrebbero sempre ricordare che questi strumenti possono allucinare e generare informazioni errate, quindi siate cauti quando utilizzate informazioni prese direttamente da un LLM.

Scopri altri nostri benchmark e approfondimenti basati sui dati nella Ricerca Google.

Aggiungi come fonte preferita

Sfide e limitazioni degli strumenti di ricerca approfondita AI

Accuratezza e affidabilità

La maggior parte delle persone è sospettosa dell'accuratezza delle informazioni generate da LLM e le ricontrolla da soli perché sanno che gli LLM possono allucinare. Il problema con la ricerca approfondita è che, poiché conduce ricerche più complete rispetto alla chat standard e fornisce fonti, gli utenti potrebbero erroneamente assumere che fornisca sempre informazioni accurate. Gli LLM (anche con ricerca approfondita) tendono ancora ad allucinare, e questo può portare a gravi incomprensioni.

• Mancanza di contesto e sfumature: Un assistente di ricerca AI potrebbe faticare a cogliere il contesto completo di un compito di ricerca, potenzialmente riassumendo informazioni senza comprenderne il significato più profondo. Questo può portare a conclusioni incomplete o errate.
• Informazioni obsolete: I dati di allenamento per alcuni modelli AI potrebbero non essere attuali, facendoli perdere sviluppi recenti in articoli scientifici o altra letteratura accademica.
• Attendibilità delle fonti: Gli strumenti AI spesso faticano a distinguere tra fonti autorevoli e inaffidabili, trattando tutte le informazioni dal web aperto come ugualmente valide. Il giudizio umano è essenziale per verificare l'attendibilità delle fonti per un rapporto di ricerca approfondita.

Pregiudizi e preoccupazioni etiche

• Pregiudizio algoritmico: Se i dataset utilizzati per addestrare i modelli AI contengono pregiudizi sociali, l'AI li imparerà e li perpetuerà. Questo può portare a output che sono pregiudicati contro specifici gruppi demografici, influenzando l'integrità della ricerca approfondita.
• Privacy dei dati: L'uso di strumenti AI comporta l'elaborazione di grandi quantità di dati, il che solleva preoccupazioni significative sulla privacy e la sicurezza. Dati proprietari o confidenziali inseriti da un ricercatore potrebbero essere utilizzati per addestrare modelli futuri, portando a un rischio di perdita di dati.
• Proprietà e copyright: Quando uno strumento AI sintetizza informazioni da più fonti, sorgono domande riguardo alla proprietà intellettuale e alla corretta attribuzione. Spesso è difficile determinare la proprietà dell'output finale e garantire che tutte le citazioni delle fonti siano corrette.

Abilità umana e eccessiva dipendenza

• L'illusione di competenza: Gli strumenti AI possono produrre un rapporto lucido e strutturato, creando la falsa impressione di un'analisi completa ed esperta. Lo strumento è un assistente di ricerca, non un sostituto del giudizio, dell'esperienza e della scrupolosità che un ricercatore umano fornisce a compiti di ricerca complessi. Questo è particolarmente rilevante per i decisori che affrontano decisioni ad alto rischio.
• Erosione del pensiero critico: Un'eccessiva dipendenza dagli strumenti di ricerca AI può diminuire il pensiero critico e le capacità analitiche di un ricercatore. Fornire tutte le risposte può ridurre l'impegno dell'utente nei processi di ricerca complessi essenziali per articoli accademici di alta qualità.
• Ripida curva di apprendimento: Nonostante il loro design user-friendly, molti strumenti di ricerca hanno una leggera curva di apprendimento, in particolare per le loro funzionalità avanzate. I ricercatori potrebbero dover investire tempo per sfruttare appieno le capacità di ricerca approfondita dello strumento.

Gary Marcus ha anche avvertito che ciò può causare un declino nella qualità degli articoli scientifici.⁶

Metodologia

Nel nostro benchmark DR-50, abbiamo valutato gli strumenti di ricerca AI utilizzando 50 domande su sei diversi tipi di domande:

1. Ricerca fattuale semplice

Le domande a singolo salto richiedono un recupero dati diretto da una singola fonte.

Esempio: "Qual è il prezzo di input da 1 milione di token per il modello llama-3-70b di DeepInfra?"

2. Analisi comparativa

La valutazione incrociata delle fonti richiede la raccolta di dati da più provider per confrontare prodotti o servizi.

Esempio: "Quale provider offre llama-3.2-1b al prezzo combinato più economico?"

3. Ragionamento multi-hop

Le catene di ragionamento sequenziali richiedono più passaggi dipendenti di recupero delle informazioni.

Esempio: "Qual è il prezzo di input per 1 milione di token su OpenRouter per il modello che si è classificato 1° nel benchmark di ragionamento finanziario AIMultiple?"

4. Basato su calcoli

Le operazioni matematiche vengono eseguite sui dati numerici recuperati.

Esempio: "Qual è la differenza nel prezzo combinato tra i due modelli Mistral AI più economici?"

5. Estrazione strutturata JSON

La raccolta dei dati richiede una formattazione JSON rigorosa con più valori strutturati.

Esempio: "Quali sono architettura, memoria, larghezza di banda di NVIDIA H200 SXM? Formato: {\"architettura\": \"...\", \"memoria\": \"...\", \"larghezza di banda\": \"...\"}"

6. Elenchi categorici

Enumerazione completa di tutti gli elementi all'interno di una categoria specifica.

Esempio: "Fornisci tutti i server MCP nella categoria blockchain."

Metri di valutazione

Accuratezza

Abbiamo confrontato ogni risposta con risposte ground-truth predefinite utilizzando GPT-4o-mini come giudice automatizzato tramite OpenRouter. Il punteggio finale di accuratezza rappresenta la percentuale di risposte corrette su tutte le 50 query.

Conteggio dei token

Abbiamo utilizzato la libreria tiktoken per misurare i token lato client e abbiamo convalidato incrociatamente queste misurazioni con i conteggi dei token riportati dalle API e dalle UI dei provider dove disponibili.

Latenza

Abbiamo misurato la latenza come tempo reale dal momento dell'avvio della richiesta alla ricezione della risposta completa, riportato in secondi. Abbiamo convalidato incrociatamente queste misurazioni con le metriche di latenza riportate dalle API e dalle UI dei provider dove disponibili.

Costo

Abbiamo tracciato i costi manualmente tramite la dashboard di fatturazione di ogni provider.

Citazioni

Abbiamo estratto automaticamente le citazioni dai metadati della risposta di ogni API e abbiamo contato gli URL unici citati per risposta.

Configurazione tecnica

Abbiamo eseguito il benchmark in sequenza, con ogni API che completa tutte le 50 query prima che la successiva API inizi. Abbiamo implementato un ritardo di 5 secondi tra query consecutive per evitare limitazioni di velocità e non abbiamo imposto limiti di timeout, consentendo alle richieste di attendere indefinitamente il completamento.

Per il benchmark DR-2T basato su diversi compiti, ogni pezzo di dati nel prompt è stato valutato come 1 punto. Se l'output non era in formato tabella, lo abbiamo valutato come 0.

Prompt del Compito 1

Ricerca e valuta i migliori 5 soluzioni di gestione delle password aziendali in base ai seguenti criteri per identificare la soluzione più efficace per il deployment aziendale.

Criteri

1. Funzionalità di sicurezza

• Standard di crittografia utilizzato
• Implementazione dell'architettura a conoscenza zero
• Opzioni MFA supportate
• Certificazioni di sicurezza di terze parti
• Funzionalità di monitoraggio della salute delle password

2. Deployment e integrazione

• Opzioni di deployment
• Capacità di integrazione con directory
• Disponibilità e funzionalità API
• Integrazione SSO

3. Esperienza utente

• Compatibilità delle estensioni del browser
• Disponibilità e valutazione dell'app mobile
• Capacità di accesso offline
• Funzionalità di condivisione delle password

4. Amministrazione

• Opzioni di applicazione delle policy delle password
• Automazione del provisioning/deprovisioning degli utenti
• Funzionalità di reportistica e conformità
• Protocolli di accesso di emergenza

5. Costo e scalabilità

• Confronta i prezzi utilizzando scenari aziendali standardizzati (100 utenti, 500 utenti, 1000+ utenti)

Formato di consegna

1. Tabella dettagliata per ogni criterio
2. Tabella di confronto dei costi con scenari standardizzati

Prompt per il Compito 2

Nel nostro secondo compito, abbiamo mirato a scoprire l'ambito della ricerca condotta. Per fare questo, abbiamo confrontato il numero di riferimenti citati. Confrontare gli articoli non è un metodo obiettivo in questo caso, poiché stabilire una verità fondamentale definitiva non è fattibile.

Tuttavia, il numero di riferimenti può darci un'idea della loro capacità di fornire informazioni, poiché la forza di questi strumenti è la loro capacità di indicizzare centinaia di pagine web in minuti.

Metodologia del benchmark Agente vs Ricerca Approfondita

Abbiamo creato 5 compiti di ricerca in diversi domini. Ogni compito pone domande dirette con risposte fattuali e verificabili. Ogni checkpoint è valutato in modo binario: corretto o sbagliato.

Ogni domanda mira a informazioni pubblicate dopo le date di taglio dei dati di allenamento dei modelli. Il benchmark è stato eseguito nella prima settimana di aprile 2026.

La verità fondamentale è stata costruita da fonti primarie: documentazione ufficiale Unity 6.4, deposito SEC 8-K di Atlassian, comunicati stampa di Paramount, documento arxiv ARC-AGI-3 e guide di aggiornamento Unity. Ogni strumento ha ricevuto prompt identici. Tutti i prompt terminavano con "Cita tutte le fonti che hai utilizzato con gli URL."

Valutazione: corrispondenza di pattern automatizzata per numeri, date e nomi. Giudice LLM (GPT-4o) per checkpoint di qualità delle spiegazioni. Un revisore umano ha convalidato tutti i risultati.

I modelli di ricerca approfondita sono stati chiamati tramite OpenRouter API (o3, o4-mini, Sonar) e Parallel API. Gli agenti sono stati eseguiti tramite le loro interfacce CLI con la ricerca web abilitata, senza strumenti MCP.

In Claude Code, abbiamo utilizzato Opus 4.6, e in Codex, abbiamo utilizzato GPT 5.4. Entrambi in sforzo medio, e il calcolo del costo è fatto dall'uso dei token per entrambi gli agenti.

FAQ

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Ricerca approfondita AI: Claude vs ChatGPT vs Grok}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/ai-deep-research}},
  note   = {AIMultiple. Consultato il 22 Giugno 2026}
}

Collegamenti di riferimento

1.

Advancing Claude in healthcare and the life sciences \ Anthropic

2.

Google Workspace apps can now be integrated into Deep Research

Google

3.

Chrome gets new Gemini 3 features, including auto browse

Google

4.

Introducing Deep Research in Azure AI Foundry Agent Service | Microsoft Azure Blog

Microsoft Azure Blog

5.

Deep Research, Deep Bullshit, and the potential (model) collapse of science

Marcus on AI

6.

Deep Research, Deep Bullshit, and the potential (model) collapse of science

Marcus on AI

Cem Dilmegani

Analista principale

Segui

Cem è analista principale presso AIMultiple dal 2017. AIMultiple fornisce informazioni a centinaia di migliaia di aziende (secondo SimilarWeb), tra cui il 55% delle aziende Fortune 500, ogni mese. Il lavoro di Cem è stato citato da importanti pubblicazioni globali come Business Insider, Forbes, Washington Post, società globali come Deloitte e HPE, ONG come il World Economic Forum e organizzazioni sovranazionali come la Commissione Europea. È possibile consultare l'elenco di altre aziende e risorse autorevoli che hanno citato AIMultiple. Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, responsabile acquisti tecnologici e imprenditore nel settore tecnologico. Ha fornito consulenza alle aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per oltre un decennio. Ha anche pubblicato un report di McKinsey sulla digitalizzazione. Ha guidato la strategia tecnologica e gli acquisti di un'azienda di telecomunicazioni, riportando direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto un fatturato annuo ricorrente a 7 cifre e una valutazione a 9 cifre partendo da zero in soli 2 anni. Il lavoro di Cem in Hypatos è stato oggetto di articoli su importanti pubblicazioni tecnologiche come TechCrunch e Business Insider. Cem partecipa regolarmente come relatore a conferenze internazionali di settore. Si è laureato in ingegneria informatica presso l'Università di Bogazici e ha conseguito un MBA presso la Columbia Business School.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento