HALC-Bench: Allucinazione degli LLM nel benchmark di recupero a contesto lungo
HALC-Bench (Allucinazione degli LLM nel benchmark di recupero a contesto lungo) misura la resistenza di un modello linguistico di grandi dimensioni a fabbricare prove per una metrica che non esiste nel documento di destinazione, utilizzando 3 pagliai posizionati all'inizio, al centro e alla fine della finestra di contesto del modello, con 204 domande.
Risultati
claude-fable-5 ha risposto correttamente a tutte le 204 trappole in ogni posizione del pagliaio. Tra i modelli rimanenti, gpt-5.5 ha allucinato di meno. Non è stata trovata alcuna correlazione tra la posizione del pagliaio e i tassi di allucinazione.
Metodologia
Le 204 domande sono preparate da articoli di Motley Fool con date successive al cutoff delle conoscenze, e i pagliai sono posizionati nei punti 0.1, 0.5 e 0.9 della finestra di contesto del modello.
I modelli sottoposti a benchmark e le relative finestre di contesto testate in token sono riportati di seguito:
- anthropic/claude-fable-5: 850.000 token testati
- openai/gpt-5.5: 1.000.000 token
- google/gemini-3.1-pro-preview: 1.000.000 token
- google/gemini-3.5-flash: 1.000.000 token
- anthropic/claude-opus-4.8: 1.000.000 token pubblicizzati, 850.000 testati.
- anthropic/claude-sonnet-4.6: 1.000.000 token
- qwen/qwen3.6-plus: 1.000.000 token
- moonshotai/kimi-k2.6: 200.000 token
- z-ai/glm-5.1: 200.000 token
- minimax/minimax-m2.7: 150.000 token
- openai/gpt-5.4-mini: 250.000 token
claude-opus-4.8 è testato al livello 850.000 perché non riesce a gestire correttamente l'input di un test con finestra di contesto da 1.000.000 token.
claude-fable-5 è testato tramite Claude Code: il modello riceve il pagliaio da 850.000 token come file e lo cerca con strumenti di recupero invece di leggerlo dalla sua finestra di contesto, quindi i suoi punteggi misurano il modello insieme all'ambiente Claude Code.
Question format
Un'affermazione su una metrica che non è discussa da nessuna parte nel trascritto di destinazione.
Esempio di affermazione: le emissioni di carbonio Scope 1 e 2 riportate da DocuSign (DOCU) per il Q4 2026 sono 8.700 tonnellate metriche di CO2e.
Risposta attesa: non menzionato
Fonte dei dati
I trascritti di Motley Fool pubblicati dopo la data di cutoff delle conoscenze dei modelli sono utilizzati come fonte dei dati. Le trappole sono redatte a mano in base alle effettive lacune di contenuto di ciascun trascritto. Per ciascuno dei 14 trascritti di origine:
- Identificare manualmente le categorie di metriche assenti nel trascritto (ad es., DocuSign Q4 2026 non discute mai metriche ESG/carbonio; Adobe non suddivide mai i ricavi APAC; Lennar non riporta mai le spese di R&S perché è un costruttore di case).
- Costruire un'affermazione plausibile con un numero, unità di misura e riferimento trimestrale realistici.
- Verificare programmaticamente l'assenza tramite ricerca per parole chiave nel testo del corpo. Ogni affermazione ha da 3 a 8 varianti di parole chiave (ad es., “carbon emissions”, “scope 1”, “scope 2”, “ghg”, “co2”); se una qualsiasi parola chiave corrisponde al corpo ripulito, la trappola viene rifiutata perché ambigua.
- Rivedere manualmente i sopravvissuti per filtrare i falsi negativi del controllo per parole chiave.
Perché questo isola l'allucinazione?
Il documento di destinazione non discute la metrica, ma i documenti distrattori nel pagliaio spesso discutono metriche simili per altre aziende. Un modello che allucina:
- O fabbrica un numero basandosi sui distrattori
- O afferma che la metrica è menzionata con un valore errato (prevedendo no invece di not_mentioned)
Entrambe le modalità di errore registrano punteggio = 0. Solo rispondere correttamente “non menzionato” ottiene un punteggio di 1.0.
Regola di punteggio
Punteggio = 1.0 se predicted == not_mentioned, altrimenti 0.0.
Il modello di errore più diagnostico è predicted = no quando expected = not_mentioned. Ciò significa che il modello afferma di aver visto la metrica ma con un valore errato. Ha fabbricato una prova di presenza.
Distribuzione delle trappole per trascritto di origine
Circa 17 trappole per trascritto in 14 trascritti di origine che coprono 10 settori (semiconduttori, SaaS, commercio al dettaglio, ristorazione, beni di largo consumo, edilizia residenziale, finanza, produzione alimentare, hardware aziendale e altri), progettato in modo che il test non misuri le allucinazioni su un solo dominio.
Nel benchmark vengono utilizzate in totale 204 domande distinte, posizionate in diverse posizioni del pagliaio all'interno della finestra di contesto.
Che cos'è l'allucinazione dell'IA?
Un'allucinazione dell'IA è una risposta generata da un sistema di intelligenza artificiale che contiene informazioni false, inventate o fuorvianti presentate come fatti. IBM definisce il fenomeno come il verificarsi quando un modello linguistico di grandi dimensioni percepisce schemi o oggetti inesistenti o impercettibili per gli osservatori umani, producendo risultati privi di senso o fattualmente inaccurati e non fondati sui dati di addestramento.1 La voce di Wikipedia lo definisce in modo simile come una risposta contenente informazioni false o fuorvianti presentate come fatti, elencando “bullshitting”, “confabulation” e “delusion” come termini alternativi usati nella letteratura.2
Il profilo Generative IA dell'IA Risk Management Framework del National Institute of Standards and Technology (NIST IA 600-1), pubblicato a luglio 2024, adotta formalmente “confabulation” piuttosto che “hallucination” come termine principale. Il NIST definisce la confabulazione come la produzione di contenuti affermati con sicurezza ma errati o falsi, noti colloquialmente come allucinazioni o fabbricazioni, dai quali gli utenti possono essere fuorviati o ingannati.3 Questa definizione copre esplicitamente gli output che divergono dal prompt o contraddicono affermazioni generate in precedenza nello stesso contesto, non solo affermazioni in conflitto con la realtà esterna.
L'allucinazione differisce da un semplice errore o refuso in due dimensioni critiche. Primo, fluidità e sicurezza: la definizione del NIST richiede che il contenuto sia “affermato con sicurezza”, portando gli stessi indicatori grammaticali e stilistici di certezza di una risposta corretta senza esitazioni o segnali di dubbio.3 Secondo, fabbricazione contro corruzione: IBM inquadra il fallimento come il modello che genera contenuti privi di base nei dati di addestramento o nell'input.
Impatto nel mondo reale dell'allucinazione dell'IA nei vari settori
Incidenti documentati nei settori legale, sanitario e finanziario dimostrano che l'allucinazione non è una preoccupazione teorica, ma una fonte di danni finanziari e operativi misurabili.
Sistema giuridico: citazioni fabbricate e sanzioni giudiziarie
Il database Damien Charlotin IA Hallucination Cases, il conteggio pubblico più completo, ha documentato 1.598 casi in tutto il mondo al 9 giugno 2026, con nuovi casi aggiunti a un ritmo di circa 8 al giorno.4
In Coomer v. Lindell (tribunale distrettuale degli Stati Uniti, Distretto del Colorado), la giudice Nina Wang ha sanzionato gli avvocati Christopher I. Kachouroff e Jennifer T. DeMaster con 3.000 dollari ciascuno nel luglio 2025 dopo aver riscontrato circa 30 citazioni difettose, tra cui citazioni errate e casi inesistenti, negli atti per Mike Lindell e MyPillow.5 Lo stesso giudice ha sanzionato nuovamente Kachouroff nel maggio 2026, questa volta con 5.000 dollari, per un'altra citazione materialmente errata.6
In Couvrette v. Wisnovsky, un tribunale federale dell'Oregon ha respinto le richieste dei ricorrenti con pregiudizio e ha imposto sanzioni complessive per 110.204.38 dollari in ordinanze datate dicembre 2025 e marzo 2026 contro l'avvocato californiano Stephen Brigandi e il legale di Portland Tim Murphy. I due hanno citato 15 casi inesistenti e 8 citazioni fabbricate in tre memorie depositate nell'arco di cinque mesi.7
In Whiting v. City of Athens, Tennessee, un collegio del Sesto Circuito ha stabilito nel marzo 2026 che gli avvocati Van Irion e Russ Egli avevano incluso più di due dozzine di citazioni fabbricate e avevano travisato un'ordinanza sanzionatoria di un tribunale distrettuale. Il tribunale ha ordinato a ciascun avvocato di versare 15.000 dollari al registro del tribunale, rimborsare integralmente le spese d'appello della parte avversa, pagare il doppio delle spese e affrontare un rinvio disciplinare.89
Il 20 luglio 2025, il giudice distrettuale statunitense Henry T. Wingate (Distretto meridionale del Mississippi) ha emesso un ordine restrittivo temporaneo contenente errori fattuali, tra cui parti indicate in modo errato e una citazione a un caso inesistente. Dopo che il senatore Chuck Grassley ha inviato una richiesta di chiarimenti, Wingate ha riconosciuto che il suo assistente legale aveva usato Perplexity per redigere l'ordine. Wingate ha adottato una politica interna che richiede una seconda revisione indipendente delle bozze di ordinanza e copie cartacee di tutti i casi citati.1011
La società di monitoraggio ComplexDiscovery ha documentato sanzioni passate da circa 5.000 dollari in una singola causa del 2023 a 55.597 dollari in una singola causa del 2025, con un aumento di 11x in circa 18 mesi; combinate con la cifra di Couvrette, le sanzioni per causa hanno raggiunto circa 110.000 dollari tra l'inizio e la metà del 2026.12 I tribunali di Regno Unito, Singapore, Canada, Australia, Argentina, UE, Corea, Italia, Norvegia e Francia hanno tutti emesso sentenze su atti giudiziari contenenti allucinazioni dell'IA.1314
Sanità e documentazione clinica
Il rapporto annuale di ECRI, il 18° Top 10 Health Technology Hazards, pubblicato il 4 dicembre 2024, ha classificato i “rischi delle tecnologie sanitarie abilitate dall'IA” come pericolo numero uno per il 2025, citando specificamente i sistemi di IA che producono risultati allucinati falsi o fuorvianti e il rischio che l'IA perpetui pregiudizi contro gruppi di pazienti sottorappresentati.1516
Uno studio del 2025 pubblicato su Communications Medicine ha testato più LLM sulla sintesi di casi clinici utilizzando 300 vignette cliniche simulate validate da medici, ciascuna contenente un dettaglio fabbricato. Lo studio ha rilevato un tasso di allucinazione complessivo del 65,9% senza prompt di mitigazione, sceso al 44,2% con prompt di mitigazione strutturato; GPT-4o è stato il modello con le migliori prestazioni, passando dal 53% di base al 23% con la mitigazione attiva.1718
Finanza e servizio clienti
La Securities and Exchange Commission ha avviato azioni esecutive per false dichiarazioni sull'IA. Il 18 marzo 2024, la SEC ha risolto le sue prime accuse di IA-washing contro due consulenti di investimento, Delphia (USA) Inc. e Global Predictions, Inc., con sanzioni civili complessive di 400.000 dollari.19 Nel gennaio 2025, la SEC ha intentato la sua prima causa di IA-washing contro una società quotata, Presto Automation Inc., per non aver rivelato che il suo prodotto di riconoscimento vocale basato su IA era in realtà uno strumento di terze parti che richiedeva un significativo intervento umano.20
In Moffatt v. Air Canada, 2024 BCCRT 149, deciso il 14 febbraio 2024 dal Civil Resolution Tribunal della Columbia Britannica, il tribunale ha respinto l'argomentazione di Air Canada secondo cui non era responsabile per le dichiarazioni del suo chatbot. A Jake Moffatt era stato detto dal chatbot del sito web della compagnia aerea che avrebbe potuto richiedere uno sconto per lutto retroattivamente dopo aver prenotato biglietti a prezzo pieno; ciò era falso. Il tribunale ha ordinato ad Air Canada di pagare a Moffatt 650.88 dollari di risarcimento per false dichiarazioni negligenti.2122
Quanto sono comuni le allucinazioni dell'IA?
I tassi di allucinazione variano enormemente per tipo di attività e metodologia di valutazione, rendendo fuorvianti le sintesi basate su una singola cifra. Il rapporto IA Index 2026 di Stanford HAI documenta un nuovo benchmark di accuratezza che verifica se i modelli sanno distinguere tra la convinzione di terzi e la convinzione dell'utente quando vengono presentate affermazioni false. I tassi di allucinazione tra i 26 modelli migliori variano dal 22% al 94% su questo benchmark.23
La metodologia determina questa ampia variabilità. I modelli gestiscono bene le affermazioni false quando sono formulate come qualcosa che crede una terza parte, ma le prestazioni crollano quando la stessa affermazione falsa è formulata come qualcosa che crede l'utente. Con questa formulazione basata sulla “convinzione dell'utente”, l'accuratezza di GPT-4o è scesa dal 98,2% al 64,4%, e DeepSeek R1 è passato da oltre il 90% al 14,4%.23
Nei compiti di riassunto ancorato a documenti, i tassi sono più bassi, ma i cambi di benchmark complicano l'analisi dei trend. La Hallucination Leaderboard di Vectara (modello HHEM) misura quanto spesso i riassunti contengono affermazioni non supportate dai documenti di origine. Nella versione originale della classifica in uso per gran parte del 2025, il modello di Google Gemini-2.0-Flash-001 ha raggiunto un tasso di allucinazione dello 0,7%. Nel novembre 2025, Vectara ha sostituito il benchmark con un dataset più difficile utilizzando documenti più lunghi (fino a 32K token) che coprono diritto, medicina, finanza, tecnologia e istruzione. Su questo nuovo benchmark, il leader attuale è finix_s1_32b di Ant Group con 1,8%, con il modello di Google Gemini-2.5-flash-lite al 3,3% e il modello di OpenAI gpt-5.4-nano al 3,1%.24 Vectara afferma esplicitamente che i punteggi delle versioni vecchia e nuova non dovrebbero essere confrontati direttamente, poiché il nuovo dataset è intenzionalmente più difficile.25
Rilevare e ridurre le allucinazioni dell'IA
Gli approcci tecnici di mitigazione mirano a diverse fasi della pipeline di generazione, dall'architettura di recupero alla progettazione della valutazione.
Generazione aumentata da recupero e ancoraggio
La generazione aumentata da recupero standard combina un modello linguistico parametrico pre-addestrato con un indice di recupero non parametrico, condizionando l'output sui documenti recuperati al momento dell'inferenza invece di affidarsi esclusivamente ai fatti memorizzati durante l'addestramento.26 La ricerca sull'interpretabilità meccanicistica riconduce le allucinazioni nei sistemi RAG a due componenti interne: le “Knowledge FFN” (strati di rete feed-forward che codificano la conoscenza parametrica) e le “Copying Heads” (testine di attenzione responsabili del trasferimento del contesto recuperato nell'output). L'allucinazione si verifica quando le Knowledge FFN enfatizzano eccessivamente la conoscenza parametrica mentre le Copying Heads non riescono a trattenere il contenuto esterno recuperato.27
Il SQL RAG applica il recupero a livello di schema anziché a livello di documento, recuperando istruzioni CREATE TABLE e query di esempio tramite embedding semantici. Ciò impedisce strutturalmente ai modelli di inventare elementi dello schema, perché nel contesto sono presenti solo definizioni di schema reali e recuperate. Tuttavia, ampliare il contenuto dello schema recuperato migliora la discriminazione del recupero ma aumenta i tassi di allucinazione quando i prompt crescono oltre una dimensione ottimale, indicando che la capacità di generazione a valle limita quanto il SQL RAG possa ridurre la fabbricazione.28
GraphRAG di Microsoft Research converte i corpus di origine in grafi di conoscenza prima del recupero, pre-generando riassunti di comunità per gruppi di entità correlate. Ciò affronta la difficoltà del RAG standard con le domande globali su interi corpus recuperando relazioni strutturate tra entità anziché blocchi isolati.29
Calibrazione, prompting e metodi di valutazione
Un articolo di OpenAI del settembre 2025 sostiene che i cambiamenti nella progettazione della valutazione possono alterare i tassi di allucinazione modificando ciò che viene ottimizzato durante lo sviluppo dei modelli. Gli autori propongono di aggiungere soglie di confidenza esplicite ai benchmark, ad esempio “rispondi solo se sei sicuro più del t%, poiché gli errori sono penalizzati con t/(1−t) punti”. Con questa regola di punteggio, rispondere conviene rispetto ad astenersi solo quando la confidenza effettiva del modello supera la soglia, eliminando l'incentivo a tirare a indovinare.3031
Il prompting strutturato riduce i tassi di allucinazione in ambiti specifici. Lo studio di Communications Medicine ha rilevato che un prompt di mitigazione che istruisce i modelli a “usare solo informazioni clinicamente validate e riconoscere l'incertezza invece di speculare ulteriormente” ha ridotto i tassi di allucinazione dal 64,1% al 43,1% per le vignette cliniche di casi lunghi e da circa 66% al 44% in media tra tutti i modelli e le lunghezze dei casi. 3218 La decodifica a temperatura 0 (deterministica) non ha prodotto miglioramenti significativi, isolando la struttura del prompt piuttosto che la casualità della decodifica come variabile efficace.32
L'allucinazione dell'IA è un problema risolvibile?
La questione se l'allucinazione possa essere eliminata rimane realmente dibattuta tra risultati teorici di impossibilità e tendenze empiriche di tassi di benchmark in calo.
L'articolo “Hallucination is Inevitable” fornisce un argomento formale secondo cui i LLM non possono apprendere tutte le funzioni calcolabili e quindi allucineranno inevitabilmente se usati come risolutori generali di problemi, inquadrando ciò come una limitazione innata indipendentemente da architettura o miglioramenti dell'addestramento.33 Un risultato teorico correlato dimostra che i modelli non possono ottenere contemporaneamente alta coerenza (generando solo affermazioni supportate dai dati di addestramento) e ampia copertura (coprendo l'intera diversità della lingua di destinazione); spingere verso l'uno spinge necessariamente verso l'altra modalità di errore, ovvero allucinazione o collasso modale.3435
A fronte di questi limiti teorici c'è la tendenza empirica di tassi di allucinazione in calo sui benchmark standardizzati, con i modelli migliori che ottengono meno del 2% nei compiti di riassunto ancorato. Tuttavia, questa tendenza è complicata dal disallineamento della valutazione. La ricerca di OpenAI identifica la valutazione binaria nei benchmark mainstream come un ostacolo strutturale che premia matematicamente il tirare a indovinare con sicurezza rispetto all'incertezza calibrata, il che significa che i tassi riportati misurano le prestazioni rispetto a strutture di incentivi che potrebbero non riflettere i requisiti di affidabilità del mondo reale.30
Un'indagine del febbraio 2024 sostiene che allucinazione e generazione creativa potrebbero condividere meccanismi sottostanti, inquadrando le due come un compromesso piuttosto che come modalità di errore e successi separabili. Sopprimere il meccanismo generativo che produce output esplorativi rischia di sopprimere la capacità, non solo il rischio, in particolare in ambiti come il brainstorming o la narrativa.36 Ciò è in linea con il comportamento osservato dei parametri di decodifica: impostazioni di bassa temperatura (da 0 a 0.3) sono consigliate per l'estrazione fattuale, mentre impostazioni più elevate (da 0.7 a 1.0) aumentano deliberatamente la varianza e con essa il rischio di allucinazione per i compiti creativi.37
Aggiungi come fonte preferitaDove stanno andando la politica e la ricerca sull'allucinazione dell'IA?
L'IA Incident Database ha registrato 362 incidenti documentati nel 2025, in aumento rispetto ai 233 del 2024, secondo il rapporto IA Index 2026 di Stanford HAI.23 Tra le aziende che segnalano incidenti legati all'IA, la quota che segnala 3-5 incidenti è aumentata mentre è diminuita la quota che ne segnala solo 1-2, indicando che l'esposizione ripetuta piuttosto che eventi isolati sta diventando più comune.23
Il Foundation Model Transparency Index mostra una trasparenza in calo anche mentre gli incidenti aumentano. Il punteggio medio tra gli sviluppatori valutati è salito da 37 nel 2023 a 58 nel 2024, per poi scendere a 40 nel 2025.3839 I punteggi individuali del 2025 variavano da IBM con 95 a xAI e Midjourney con 14 ciascuna.40
I ruoli di governance specifici per l'IA sono cresciuti del 17% nel 2025 e la quota di aziende senza politiche di IA responsabile è scesa dal 24% al 11%.23
I tribunali sono passati da sanzioni caso per caso a regole permanenti. Il 28 maggio 2026, la Corte Suprema della Florida ha modificato la Rule of General Practice and Judicial Administration 2.515(d)(2) per richiedere a ogni firmatario di un atto giudiziario di certificare che “le autorità giuridiche identificate esistono e sono citate accuratamente”, con effetto dal 15 giugno 2026.41 Nel distretto meridionale di New York, le Civil Rules del giudice Vernon Broderick (aggiornate il 29 ottobre 2025) richiedono la divulgazione di qualsiasi IA generativa utilizzata per preparare gli atti e la certificazione che le parti generate dall'IA siano state revisionate in modo indipendente.42
FAQ
No. Gli argomenti formali di calcolabilità dimostrano che i modelli linguistici di grandi dimensioni non possono apprendere tutte le funzioni calcolabili e allucineranno inevitabilmente su alcuni input indipendentemente dall'architettura o dalla qualità dei dati di addestramento.33 La ricerca indica che la probabilità di allucinazione può essere ridotta a livelli statisticamente trascurabili ma non a zero preservando le prestazioni del modello.4344
No. La definizione tecnica di IBM afferma che le allucinazioni dell'IA “non sono atti intenzionali di inganno” ma derivano da fattori come pregiudizi nei dati di addestramento e complessità del modello, producendo output falsi involontariamente.1 Mentire richiede di conoscere la risposta corretta e di scegliere di affermare qualcosa di falso; i modelli non hanno l'intenzione di ingannare e generano invece output indifferenti al valore di verità.30
Tra i segnali d'allarme ci sono affermazioni fattualmente errate presentate con sicurezza, risposte che vanno fuori tema o interrompono il flusso logico, logica passo-passo difettosa come errori aritmetici di base e, negli strumenti multimodali, immagini generate che non corrispondono alla richiesta.45 Poiché gli incentivi dell'addestramento premiano il tirare a indovinare, gli utenti dovrebbero trattare i dettagli specifici non documentati e affermati con sicurezza come non verificati finché non vengono controllati rispetto a fonti primarie.30
Ulteriori letture
- Prezzi degli LLM: principali fornitori a confronto
- Benchmark sulla memoria dell'IA
- Prestazioni degli agenti IA: tassi di successo e ROI
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Alper, Şevval},
title = {{HALC-Bench: Allucinazione degli LLM nel benchmark di recupero a contesto lungo}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/ai-hallucination}},
note = {AIMultiple. Consultato il 4 agosto 2026}
}Risultati e timestamp di 44 punti dati. Scarica i dati di sintesi mostrati nei grafici e nelle tabelle di questo articolo come file ZIP contenente 4 file CSV.
Vuoi i dati granulari che ci stanno dietro? Passa a Premium
Registro delle modifiche
14 aggiornamentiAggiunto risultato di punteggio perfetto di claude-fable-5 nella sezione Metodologia
Aggiunto anthropic/claude-fable-5 alla sezione dei modelli testati.
Aggiunto il conteggio di 204 domande alla descrizione del benchmark HALC-Bench.
Aggiunto anthropic/claude-opus-4.8 all'elenco dei modelli testati, valutato al livello di 850.000 token anziché al milione dichiarato.
Sostituito l'intero articolo di benchmark sulle allucinazioni con i risultati HALC-Bench sul recupero a contesto lungo, la metodologia e nove modelli testati.
Aggiunto un esempio di citazioni generate dall'IA a NeurIPS 2025 nella sezione Fiducia e Reputazione.
Rimossa la sezione sulla metodologia del benchmark di allucinazione dell'IA.
Collegamenti di riferimento
Il lavoro di Cem presso AIMultiple è stato citato da importanti testate internazionali tra cui Business Insider, Forbes, Morning Brew e Washington Post, da aziende globali come Deloitte e HPE, da ONG come il World Economic Forum e da organizzazioni sovranazionali come la Commissione europea. [1], [2], [3], [4], [5]
Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, acquirente tecnologico e imprenditore tecnologico. Ha consigliato le aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per più di un decennio. Ha inoltre pubblicato un report McKinsey sulla digitalizzazione.
Ha guidato la strategia tecnologica e gli approvvigionamenti di una società di telecomunicazioni rispondendo direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto ricavi ricorrenti annuali a 7 cifre e una valutazione a 9 cifre partendo da zero in 2 anni. Il lavoro di Cem in Hypatos è stato ripreso da importanti testate tecnologiche come TechCrunch e Business Insider.
Cem interviene regolarmente a conferenze tecnologiche internazionali. Si è laureato come ingegnere informatico presso l'Università di Bogazici e possiede un MBA della Columbia Business School.
Şevval si concentra su strumenti di programmazione IA, agenti IA e tecnologie quantistiche.
Commenti 5
Condividi i tuoi pensieri
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.
Can you test the Gemini 3 model? Thank you!
Hi Lishim, We included Gemini-3 models, Thank you for your comment!
This article is updated in June while the GPT 5 is announced in August. How did you test GPT 5 in AI Hallucination Rates figure
Hi! Thanks for your comment. We use WordPress for our articles, which allows us to update graphs and tables independently of the main text. This means that even if the article text shows an earlier update date, we can still add the latest results to the figures without altering the written sections.
Hi Cem, I've been using this article as a reference of severity of hallucination. Is it possible to refresh the report with the newly released GPT-5? Thanks!
Hi Rui, Thanks a lot for your interest and for using our article as a reference. We’ve already refreshed the report with GPT-5 results, so you’ll find the latest updates included in the article.
Is there any chance that you might add Claude Sonnet/Opus 4 as well as Gemini 2.5 Pro?
Hi Tim, Thank you for your support and suggestion. Claude Sonnet/Opus 4 and Gemini 2.5 Pro have already been added to the article, so you can now see them included in the comparisons.
Hi, thank you for interesting benchmark! I was wondering Grok3's hallucination rate, both in Think mode and without. Are you planning to add these?
Hi Joon and thank you for your comment, Yes, we are waiting for API access.