Ekrem Sarı
Ekrem è un Ricercatore IA e Data Scientist presso AIMultiple. Progetta ed esegue benchmark pratici per sistemi di IA e LLM.
Esperienza professionale
Presso AIMultiple, Ekrem esegue benchmark su sistemi di IA end-to-end e realizza i flussi di lavoro dei dati e le dashboard utilizzate per monitorare le metriche di benchmark e di prodotto. I suoi benchmark coprono modelli di embedding e reranker, database vettoriali e a grafo, motori di inference, quantizzazione, concorrenza GPU e scaling multi-GPU, prezzi e provider di GPU cloud, text-to-SQL e framework RAG e RAG agentici.
Prima di AIMultiple, ha lavorato come Data Scientist presso Yandex, dove ha interrogato e analizzato grandi dataset con SQL per valutare la qualità di ricerca e ranking rispetto a linee guida dettagliate.
Interessi di ricerca
Il lavoro di Ekrem si concentra sulla misurazione delle prestazioni pratiche dei sistemi LLM e di retrieval. Progetta il test harness, esegue i carichi di lavoro su hardware reale e confronta modelli, framework e infrastrutture in termini di accuratezza, throughput, latenza, costo e scalabilità, lungo l'intero stack dai modelli di embedding e database vettoriali ai motori di inference e all'infrastruttura GPU. La sua tesi di laurea magistrale automatizza le revisioni sistematiche della letteratura con una pipeline basata su RAG.
Formazione
Ekrem ha conseguito una laurea magistrale in Sistemi Informativi Gestionali presso la Başkent University, dove la sua tesi ha automatizzato le revisioni sistematiche della letteratura con una pipeline basata su RAG, e sta conseguendo una seconda laurea magistrale in Ingegneria dei Dati e della Conoscenza presso la Hacettepe University.
Ultimi articoli di Ekrem
Browser remoti: infrastruttura web per agenti IA a confronto
Gli agenti IA si affidano ai browser remoti per automatizzare le attività web senza essere bloccati da misure anti-scraping. Le prestazioni di questa infrastruttura browser sono fondamentali per il successo di un agente. Abbiamo confrontato 8 fornitori in base a tasso di successo, velocità e funzionalità. Per farlo, abbiamo eseguito 160 attività automatizzate, eseguendo 4…
Benchmark AIM-Text-to-SQL: Accuratezza SQL su oltre 70 LLM
L'accuratezza SQL è la percentuale di query valutate che restituiscono il risultato di riferimento. I percorsi errati e i riferimenti contrassegnati come non validi sono esclusi. Una query di riferimento è il SQL fornito come risposta attesa. Ogni modello raggiunge un insieme diverso di domande SQL perché la valutazione dipende dalle scelte di database effettuate.…
AIM-Agentic RAG Benchmark: routing tra 11 database SQL
L'accuratezza del routing è la percentuale di domande valutate per le quali il modello indica esplicitamente il database corretto nella risposta finale. Il dato principale utilizza le 184 domande contrassegnate come difficili sia dal nostro test di similarità sia da una giuria di tre LLM. Le dichiarazioni esplicite mancanti non ricevono alcun credito. claude-opus-5.5 ha…
Benchmark di oltre 80 LLM nella finanza: Claude Opus 5.5 e GPT-6 Astra
Il test set è il sottoinsieme difficile del benchmark FinanceReasoning (Tang et al.), con 238 domande. L'accuratezza è la percentuale di domande con risposta corretta. Le risposte numeriche ricevono una tolleranza relativa dello 0,2%. I token di output sono i token generati nelle 238 risposte. I token di input vengono conteggiati separatamente nel calcolo dei…
Strumenti di valutazione RAG: Weights & Biases vs Ragas vs DeepEval
Quando una pipeline RAG recupera il contesto sbagliato, il LLM genera con sicurezza la risposta sbagliata. I valutatori di rilevanza contestuale sono la principale difesa. Abbiamo confrontato cinque strumenti su 1.460 domande e oltre 14.600 contesti valutati in condizioni identiche: stesso modello giudice (GPT-4o), configurazioni predefinite e nessun prompt personalizzato. In condizioni standard, WandB, TruLens…
I principali 30+ produttori di chip IA: NVIDIA e i suoi concorrenti
Sulla base della nostra esperienza nell'esecuzione del benchmark cloud GPU di AIMultiple, confrontiamo i produttori di chip per prodotto, disponibilità e architettura, coprendo GPU per data center, chip mobili, acceleratori edge e fonderie. Ogni riga indica un prodotto rappresentativo, il suo tipo e la sua disponibilità. La disponibilità distingue hardware offerto in vendita, servizi cloud,…
Benchmark della Video Search API: Bright Data vs YouTube
Abbiamo confrontato Bright Data Video Search con la ricerca di YouTube su 50 query in inglese in cinque tipi di query. Entrambi i motori sono stati interrogati fino all'esaurimento e un panel di visione a tre model ha valutato i fotogrammi video campionati. Le clip utilizzabili per ricerca stimano quanti video restituiti contengono il soggetto…
Modelli di embedding: 25 modelli valutati in benchmark per il retrieval
Abbiamo sottoposto a benchmark 25 modelli di embedding su 200 domande di retrieval in ambito finanziario, contratti legali, supporto tecnico e letteratura medica. I quattro corpora contenevano in totale 341.040 brani di testo. Ogni query ha effettuato la ricerca nel proprio dominio. nDCG@10 misura quanto in alto appaiono i brani pertinenti registrati nei primi dieci…
Rilevamento bot: 9 fornitori anti-bot a confronto
Abbiamo identificato l'azienda anti-bot che protegge i primi ~3.800 domini e misurato quanto spesso ciascun dominio ha bloccato i nostri bot su 50.000 richieste. Cloudflare difende 73,3% dei 3.859 domini e ha registrato un tasso di blocco del 6,7%. Imperva difende il 3,7% e ha registrato il 46,6%. Le due misure classificano le nove aziende…
Benchmark del software DLP
Abbiamo confrontato Acronis DeviceLock DLP e ManageEngine DLP Plus su macchine virtuali Windows Server 2022 identiche con 28 scenari: 23 test di fuga di dati (inclusi 12 file di elusione avversariale), 3 test di sicurezza dell'agente e 2 test sotto elevato consumo di CPU e memoria. Per gli altri prodotti DLP, Netwrix Endpoint Protector, Sophos…
Newsletter AI Multiple
Una email gratuita a settimana con le ultime notizie tecnologiche B2B e approfondimenti di esperti per dare impulso alla tua azienda.