Premium
Servizi
Premium
Ekrem Sarı

Ekrem Sarı

Ricercatore IA
37 Articoli
Rimani aggiornato sulle novità tecnologiche B2B.

Ekrem è un Ricercatore IA e Data Scientist presso AIMultiple. Progetta ed esegue benchmark pratici per sistemi di IA e LLM.

Esperienza professionale

Presso AIMultiple, Ekrem esegue benchmark su sistemi di IA end-to-end e realizza i flussi di lavoro dei dati e le dashboard utilizzate per monitorare le metriche di benchmark e di prodotto. I suoi benchmark coprono modelli di embedding e reranker, database vettoriali e a grafo, motori di inference, quantizzazione, concorrenza GPU e scaling multi-GPU, prezzi e provider di GPU cloud, text-to-SQL e framework RAG e RAG agentici.

Prima di AIMultiple, ha lavorato come Data Scientist presso Yandex, dove ha interrogato e analizzato grandi dataset con SQL per valutare la qualità di ricerca e ranking rispetto a linee guida dettagliate.

Interessi di ricerca

Il lavoro di Ekrem si concentra sulla misurazione delle prestazioni pratiche dei sistemi LLM e di retrieval. Progetta il test harness, esegue i carichi di lavoro su hardware reale e confronta modelli, framework e infrastrutture in termini di accuratezza, throughput, latenza, costo e scalabilità, lungo l'intero stack dai modelli di embedding e database vettoriali ai motori di inference e all'infrastruttura GPU. La sua tesi di laurea magistrale automatizza le revisioni sistematiche della letteratura con una pipeline basata su RAG.

Formazione

Ekrem ha conseguito una laurea magistrale in Sistemi Informativi Gestionali presso la Başkent University, dove la sua tesi ha automatizzato le revisioni sistematiche della letteratura con una pipeline basata su RAG, e sta conseguendo una seconda laurea magistrale in Ingegneria dei Dati e della Conoscenza presso la Hacettepe University.

Ultimi articoli di Ekrem

Dati
Benchmark
14 ott

Browser remoti: infrastruttura web per agenti IA a confronto

Gli agenti IA si affidano ai browser remoti per automatizzare le attività web senza essere bloccati da misure anti-scraping. Le prestazioni di questa infrastruttura browser sono fondamentali per il successo di un agente. Abbiamo confrontato 8 fornitori in base a tasso di successo, velocità e funzionalità. Per farlo, abbiamo eseguito 160 attività automatizzate, eseguendo 4…

IA
Benchmark
14 ott

Benchmark AIM-Text-to-SQL: Accuratezza SQL su oltre 70 LLM

L'accuratezza SQL è la percentuale di query valutate che restituiscono il risultato di riferimento. I percorsi errati e i riferimenti contrassegnati come non validi sono esclusi. Una query di riferimento è il SQL fornito come risposta attesa. Ogni modello raggiunge un insieme diverso di domande SQL perché la valutazione dipende dalle scelte di database effettuate.…

IA
Benchmark
14 ott

AIM-Agentic RAG Benchmark: routing tra 11 database SQL

L'accuratezza del routing è la percentuale di domande valutate per le quali il modello indica esplicitamente il database corretto nella risposta finale. Il dato principale utilizza le 184 domande contrassegnate come difficili sia dal nostro test di similarità sia da una giuria di tre LLM. Le dichiarazioni esplicite mancanti non ricevono alcun credito. claude-opus-5.5 ha…

IA
Benchmark
14 ott

Benchmark di oltre 80 LLM nella finanza: Claude Opus 5.5 e GPT-6 Astra

Il test set è il sottoinsieme difficile del benchmark FinanceReasoning (Tang et al.), con 238 domande. L'accuratezza è la percentuale di domande con risposta corretta. Le risposte numeriche ricevono una tolleranza relativa dello 0,2%. I token di output sono i token generati nelle 238 risposte. I token di input vengono conteggiati separatamente nel calcolo dei…

IA
Benchmark
14 ott

Strumenti di valutazione RAG: Weights & Biases vs Ragas vs DeepEval

Quando una pipeline RAG recupera il contesto sbagliato, il LLM genera con sicurezza la risposta sbagliata. I valutatori di rilevanza contestuale sono la principale difesa. Abbiamo confrontato cinque strumenti su 1.460 domande e oltre 14.600 contesti valutati in condizioni identiche: stesso modello giudice (GPT-4o), configurazioni predefinite e nessun prompt personalizzato. In condizioni standard, WandB, TruLens…

IA
Confronto delle Funzionalità
13 ott

I principali 30+ produttori di chip IA: NVIDIA e i suoi concorrenti

Sulla base della nostra esperienza nell'esecuzione del benchmark cloud GPU di AIMultiple, confrontiamo i produttori di chip per prodotto, disponibilità e architettura, coprendo GPU per data center, chip mobili, acceleratori edge e fonderie. Ogni riga indica un prodotto rappresentativo, il suo tipo e la sua disponibilità. La disponibilità distingue hardware offerto in vendita, servizi cloud,…

IA agentica
Benchmark
9 ott

Benchmark della Video Search API: Bright Data vs YouTube

Abbiamo confrontato Bright Data Video Search con la ricerca di YouTube su 50 query in inglese in cinque tipi di query. Entrambi i motori sono stati interrogati fino all'esaurimento e un panel di visione a tre model ha valutato i fotogrammi video campionati. Le clip utilizzabili per ricerca stimano quanti video restituiti contengono il soggetto…

IA
Benchmark
1 ott

Modelli di embedding: 25 modelli valutati in benchmark per il retrieval

Abbiamo sottoposto a benchmark 25 modelli di embedding su 200 domande di retrieval in ambito finanziario, contratti legali, supporto tecnico e letteratura medica. I quattro corpora contenevano in totale 341.040 brani di testo. Ogni query ha effettuato la ricerca nel proprio dominio. nDCG@10 misura quanto in alto appaiono i brani pertinenti registrati nei primi dieci…

Sicurezza informatica
Benchmark
29 set

Rilevamento bot: 9 fornitori anti-bot a confronto

Abbiamo identificato l'azienda anti-bot che protegge i primi ~3.800 domini e misurato quanto spesso ciascun dominio ha bloccato i nostri bot su 50.000 richieste. Cloudflare difende 73,3% dei 3.859 domini e ha registrato un tasso di blocco del 6,7%. Imperva difende il 3,7% e ha registrato il 46,6%. Le due misure classificano le nove aziende…

Sicurezza informatica
Benchmark
29 set

Benchmark del software DLP

Abbiamo confrontato Acronis DeviceLock DLP e ManageEngine DLP Plus su macchine virtuali Windows Server 2022 identiche con 28 scenari: 23 test di fuga di dati (inclusi 12 file di elusione avversariale), 3 test di sicurezza dell'agente e 2 test sotto elevato consumo di CPU e memoria. Per gli altri prodotti DLP, Netwrix Endpoint Protector, Sophos…