Premium
Servizi
Premium
Ekrem Sarı

Ekrem Sarı

Ricercatore IA
37 Articoli
Rimani aggiornato sulle novità tecnologiche B2B.

Ekrem è un Ricercatore IA e Data Scientist presso AIMultiple. Progetta ed esegue benchmark pratici per sistemi di IA e LLM.

Esperienza professionale

Presso AIMultiple, Ekrem esegue benchmark su sistemi di IA end-to-end e realizza i flussi di lavoro dei dati e le dashboard utilizzate per monitorare le metriche di benchmark e di prodotto. I suoi benchmark coprono modelli di embedding e reranker, database vettoriali e a grafo, motori di inference, quantizzazione, concorrenza GPU e scaling multi-GPU, prezzi e provider di GPU cloud, text-to-SQL e framework RAG e RAG agentici.

Prima di AIMultiple, ha lavorato come Data Scientist presso Yandex, dove ha interrogato e analizzato grandi dataset con SQL per valutare la qualità di ricerca e ranking rispetto a linee guida dettagliate.

Interessi di ricerca

Il lavoro di Ekrem si concentra sulla misurazione delle prestazioni pratiche dei sistemi LLM e di retrieval. Progetta il test harness, esegue i carichi di lavoro su hardware reale e confronta modelli, framework e infrastrutture in termini di accuratezza, throughput, latenza, costo e scalabilità, lungo l'intero stack dai modelli di embedding e database vettoriali ai motori di inference e all'infrastruttura GPU. La sua tesi di laurea magistrale automatizza le revisioni sistematiche della letteratura con una pipeline basata su RAG.

Formazione

Ekrem ha conseguito una laurea magistrale in Sistemi Informativi Gestionali presso la Başkent University, dove la sua tesi ha automatizzato le revisioni sistematiche della letteratura con una pipeline basata su RAG, e sta conseguendo una seconda laurea magistrale in Ingegneria dei Dati e della Conoscenza presso la Hacettepe University.

Ultimi articoli di Ekrem

IA
Benchmark
3 nov

Benchmark di 90+ LLM nella finanza: Claude Opus 5.5 e Gemini 4 Argon

Il set di test è il sottoinsieme difficile del benchmark FinanceReasoning (Tang et al.), con 238 domande. La precisione è la percentuale di domande risposte correttamente. Le risposte numeriche ricevono una tolleranza relativa dello 0,2%. I token di output sono i token generati nelle 238 risposte. I token di input sono conteggiati separatamente nel calcolo…

IA
Benchmark
3 nov

AIM-Text-to-SQL Benchmark: SQL Accuratezza su oltre 70 LLM

L'accuratezza SQL è la percentuale di query valutate che restituiscono il risultato di riferimento. I percorsi errati e i riferimenti segnalati come errati sono esclusi. Una query di riferimento è il SQL fornito come risposta attesa. Ogni modello raggiunge un diverso insieme di domande SQL perché la valutazione dipende dalle sue scelte di database. Le…

Sicurezza informatica
Benchmark
1 nov

Rilevamento bot: 9 fornitori anti-bot messi a confronto

Abbiamo misurato il recupero dei contenuti su oltre 3.800 domini etichettati utilizzando tre servizi commerciali di scraping. Abbiamo raggruppato i risultati in base alle aziende anti-bot identificate su quei domini. Cloudflare è stato identificato nel 73,3% dei 3.859 domini etichettati. Il tasso di blocco per questo gruppo è stato del 6,7%. Imperva è stato identificato…

IA
Benchmark
30 ott

AIM-Agentic RAG Benchmark: instradamento tra 11 SQL database

L'accuratezza di routing è la percentuale di domande valutate per cui il modello nomina esplicitamente il database corretto nella risposta finale. Il risultato principale usa le 184 domande contrassegnate come difficili sia dal nostro test di similarità sia da una giuria di tre LLM. Le dichiarazioni esplicite mancanti non ricevono alcun credito. gemini-4-argon ha selezionato…

IA
Approfondimento
26 ott

I principali 30+ produttori di chip IA: NVIDIA e i suoi concorrenti

Sulla base della nostra esperienza nell'esecuzione del benchmark cloud GPU di AIMultiple, confrontiamo i produttori di chip per prodotto, disponibilità e architettura, coprendo GPU per data center, chip mobili, acceleratori edge e fonderie. Ogni riga indica un prodotto rappresentativo, il suo tipo e la sua disponibilità. La disponibilità distingue hardware offerto in vendita, servizi cloud,…

IA agentica
Benchmark
23 ott

Ricerca agentica: benchmark di 8 API di ricerca per agenti

La ricerca agentica svolge un ruolo cruciale nel colmare il divario tra i motori di ricerca tradizionali e le capacità di ricerca dell'IA. Le API di ricerca sono il primo livello di uno strumento agentico, dove le prestazioni limitano la qualità di tutto ciò che si trova a valle. Abbiamo confrontato 8 API di ricerca…

IA
Confronto delle Funzionalità
22 ott

GPU cloud gratuite: modelli, limiti e requisiti di accesso

Le GPU cloud gratuite sono disponibili tramite notebook Python, demo IA e crediti di calcolo mensili. Confronta l'hardware GPU, le quote gratuito e i requisiti di accesso, oppure verifica quali servizi si adattano al tuo carico di lavoro. Due T4 forniscono due allocazioni separate di memoria da 16 GB. Eseguire un modello su entrambe richiede…

Software aziendale
Benchmark
22 ott

Benchmark sul software di archiviazione email

Abbiamo predisposto un tenant Microsoft 365, lo abbiamo popolato con un corpus sintetico di 10.000 email e 1.700 allegati in 8 sottotipi di file, quindi abbiamo confrontato NinjaOne SaaS Archiver, Barracuda Cloud Archiving Service, Acronis Cyber Protect Cloud Email Archiving e MailPiler sullo stesso tenant rispetto a 10 dimensioni che coprono inserimento, ricerca, richiamo degli…

IA
Benchmark
15 ott

Reranker benchmark: confronto tra i migliori 8 modelli

Abbiamo testato 8 modelli di reranking su ~145k recensioni Amazon in inglese per misurare quanto una fase di reranking migliori il recupero denso. Abbiamo recuperato i primi 100 candidati con multilingual-e5-base, li abbiamo riordinati con ciascun modello e abbiamo valutato i primi 10 risultati rispetto a 300 query, ognuna delle quali fa riferimento a dettagli…

IA
Benchmark
14 ott

RAG Strumenti di valutazione: W&B Weave vs Ragas vs TruLens

Abbiamo confrontato cinque strumenti di valutazione della generazione aumentata dal recupero (RAG) su più di 1.000 domande avversarie, ciascuna abbinata a cinque passaggi. Il confronto misura la pertinenza del contesto usando GPT-4o e i prompt di valutazione predefiniti degli strumenti. W&B Weave ha registrato la più alta accuratezza Top-1, pari al 94,5%. TruLens ha guidato…