Ekrem Sarı
Ekrem è un Ricercatore IA e Data Scientist presso AIMultiple. Progetta ed esegue benchmark pratici per sistemi di IA e LLM.
Esperienza professionale
Presso AIMultiple, Ekrem esegue benchmark su sistemi di IA end-to-end e realizza i flussi di lavoro dei dati e le dashboard utilizzate per monitorare le metriche di benchmark e di prodotto. I suoi benchmark coprono modelli di embedding e reranker, database vettoriali e a grafo, motori di inference, quantizzazione, concorrenza GPU e scaling multi-GPU, prezzi e provider di GPU cloud, text-to-SQL e framework RAG e RAG agentici.
Prima di AIMultiple, ha lavorato come Data Scientist presso Yandex, dove ha interrogato e analizzato grandi dataset con SQL per valutare la qualità di ricerca e ranking rispetto a linee guida dettagliate.
Interessi di ricerca
Il lavoro di Ekrem si concentra sulla misurazione delle prestazioni pratiche dei sistemi LLM e di retrieval. Progetta il test harness, esegue i carichi di lavoro su hardware reale e confronta modelli, framework e infrastrutture in termini di accuratezza, throughput, latenza, costo e scalabilità, lungo l'intero stack dai modelli di embedding e database vettoriali ai motori di inference e all'infrastruttura GPU. La sua tesi di laurea magistrale automatizza le revisioni sistematiche della letteratura con una pipeline basata su RAG.
Formazione
Ekrem ha conseguito una laurea magistrale in Sistemi Informativi Gestionali presso la Başkent University, dove la sua tesi ha automatizzato le revisioni sistematiche della letteratura con una pipeline basata su RAG, e sta conseguendo una seconda laurea magistrale in Ingegneria dei Dati e della Conoscenza presso la Hacettepe University.
Ultimi articoli di Ekrem
LLM Calcolatore VRAM per il self-hosting
Il self-hosting di un LLM significa eseguire l'inferenza su hardware controllato dall'operatore anziché tramite un'API di terze parti, il che cambia il profilo di costi, controllo dei dati e privacy. Il fatto che un modello possa girare dipende interamente dalla memoria. Il calcolatore stima la VRAM o la memoria unificata necessaria a un modello per…
Benchmark multi-GPU: B200 vs H200 vs H100 vs MI300X
Da oltre due decenni, l'ottimizzazione delle prestazioni di calcolo è stata una pietra angolare del mio lavoro. Abbiamo confrontato NVIDIA B200, H200, H100 e AMD MI300X per valutare quanto scalano bene per l'inferenza di Large Language Model (LLM). Utilizzando il framework vLLM con il modello meta-llama/Llama-3.1-8B-Instruct, abbiamo eseguito test su 1, 2, 4 e 8…
GPU Benchmark di concorrenza: H100 vs H200 vs B200 vs MI300X
Ho trascorso gli ultimi 20 anni concentrandomi sull'ottimizzazione delle prestazioni computazionali a livello di sistema. Abbiamo sottoposto a benchmark le più recenti NVIDIA GPU, tra cui la NVIDIA H100, H200 e B200, e la AMD MI300X, per l'analisi della scalabilità della concorrenza. Utilizzando il framework vLLM con il gpt-oss-20b model, abbiamo testato come queste GPU…
Alternative a DGX Spark: RTX, Ryzen IA Halo e Mac Studio
Confrontiamo i benchmark di inferenza pubblicati di DGX Spark, RTX e Ryzen IA Halo, coprendo l'elaborazione dei prompt, la generazione di token e i contesti più lunghi. Le alternative includono Framework Desktop, Mac Studio e i sistemi GB10 di altri produttori. La velocità di decodifica misura i token in output generati al secondo. Valori più…
Confronto tra modelli di fondazione relazionali
Abbiamo confrontato SAP-RPT-1-OSS con il gradient boosting (LightGBM, CatBoost) su 17 dataset tabulari che coprono lo spettro semantico-numerico, tabelle piccole/ad alta semantica, dataset aziendali misti e grandi dataset numerici a bassa semantica. Il nostro obiettivo è misurare dove i priori semantici pre-addestrati di un LLM relazionale possono offrire vantaggi rispetto ai modelli ad albero tradizionali…
Benchmark di disaster recovery: Acronis vs Comet vs MSP360
Abbiamo confrontato Acronis Cyber Protect Cloud, Comet Backup e MSP360 Managed Backup in termini di disaster recovery. Ogni fornitore ha acquisito un'immagine di un server Windows Server 2022 attivo e di un server Ubuntu 24.04 attivo con lo stesso carico di lavoro deterministico, un servizio web, un database da 10.000 righe e 50 file, quindi…
Benchmark di database vettoriali: 7 motori open-source per RAG
Abbiamo confrontato sette database vettoriali open-source e self-hosted come livello di recupero di una pipeline RAG, eseguiti uno alla volta su embedding bge-m3 identici e query reali mediche e tecniche, così che l'indice del database fosse l'unica variabile. Il carico di lavoro ha coperto MedRAG-50k, TechQA-28k e un corpus di 2.25M vettori attraverso otto dimensioni,…
Prezzi, prestazioni e confronto tra i provider di GPU cloud
I prezzi di listino delle GPU cloud per lo stesso modello possono differire di diverse volte da un provider all'altro. Abbiamo selezionato la tariffa più bassa, il fornitore, l'intervallo di mercato e la mediana per oltre 40 configurazioni di GPU su tutti e tre i livelli di prezzo, oltre a un benchmark di throughput per…
RAG Framework: LangChain vs LangGraph vs LlamaIndex
Abbiamo confrontato 5 RAG framework: LangChain, LangGraph, LlamaIndex, Haystack e DSPy, costruendo lo stesso flusso di lavoro RAG agentico con componenti standardizzati: modelli identici (GPT-4.1-mini), embedding (BGE-small), retriever (Qdrant) e strumenti (ricerca web Tavily). Questo isola il vero overhead e l'efficienza dei token di ciascun framework. Il benchmark era composto da 100 query, e ciascun…
Migliori strumenti, framework e librerie RAG
RAG migliora le risposte degli LLM fondandole su dati esterni invece che solo su ciò che il modello ha memorizzato durante l'addestramento. Abbiamo confrontato i componenti da cui è costruito un sistema RAG e raccolto i risultati in un unico posto, con una guida pratica alla scelta di ogni parte dello stack. Consulta i nostri…
Newsletter AI Multiple
Una email gratuita a settimana con le ultime notizie tecnologiche B2B e approfondimenti di esperti per dare impulso alla tua azienda.