Ekrem Sarı
Ekrem è un Ricercatore IA e Data Scientist presso AIMultiple. Progetta ed esegue benchmark pratici per sistemi di IA e LLM.
Esperienza professionale
Presso AIMultiple, Ekrem esegue benchmark su sistemi di IA end-to-end e realizza i flussi di lavoro dei dati e le dashboard utilizzate per monitorare le metriche di benchmark e di prodotto. I suoi benchmark coprono modelli di embedding e reranker, database vettoriali e a grafo, motori di inference, quantizzazione, concorrenza GPU e scaling multi-GPU, prezzi e provider di GPU cloud, text-to-SQL e framework RAG e RAG agentici.
Prima di AIMultiple, ha lavorato come Data Scientist presso Yandex, dove ha interrogato e analizzato grandi dataset con SQL per valutare la qualità di ricerca e ranking rispetto a linee guida dettagliate.
Interessi di ricerca
Il lavoro di Ekrem si concentra sulla misurazione delle prestazioni pratiche dei sistemi LLM e di retrieval. Progetta il test harness, esegue i carichi di lavoro su hardware reale e confronta modelli, framework e infrastrutture in termini di accuratezza, throughput, latenza, costo e scalabilità, lungo l'intero stack dai modelli di embedding e database vettoriali ai motori di inference e all'infrastruttura GPU. La sua tesi di laurea magistrale automatizza le revisioni sistematiche della letteratura con una pipeline basata su RAG.
Formazione
Ekrem ha conseguito una laurea magistrale in Sistemi Informativi Gestionali presso la Başkent University, dove la sua tesi ha automatizzato le revisioni sistematiche della letteratura con una pipeline basata su RAG, e sta conseguendo una seconda laurea magistrale in Ingegneria dei Dati e della Conoscenza presso la Hacettepe University.
Ultimi articoli di Ekrem
Web Scraping su Larga Scala: 7 Fornitori Confrontati
Abbiamo eseguito due benchmark su siti web live, da 5 a 5.000 richieste concorrenti. Il primo ha inviato 260.000 richieste attraverso quattro web unblocker sui primi 10.000 domini Tranco, più un test di estrazione markdown su 10.000 URL. Il secondo ha recuperato 65.000 pagine prodotto e di ricerca da ciascuno dei cinque fornitori di scraping…
Scraper per e-commerce: 4 fornitori a confronto
Abbiamo confrontato quattro fornitori di dati web su 100 domini e-commerce, recuperando 65.000 pagine prodotto e di ricerca con livelli da 5 a 5.000 richieste concorrenti. In media tra i livelli di concorrenza, Bright Data ha raggiunto il tasso di successo più alto (76%) con un tempo mediano di 16 secondi. Apify ha registrato il…
Open Source Embedding Models: 11 Models sottoposti a benchmark per il retrieval
nDCG@10 misura la posizione dei passaggi pertinenti registrati tra i primi dieci risultati di ricerca. Un punteggio pari a 1 rappresenta il ranking ideale per i positivi registrati. I passaggi più vicini alla cima ricevono più peso. PPLX Embed v1 4B ha guidato il confronto con 0.741 nDCG@10, seguito da PPLX Embed v1 0.6B con…
Benchmark del software di backup: Acronis vs NinjaOne vs Comet vs MSP360
Abbiamo confrontato NinjaOne Backup, Acronis Cyber Protect Cloud Backup, Comet Backup e MSP360 Managed Backup su un'infrastruttura AWS identica. Ogni fornitore ha eseguito un backup in modalità file dello stesso carico di lavoro da 625.946 file / 50 GB e un backup completo dell'immagine del disco di sistema, quindi ha ripristinato la sottodirectory media da…
Indice dei prezzi di noleggio di GPU cloud
Ultimi rilasci registrano il maggiore aumento di prezzo tra i tre gruppi. La sua mediana on-demand è passata da $2,12 per GPU-ora nell'ottobre 2024 a $4,72 nel settembre 2026. Nello stesso periodo, il gruppo Moderno è passato da $1,35 a $1,45, mentre Legacy è sceso da $1,77 a $0.95. Ogni mediana utilizza le inserzioni presenti…
Reranker benchmark: confronto tra i migliori 8 modelli
Abbiamo testato 8 modelli di reranking su ~145k recensioni Amazon in inglese per misurare quanto una fase di reranking migliori il recupero denso. Abbiamo recuperato i primi 100 candidati con multilingual-e5-base, li abbiamo riordinati con ciascun modello e abbiamo valutato i primi 10 risultati rispetto a 300 query, ognuna delle quali fa riferimento a dettagli…
I migliori 70+ fornitori di Cloud GPU
I fornitori di Cloud GPU si dividono in tre livelli. Gli hyperscaler gestiscono ampie piattaforme cloud con il noleggio di GPU come un prodotto tra molti. I neocloud specializzati si concentrano su GPU e infrastruttura IA come prodotto principale. I marketplace comunitari aggregano l'inventario di molti piccoli operatori, spesso al minimo della fascia di prezzo…
LLM Calcolatore VRAM per il self-hosting
Il self-hosting di un LLM significa eseguire l'inferenza su hardware controllato dall'operatore anziché tramite un'API di terze parti, il che cambia il profilo di costi, controllo dei dati e privacy. Il fatto che un modello possa girare dipende interamente dalla memoria. Il calcolatore stima la VRAM o la memoria unificata necessaria a un modello per…
Benchmark multi-GPU: B200 vs H200 vs H100 vs MI300X
Da oltre due decenni, l'ottimizzazione delle prestazioni di calcolo è stata una pietra angolare del mio lavoro. Abbiamo confrontato NVIDIA B200, H200, H100 e AMD MI300X per valutare quanto scalano bene per l'inferenza di Large Language Model (LLM). Utilizzando il framework vLLM con il modello meta-llama/Llama-3.1-8B-Instruct, abbiamo eseguito test su 1, 2, 4 e 8…
GPU Benchmark di concorrenza: H100 vs H200 vs B200 vs MI300X
Ho trascorso gli ultimi 20 anni concentrandomi sull'ottimizzazione delle prestazioni computazionali a livello di sistema. Abbiamo sottoposto a benchmark le più recenti NVIDIA GPU, tra cui la NVIDIA H100, H200 e B200, e la AMD MI300X, per l'analisi della scalabilità della concorrenza. Utilizzando il framework vLLM con il gpt-oss-20b model, abbiamo testato come queste GPU…
Newsletter AI Multiple
Una email gratuita a settimana con le ultime notizie tecnologiche B2B e approfondimenti di esperti per dare impulso alla tua azienda.