Ekrem Sarı
Ekrem è un Ricercatore IA e Data Scientist presso AIMultiple. Progetta ed esegue benchmark pratici per sistemi di IA e LLM.
Esperienza professionale
Presso AIMultiple, Ekrem esegue benchmark su sistemi di IA end-to-end e realizza i flussi di lavoro dei dati e le dashboard utilizzate per monitorare le metriche di benchmark e di prodotto. I suoi benchmark coprono modelli di embedding e reranker, database vettoriali e a grafo, motori di inference, quantizzazione, concorrenza GPU e scaling multi-GPU, prezzi e provider di GPU cloud, text-to-SQL e framework RAG e RAG agentici.
Prima di AIMultiple, ha lavorato come Data Scientist presso Yandex, dove ha interrogato e analizzato grandi dataset con SQL per valutare la qualità di ricerca e ranking rispetto a linee guida dettagliate.
Interessi di ricerca
Il lavoro di Ekrem si concentra sulla misurazione delle prestazioni pratiche dei sistemi LLM e di retrieval. Progetta il test harness, esegue i carichi di lavoro su hardware reale e confronta modelli, framework e infrastrutture in termini di accuratezza, throughput, latenza, costo e scalabilità, lungo l'intero stack dai modelli di embedding e database vettoriali ai motori di inference e all'infrastruttura GPU. La sua tesi di laurea magistrale automatizza le revisioni sistematiche della letteratura con una pipeline basata su RAG.
Formazione
Ekrem ha conseguito una laurea magistrale in Sistemi Informativi Gestionali presso la Başkent University, dove la sua tesi ha automatizzato le revisioni sistematiche della letteratura con una pipeline basata su RAG, e sta conseguendo una seconda laurea magistrale in Ingegneria dei Dati e della Conoscenza presso la Hacettepe University.
Ultimi articoli di Ekrem
Confronto dei modelli fondazionali relazionali
Abbiamo confrontato SAP-RPT-1-OSS con il gradient boosting (LightGBM, CatBoost) su 17 dataset tabulari che coprono lo spettro semantico-numerico, tabelle piccole/ad alta semantica, dataset aziendali misti e grandi dataset numerici a bassa semantica. Il nostro obiettivo è misurare dove i priori semantici pre-addestrati di un LLM relazionale possano offrire vantaggi rispetto ai modelli ad albero tradizionali…
I 70+ migliori provider cloud GPU
I provider di cloud GPU si dividono in tre livelli. Gli hyperscaler gestiscono piattaforme cloud ampie con il noleggio di GPU come uno dei tanti prodotti. I neocloud specializzati si concentrano sulle infrastrutture GPU e IA come prodotto principale. I marketplace comunitari aggregano l'inventario di molti piccoli operatori, spesso al livello più basso della forbice…
Prezzi, prestazioni e confronto tra i provider di GPU cloud
I prezzi di listino delle GPU cloud per lo stesso modello possono differire di diverse volte da un provider all'altro. Abbiamo selezionato la tariffa più bassa, il fornitore, l'intervallo di mercato e la mediana per oltre 40 configurazioni di GPU su tutti e tre i livelli di prezzo, oltre a un benchmark di throughput per…
Strumenti di valutazione RAG: Weights & Biases vs Ragas vs DeepEval
Quando una pipeline RAG recupera il contesto sbagliato, il LLM genera con sicurezza la risposta sbagliata. I valutatori di rilevanza contestuale sono la principale difesa. Abbiamo confrontato cinque strumenti su 1.460 domande e oltre 14.600 contesti valutati in condizioni identiche: stesso modello giudice (GPT-4o), configurazioni predefinite e nessun prompt personalizzato. In condizioni standard, WandB, TruLens…
Modelli di embedding: OpenAI vs Gemini vs Voyage
Abbiamo confrontato 15 modelli di embedding testuali in inglese e una baseline BM25 su oltre 500 query curate manualmente in tre domini di recupero: contratti legali (CUAD), assistenza clienti (IBM TechQA) e sanità (MedRAG PubMed). Voyage-3.5 è al primo posto in assoluto. Perplexity Embed V1 0.6b raggiunge la fascia medio-alta al prezzo più basso del…
RAG Framework: LangChain vs LangGraph vs LlamaIndex
Abbiamo confrontato 5 RAG framework: LangChain, LangGraph, LlamaIndex, Haystack e DSPy, costruendo lo stesso flusso di lavoro RAG agentico con componenti standardizzati: modelli identici (GPT-4.1-mini), embedding (BGE-small), retriever (Qdrant) e strumenti (ricerca web Tavily). Questo isola il vero overhead e l'efficienza dei token di ciascun framework. Il benchmark era composto da 100 query, e ciascun…
Benchmark del software di backup: Acronis vs NinjaOne vs Comet vs MSP360
Abbiamo confrontato NinjaOne Backup, Acronis Cyber Protect Cloud Backup, Comet Backup e MSP360 Managed Backup su un'infrastruttura AWS identica. Ogni fornitore ha eseguito un backup in modalità file dello stesso carico di lavoro da 625.946 file / 50 GB e un backup completo dell'immagine del disco di sistema, quindi ha ripristinato la sottodirectory media da…
Benchmark di Open Source Embedding Models per RAG
NVIDIA Llama-Embed-Nemotron-8B guida in accuratezza. Sul costo, EmbeddingGemma-300m di Google costa circa 4x in meno rispetto a Nemotron a fronte di una piccola perdita di accuratezza. nDCG@3: Guadagno cumulativo scontato normalizzato al cutoff 3. Con un solo documento rilevante per query, è 1 / log2(rank + 1) quando il documento gold rientra nei primi 3,…
Reranker benchmark: confronto tra i migliori 8 modelli
Abbiamo testato 8 modelli di reranking su ~145k recensioni Amazon in inglese per misurare quanto una fase di reranking migliori il recupero denso. Abbiamo recuperato i primi 100 candidati con multilingual-e5-base, li abbiamo riordinati con ciascun modello e abbiamo valutato i primi 10 risultati rispetto a 300 query, ognuna delle quali fa riferimento a dettagli…
LLM Calcolatore VRAM per il self-hosting
Il self-hosting di un LLM significa eseguire l'inferenza su hardware controllato dall'operatore anziché tramite un'API di terze parti, il che cambia il profilo di costi, controllo dei dati e privacy. Il fatto che un modello possa girare dipende interamente dalla memoria. Il calcolatore stima la VRAM o la memoria unificata necessaria a un modello per…
Newsletter AI Multiple
Una email gratuita a settimana con le ultime notizie tecnologiche B2B e approfondimenti di esperti per dare impulso alla tua azienda.