Ekrem Sarı
Ekrem est chercheur en IA et scientifique des données chez AIMultiple. Il conçoit et exécute des benchmarks pratiques pour les systèmes d'IA et de LLM.
Expérience professionnelle
Chez AIMultiple, Ekrem évalue des systèmes d'IA de bout en bout et construit les flux de données et les tableaux de bord utilisés pour suivre les indicateurs de benchmark et de produit. Ses benchmarks couvrent les modèles d'embedding et de reclassement, les bases de données vectorielles et de graphes, les moteurs d'inférence, la quantification, la concurrence GPU et la mise à l'échelle multi-GPU, la tarification et les fournisseurs de GPU cloud, le text-to-SQL, ainsi que les frameworks RAG et RAG agentique.
Avant AIMultiple, il a travaillé comme scientifique des données chez Yandex, où il a interrogé et analysé de grands datasets avec SQL pour évaluer la qualité de la recherche et du classement par rapport à des consignes détaillées.
Intérêts de recherche
Les travaux d'Ekrem portent sur la mesure des performances en conditions réelles des systèmes LLM et de recherche d'information. Il conçoit le harnais de test, exécute les charges de travail sur du matériel réel et compare les modèles, les frameworks et l'infrastructure en termes de précision, de débit, de latence, de coût et d'évolutivité, sur l'ensemble de la pile, des modèles d'embedding et des bases de données vectorielles aux moteurs d'inférence et à l'infrastructure GPU. Son mémoire de master automatise les revues systématiques de la littérature avec un pipeline basé sur RAG.
Formation
Ekrem est titulaire d'un master en systèmes d'information de gestion de l'université Başkent, où son mémoire a automatisé les revues systématiques de la littérature avec un pipeline basé sur RAG, et poursuit un deuxième master en ingénierie des données et de la connaissance à l'université Hacettepe.
Derniers articles de Ekrem
Benchmark de bases de données vectorielles: 7 moteurs open source pour RAG
Nous avons évalué sept bases de données vectorielles open source auto-hébergées comme couche de récupération d’un pipeline RAG, chacune exécutée une par une sur des embeddings bge-m3 identiques et des requêtes médicales et techniques réelles, de sorte que l’index de la base de données était la seule variable. La charge de travail couvrait MedRAG-50k, TechQA-28k…
Comparaison des modèles de fondation relationnels
Nous avons comparé SAP-RPT-1-OSS au gradient boosting (LightGBM, CatBoost) sur 17 jeux de données tabulaires couvrant le spectre sémantique‑numérique, des petites tables à haute sémantique, des jeux de données métier mixtes et de grands jeux de données numériques à faible sémantique. Notre objectif est de mesurer où les priors sémantiques pré‑entraînés d’un LLM relationnel peuvent…
Top 70+ fournisseurs de GPU cloud
Les fournisseurs de GPU cloud se répartissent en trois catégories. Les hyperscalers exploitent de vastes plateformes cloud où la location de GPU n'est qu'un produit parmi beaucoup d'autres. Les neoclouds spécialisés se concentrent sur l'infrastructure GPU et IA comme produit principal. Les places de marché communautaires regroupent l'inventaire de nombreux petits opérateurs, souvent au plancher…
Tarification, performances et comparatif des fournisseurs de GPU cloud
Les prix catalogue des GPU cloud pour un même modèle peuvent varier de plusieurs fois d’un fournisseur à l’autre. Nous avons sélectionné le tarif le plus bas, le fournisseur, la plage de prix du marché et la médiane pour plus de 40 configurations de GPU dans les trois niveaux de tarification, ainsi qu’un benchmark de…
RAG Outils d'évaluation: Weights & Biases vs Ragas vs DeepEval
Lorsqu'un pipeline RAG récupère le mauvais contexte, le LLM génère avec assurance la mauvaise réponse. Les évaluateurs de pertinence du contexte constituent la première défense. Nous avons évalué cinq outils sur 1 460 questions et plus de 14 600 contextes notés dans des conditions identiques : même modèle juge (GPT-4o), configurations par défaut et aucun prompt personnalisé.…
Modèles embedding: OpenAI vs Gemini vs Voyage
Nous avons évalué 15 modèles d’embedding de texte en anglais et une référence BM25 sur plus de 500 requêtes sélectionnées manuellement dans trois domaines de recherche : contrats juridiques (CUAD), support client (IBM TechQA) et santé (MedRAG PubMed). Voyage-3.5 se classe premier au classement général. Perplexity Embed V1 0.6b atteint le segment intermédiaire supérieur au…
RAG Frameworks: LangChain vs LangGraph vs LlamaIndex
Nous avons benchmarké 5 RAG frameworks : LangChain, LangGraph, LlamaIndex, Haystack et DSPy, en construisant le même workflow RAG agentique avec des composants standardisés : modèles identiques (GPT-4.1-mini), embeddings (BGE-small), retriever (Qdrant) et outils (recherche web Tavily). Ceci isole la surcharge réelle et l’efficacité en tokens de chaque framework. Le benchmark consistait en 100 requêtes,…
Benchmark des logiciels de sauvegarde: Acronis vs NinjaOne vs Comet vs MSP360
Nous avons évalué NinjaOne Backup, Acronis Cyber Protect Cloud Backup, Comet Backup et MSP360 Managed Backup sur une infrastructure AWS identique. Chaque fournisseur a exécuté une sauvegarde en mode fichier de la même charge de travail de 625 946 fichiers / 50 Go et une sauvegarde d'image complète du disque système, puis a restauré le sous-répertoire…
Benchmark des modèles d'embedding open source pour RAG
NVIDIA Llama-Embed-Nemotron-8B est en tête en précision. Côté coût, l’EmbeddingGemma-300m de Google est environ 4x moins cher que Nemotron, au prix d’une légère perte de précision. nDCG@3 : Gain cumulé actualisé normalisé avec une coupure à 3. Avec un document pertinent par requête, il vaut 1 / log2(rang + 1) lorsque le document de référence…
Benchmark de rerankers: Top 8 modèles comparés
Nous avons évalué 8 modèles de reranking sur ~145k avis Amazon en anglais afin de mesurer l'amélioration apportée par une étape de reranking à la recherche dense. Nous avons récupéré les 100 meilleurs candidats avec multilingual-e5-base, les avons reclassés avec chaque modèle, et avons évalué les 10 meilleurs résultats par rapport à 300 requêtes, chacune…
Newsletter AIMultiple
Un e-mail gratuit par semaine contenant les dernières actualités technologiques B2B et des analyses d'experts pour accélérer la croissance de votre entreprise.