Ekrem Sarı
Ekrem est chercheur en IA et analyste de données chez AIMultiple. Il conçoit et exécute des benchmarks pratiques pour les systèmes d'IA et de LLM.
Expérience professionnelle
Chez AIMultiple, Ekrem effectue des benchmarks de systèmes d'IA de bout en bout et construit les workflows de données et les tableaux de bord utilisés pour suivre les métriques de benchmark et de produit. Ses benchmarks couvrent les models d'embedding et de reranking, les bases de données vectorielles et de graphes, les moteurs d'inference, la quantification, la concurrence GPU et la mise à l'échelle multi-GPU, la tarification et les fournisseurs de GPU cloud, le text-to-SQL, ainsi que les frameworks RAG et RAG agentique.
Avant AIMultiple, il a travaillé comme évaluateur chez Yandex, où il a évalué la qualité de la recherche et étiqueté de grands volumes de données selon des directives détaillées pour soutenir le classement et la qualité des models.
Intérêts de recherche
Le travail d'Ekrem se concentre sur le cycle de vie MLOps et LLMOps et sur la mesure des performances des systèmes d'IA. Il compare les models, les frameworks et l'infrastructure sur des métriques telles que l'exactitude, le débit, le coût de l'API et l'évolutivité, sur l'ensemble de la pile, des models d'embedding et des bases de données vectorielles aux GPU et à l'infrastructure cloud. Son mémoire de master automatise les revues systématiques de la littérature à l'aide d'un pipeline basé sur RAG.
Formation
Ekrem est titulaire d'une licence de Hacettepe University et termine un master à Başkent University.
Derniers articles de Ekrem
Web Scraping à Grande Échelle: 7 Fournisseurs Évalués
Nous avons exécuté deux benchmarks sur des sites web réels, de 5 à 5 000 requêtes simultanées. Le premier a envoyé 260 000 requêtes via quatre débloqueurs web sur les 10 000 premiers domaines Tranco, plus un test d'extraction markdown sur 10 000 URLs. Le second a récupéré 65 000 pages produits et pages de recherche auprès de chacun des…
Comparaison des 6 meilleurs services GPU cloud gratuits
Le meilleur niveau gratuit de GPU vaut environ 19 $ par mois aux tarifs de location, et huit plateformes offrent un véritable GPU sans carte de crédit. Six d'entre elles plafonnent l'utilisation gratuit par mois, et nous les avons chiffrées au tarif à la demande le moins cher actuel pour chaque GPU dans nos données…
Calculateur de dimensionnement et de sélection de bases de données vectorielles
La question pratique derrière une base de données vectorielle auto-hébergée pour RAG est de savoir quel moteur convient à un serveur donné, et lequel est exclu par la charge de travail. Le calculateur ci-dessous répond aux deux, à partir de notre benchmark de sept bases de données vectorielles auto-hébergées exécuté à rappel équivalent sur des…
Meilleurs outils, frameworks et bibliothèques RAG
RAG améliore les réponses des LLM en les fondant sur des données externes au lieu de ce que le modèle a mémorisé lors de l'entraînement. Nous avons évalué les composants d'un système RAG et rassemblé les résultats en un seul endroit, avec un guide pratique pour choisir chaque partie de la pile. Voir nos résultats…
Benchmark de bases de données vectorielles: 7 moteurs open-source pour RAG
Nous avons benchmarké sept bases de données vectorielles open-source auto-hébergées en tant que couche de récupération d'un pipeline RAG, chacune exécutée une à la fois sur des embeddings bge-m3 identiques et des requêtes médicales et techniques réelles, de sorte que l'index de la base de données était la seule variable. La charge de travail couvrait…
Comparaison des prix, performances et fournisseurs de GPU Cloud
Les prix catalogue des GPU cloud pour le même modèle peuvent différer plusieurs fois d'un fournisseur à l'autre. Nous avons compilé le tarif le plus bas, le fournisseur, la fourchette de marché et la médiane pour plus de 40 configurations de GPU sur les trois niveaux de tarification, ainsi qu'un benchmark de débit par dollar…
Indice des prix de location Cloud GPU
Les tarifs à la demande pour les GPU cloud de dernière génération (B200, B300, MI300X, RTX 5090) ont environ doublé au cours de l'année écoulée, tandis que les cartes grand public (H100, H200, A100) sont restées dans une fourchette étroite. Nous compilons l'indice GPU chaque mois à partir de 63 fournisseurs et 17 GPU models,…
LLM Calculateur VRAM pour l'auto-hébergement
Auto-héberger un LLM signifie exécuter l'inférence sur du matériel que l'opérateur contrôle, plutôt que via une API tierce, ce qui modifie le coût, le contrôle des données et le profil de confidentialité. Qu'un modèle puisse fonctionner ou non dépend de la mémoire. Le calculateur estime la VRAM ou la mémoire unifiée dont un modèle a…
Meilleures fonctions serverless: Vercel vs Azure vs AWS
Les fonctions serverless permettent aux développeurs d'exécuter du code sans avoir à gérer un serveur. Cela leur permet de se concentrer sur l'écriture et le déploiement d'applications tandis que la mise à l'échelle et la maintenance de l'infrastructure sont gérées automatiquement en arrière-plan. Dans ce benchmark, nous avons évalué 7 fournisseurs de services cloud populaires…
RAG Outils d'évaluation: Weights & Biases vs Ragas vs DeepEval
Lorsqu'un pipeline RAG récupère le mauvais contexte, le LLM génère avec confiance la mauvaise réponse. Les scoreurs de pertinence du contexte sont la première ligne de défense. Nous avons évalué cinq outils sur 1 460 questions et plus de 14 600 contextes notés dans des conditions identiques : même modèle juge (GPT-4o), configurations par défaut…
Newsletter AIMultiple
Un e-mail gratuit par semaine contenant les dernières actualités technologiques B2B et des analyses d'experts pour accélérer la croissance de votre entreprise.