Ekrem Sarı
Ekrem est chercheur en IA chez AIMultiple, spécialisé dans l'automatisation intelligente, les GPU, les agents IA et le LLMOps pour les frameworks RAG.
Expérience professionnelle
Durant son poste d'évaluateur chez Yandex, il a analysé les résultats de recherche à l'aide de frameworks propriétaires et de protocoles automatisés. Il a mis en œuvre des tests d'assurance qualité par l'annotation de données, l'attribution de scores de pertinence et la cartographie de l'intention de l'utilisateur sur plus de 10 000 requêtes mensuelles, tout en réalisant des évaluations techniques, notamment le suivi des performances et la détection de spam grâce à des boucles de rétroaction d'apprentissage automatique.Intérêts de recherche
Chez AIMultiple, ses recherches portent sur le cycle de vie MLOps et l'évaluation des performances des systèmes d'IA de bout en bout. Il contribue à de nombreux projets, notamment l'optimisation de la génération augmentée par la recherche (RAG), l'évaluation comparative de modèles de langage étendus (LLM) et la conception de frameworks d'IA agentiques. Ekrem est spécialisé dans le développement de méthodologies basées sur les données pour mesurer et améliorer les performances des technologies d'IA selon des indicateurs opérationnels critiques tels que la précision, l'efficacité, le coût des API et la scalabilité. Son analyse couvre l'ensemble de la pile technologique, des composants fondamentaux comme les modèles embarqués et les bases de données vectorielles jusqu'à l'infrastructure GPU et cloud haute performance nécessaire au déploiement des agents d'IA.Éducation
Ekrem est titulaire d'un baccalauréat de l'université Hacettepe et d'une maîtrise de l'université Başkent.Derniers articles de Ekrem
Meilleures fonctions serverless: Vercel vs Azure vs AWS
Les fonctions serverless permettent aux développeurs d'exécuter du code sans avoir à gérer de serveur. Cela leur permet de se concentrer sur l'écriture et le déploiement d'applications, tandis que la mise à l'échelle et la maintenance de l'infrastructure sont gérées automatiquement en arrière-plan. Dans ce benchmark, nous avons évalué 7 fournisseurs de services cloud populaires…
Modèles d'embedding multimodaux: Apple vs Meta vs OpenAI
Les modèles d'embedding multimodaux excellent dans l'identification d'objets mais peinent avec les relations. Les modèles actuels ont du mal à distinguer « un téléphone sur une carte » d'« une carte sur un téléphone ». Nous avons évalué 7 modèles de premier plan sur MS-COCO et Winoground pour mesurer cette limitation spécifique. Pour assurer une…
RAG Outils d'évaluation: Weights & Biases vs Ragas vs DeepEval
Lorsqu'un pipeline RAG récupère le mauvais contexte, le LLM génère avec confiance la mauvaise réponse. Les scoreurs de pertinence du contexte sont la première ligne de défense. Nous avons évalué cinq outils sur 1 460 questions et plus de 14 600 contextes notés dans des conditions identiques : même modèle juge (GPT-4o), configurations par défaut…
Navigateurs distants: comparaison de l'infrastructure web pour les agents IA
Les agents IA s'appuient sur des navigateurs distants pour automatiser des tâches web sans être bloqués par les mesures anti-scraping. Les performances de cette infrastructure navigateur sont cruciales pour le succès d'un agent. Nous avons évalué 8 fournisseurs selon le taux de réussite, la vitesse et les fonctionnalités. Pour cela, nous avons exécuté 160 tâches…
Meilleure base de données vectorielle pour RAG: Qdrant vs Weaviate vs Pinecone
Les bases de données vectorielles alimentent la couche de récupération dans les flux de travail RAG en stockant les documents et les embeddings de requêtes sous forme de vecteurs de haute dimension. Elles permettent des recherches de similarité rapides basées sur les distances vectorielles. Nous avons évalué six fournisseurs de bases de données vectorielles, en…
Test de base de données de graphe: Neo4j vs FalkorDB vs Memgraph
Nous avons testé Neo4j, FalkorDB et Memgraph sur un graphe synthétique dérivé de 120 000 avis produits Amazon (381K nœuds, 804K arêtes). Nous avons exécuté 12 modèles de requête avec 1 000 mesures chacun, testé l'ingestion sur 6 tailles de lot, maintenu une charge simultanée pendant 60 secondes avec jusqu'à 32 threads, et mesuré la…
Prix, performances et comparaison des fournisseurs de GPU cloud
Les prix publics des GPU cloud pour un même modèle peuvent varier de plusieurs fois d'un fournisseur à l'autre. Nous avons sélectionné le taux le plus bas, le fournisseur, la gamme du marché et la médiane pour plus de 40 configurations de GPU dans les trois niveaux de tarification, ainsi qu'un benchmark de débit par…
Top 20+ Frameworks Agentic RAG
Le RAG agentic améliore le RAG traditionnel en augmentant les performances du LLM et en permettant une plus grande spécialisation. Nous avons mené un benchmark pour évaluer ses performances dans le routage entre plusieurs bases de données et la génération de requêtes. Découvrez les frameworks et bibliothèques agentic RAG, les différences clés par rapport au…
LLM Moteurs d'inférence: vLLM vs LMDeploy vs SGLang
Nous avons évalué 3 moteurs d'inférence LLM de premier plan sur du matériel NVIDIA H100 : vLLM, LMDeploy et SGLang. Chaque moteur a traité des charges de travail identiques : 1 000 invites ShareGPT utilisant Llama 3.1 8B-Instruct pour isoler l'impact réel des choix architecturaux et des stratégies d'optimisation sur les performances. MoteursIdéal pour vLLM-Prototypage…
GPU Benchmark de concurrence: H100 vs H200 vs B200 vs MI300X
J'ai passé les 20 dernières années à me concentrer sur l'optimisation des performances de calcul au niveau du système. Nous avons évalué les dernières NVIDIA GPU, notamment les NVIDIA H100, H200 et B200, ainsi que les AMD MI300X, pour une analyse de l'évolutivité de la concurrence. En utilisant le framework vLLM avec le gpt-oss-20b model,…
Newsletter AIMultiple
Un e-mail gratuit par semaine contenant les dernières actualités technologiques B2B et des analyses d'experts pour accélérer la croissance de votre entreprise.