Ekrem Sarı
Ekrem est chercheur en IA chez AIMultiple, spécialisé dans l'automatisation intelligente, les GPU, les agents IA et le LLMOps pour les frameworks RAG.
Expérience professionnelle
Durant son poste d'évaluateur chez Yandex, il a analysé les résultats de recherche à l'aide de frameworks propriétaires et de protocoles automatisés. Il a mis en œuvre des tests d'assurance qualité par l'annotation de données, l'attribution de scores de pertinence et la cartographie de l'intention de l'utilisateur sur plus de 10 000 requêtes mensuelles, tout en réalisant des évaluations techniques, notamment le suivi des performances et la détection de spam grâce à des boucles de rétroaction d'apprentissage automatique.Intérêts de recherche
Chez AIMultiple, ses recherches portent sur le cycle de vie MLOps et l'évaluation des performances des systèmes d'IA de bout en bout. Il contribue à de nombreux projets, notamment l'optimisation de la génération augmentée par la recherche (RAG), l'évaluation comparative de modèles de langage étendus (LLM) et la conception de frameworks d'IA agentiques. Ekrem est spécialisé dans le développement de méthodologies basées sur les données pour mesurer et améliorer les performances des technologies d'IA selon des indicateurs opérationnels critiques tels que la précision, l'efficacité, le coût des API et la scalabilité. Son analyse couvre l'ensemble de la pile technologique, des composants fondamentaux comme les modèles embarqués et les bases de données vectorielles jusqu'à l'infrastructure GPU et cloud haute performance nécessaire au déploiement des agents d'IA.Éducation
Ekrem est titulaire d'un baccalauréat de l'université Hacettepe et d'une maîtrise de l'université Başkent.Derniers articles de Ekrem
Text-to-SQL: Comparaison de la précision des LLM
J'utilise SQL pour l'analyse de données depuis 18 ans, depuis mes débuts en tant que consultant. Traduire des questions en langage naturel en SQL rend les données plus accessibles, permettant à n'importe qui, même sans compétences techniques, de travailler directement avec les bases de données. Nous avons appliqué notre méthodologie de benchmark text-to-SQL à 34…
Meilleurs RAG outils, frameworks et bibliothèques
RAG améliore les réponses des LLM en les fondant sur des données externes plutôt que sur ce que le modèle a mémorisé pendant l’entraînement. Nous avons évalué les composants qui constituent un système RAG et rassemblé les résultats en un seul endroit, avec un guide pratique pour choisir chaque partie de la pile. Consultez nos…
Top 10 Modèles d'embedding multilingues pour RAG
Nous avons évalué 10 modèles d'embedding multilingues sur ~606k avis Amazon dans 6 langues (allemand, anglais, espagnol, français, japonais, chinois). Nous avons généré 1 800 requêtes (300 par langue), chacune faisant référence à des détails concrets de l'avis source correspondant. Les modèles entraînés pour la recherche (séparation requête/document) surpassent les modèles plus grands entraînés pour…
Benchmark Multi-GPU: B200 vs H200 vs H100 vs MI300X
Pendant plus de deux décennies, l'optimisation des performances de calcul a été une pierre angulaire de mon travail. Nous avons effectué des benchmarks des GPU B200, H200, H100 de NVIDIA et MI300X de AMD pour évaluer leur évolutivité pour l'inférence de grands modèles de langage (LLM). En utilisant le framework vLLM avec le modèle meta-llama/Llama-3.1-8B-Instruct,…
Modèles d'embedding: OpenAI vs Gemini vs Voyage
Nous avons évalué 15 modèles d'embedding de texte en anglais et une référence BM25 sur plus de 500 requêtes sélectionnées manuellement dans trois domaines de récupération : contrats juridiques (CUAD), support client (IBM TechQA) et santé (MedRAG PubMed). Voyage-3.5 se classe premier dans l'ensemble. Perplexity Embed V1 0.6b atteint le milieu de gamme supérieur au…
RAG Frameworks: LangChain vs LangGraph vs LlamaIndex
Nous avons évalué 5 RAG frameworks : LangChain, LangGraph, LlamaIndex, Haystack et DSPy, en construisant le même flux de travail RAG agentique avec des composants standardisés : modèles identiques (GPT-4.1-mini), embeddings (BGE-small), retriever (Qdrant) et outils (recherche web Tavily). Cela isole la véritable surcharge et l'efficacité des tokens de chaque framework. Résultats du benchmark des…
Benchmark des rerankers: Comparaison des 8 meilleurs modèles
Nous avons évalué 8 modèles de reranking sur environ 145 000 avis Amazon en anglais pour mesurer dans quelle mesure une étape de reranking améliore la recherche dense. Nous avons récupéré les 100 meilleurs candidats avec multilingual-e5-base, nous les avons rerankés avec chaque modèle, et nous avons évalué les 10 meilleurs résultats par rapport à…
Recherche agentic: Benchmark de 8 API de recherche pour agents
La recherche agentic joue un rôle crucial pour combler le fossé entre les moteurs de recherche traditionnels et les capacités de recherche par IA. Ces systèmes permettent aux agents IA de trouver, récupérer et structurer automatiquement les informations pertinentes, alimentant des applications allant de l'assistance à la recherche au suivi en temps réel et au…
Comparatif des logiciels DLP
Nous avons comparé Acronis DeviceLock DLP et ManageEngine DLP Plus sur des machines virtuelles Windows Server 2022 identiques avec 28 scénarios : 23 tests de fuite de données (incluant 12 fichiers d'évasion adversariale), 3 tests de sécurité de l'agent et 2 tests sous forte consommation de CPU et de mémoire. Pour les autres produits DLP,…
LLM Quantification: BF16 vs FP8 vs INT4
Nous avons effectué des benchmarks de Qwen3-32B à 4 niveaux de précision (BF16, FP8, GPTQ-Int8, GPTQ-Int4) sur un seul NVIDIA H100 80GB GPU. Chaque configuration a été évaluée sur 2 benchmarks (~12,2K questions) couvrant les connaissances et la génération de code, ainsi que sur plus de 2 000 exécutions d'inférence pour mesurer le débit. Int4…
Newsletter AIMultiple
Un e-mail gratuit par semaine contenant les dernières actualités technologiques B2B et des analyses d'experts pour accélérer la croissance de votre entreprise.