Ekrem Sarı
Ekrem est chercheur en IA et scientifique des données chez AIMultiple. Il conçoit et exécute des benchmarks pratiques pour les systèmes d'IA et de LLM.
Expérience professionnelle
Chez AIMultiple, Ekrem évalue des systèmes d'IA de bout en bout et construit les flux de données et les tableaux de bord utilisés pour suivre les indicateurs de benchmark et de produit. Ses benchmarks couvrent les modèles d'embedding et de reclassement, les bases de données vectorielles et de graphes, les moteurs d'inférence, la quantification, la concurrence GPU et la mise à l'échelle multi-GPU, la tarification et les fournisseurs de GPU cloud, le text-to-SQL, ainsi que les frameworks RAG et RAG agentique.
Avant AIMultiple, il a travaillé comme scientifique des données chez Yandex, où il a interrogé et analysé de grands datasets avec SQL pour évaluer la qualité de la recherche et du classement par rapport à des consignes détaillées.
Intérêts de recherche
Les travaux d'Ekrem portent sur la mesure des performances en conditions réelles des systèmes LLM et de recherche d'information. Il conçoit le harnais de test, exécute les charges de travail sur du matériel réel et compare les modèles, les frameworks et l'infrastructure en termes de précision, de débit, de latence, de coût et d'évolutivité, sur l'ensemble de la pile, des modèles d'embedding et des bases de données vectorielles aux moteurs d'inférence et à l'infrastructure GPU. Son mémoire de master automatise les revues systématiques de la littérature avec un pipeline basé sur RAG.
Formation
Ekrem est titulaire d'un master en systèmes d'information de gestion de l'université Başkent, où son mémoire a automatisé les revues systématiques de la littérature avec un pipeline basé sur RAG, et poursuit un deuxième master en ingénierie des données et de la connaissance à l'université Hacettepe.
Derniers articles de Ekrem
Benchmark des logiciels d'archivage d'e-mails
Nous avons provisionné un locataire Microsoft 365, l'avons rempli avec un corpus synthétique de 10 000 e-mails et 1 700 pièces jointes réparties sur 8 sous-types de fichiers, puis avons comparé NinjaOne SaaS Archiver, Barracuda Cloud Archiving Service, Acronis Cyber Protect Cloud Email Archiving et MailPiler sur le même locataire selon 10 dimensions couvrant l'ingestion, la recherche,…
Benchmark de rerankers: Top 8 modèles comparés
Nous avons évalué 8 modèles de reranking sur ~145k avis Amazon en anglais afin de mesurer l'amélioration apportée par une étape de reranking à la recherche dense. Nous avons récupéré les 100 meilleurs candidats avec multilingual-e5-base, les avons reclassés avec chaque modèle, et avons évalué les 10 meilleurs résultats par rapport à 300 requêtes, chacune…
RAG Outils d'évaluation : W&B Weave vs Ragas vs TruLens
Nous avons évalué cinq outils d'évaluation de génération augmentée par récupération (RAG) sur 1 000+ questions antagonistes, chacune associée à cinq passages. La comparaison mesure la pertinence du contexte à l'aide de GPT-4o et des invites d'évaluation par défaut des outils. W&B Weave a obtenu la précision Top-1 la plus élevée à 94,5 %. TruLens a dominé…
Navigateurs distants: infrastructure web pour agents IA comparée
Les agents IA s’appuient sur des navigateurs distants pour automatiser des tâches web sans être bloqués par les mesures anti-scraping. Les performances de cette infrastructure de navigation sont essentielles à la réussite d’un agent. Nous avons évalué 8 fournisseurs sur le taux de réussite, la vitesse et les fonctionnalités. Pour ce faire, nous avons exécuté…
Benchmark de l'API de recherche vidéo: Bright Data vs YouTube
Nous avons comparé Bright Data Video Search avec la recherche YouTube sur 50 requêtes en anglais réparties en cinq types de requêtes. Les deux moteurs ont été interrogés jusqu'à épuisement, et un panel de trois modèles a évalué des images vidéo échantillonnées. Le nombre de clips exploitables par recherche estime combien de vidéos renvoyées contiennent…
Modèles d'embedding: 25 modèles évalués pour la récupération
Nous avons évalué 25 modèles d'embedding sur 200 questions de récupération portant sur la finance, les contrats juridiques, le support technique et la littérature médicale. Les quatre corpus contenaient 341 040 passages de texte au total. Chaque requête interrogeait son propre domaine. Le nDCG@10 mesure à quel point les passages pertinents enregistrés apparaissent en bonne position…
Benchmark des logiciels DLP
Nous avons évalué Acronis DeviceLock DLP et ManageEngine DLP Plus sur des machines virtuelles Windows Server 2022 identiques avec 28 scénarios : 23 tests de fuite de données (dont 12 fichiers d'évasion adversaire), 3 tests de sécurité de l'agent et 2 tests sous forte consommation de CPU et de mémoire. Pour les autres produits DLP,…
Web Scraping à Grande Échelle: 7 Fournisseurs Évalués
Nous avons exécuté deux benchmarks sur des sites web réels, de 5 à 5 000 requêtes simultanées. Le premier a envoyé 260 000 requêtes via quatre débloqueurs web sur les 10 000 premiers domaines Tranco, plus un test d'extraction markdown sur 10 000 URLs. Le second a récupéré 65 000 pages produits et pages de recherche auprès de chacun des…
Scraper e-commerce: 4 fournisseurs évalués
Nous avons comparé quatre fournisseurs de données web sur 100 domaines e-commerce, en récupérant 65 000 pages produit et recherche chacun, avec un niveau de 5 à 5 000 requêtes simultanées. En moyenne sur les niveaux de simultanéité, Bright Data a atteint le taux de réussite le plus élevé (76 %) avec une médiane de 16…
Open Source Embedding Models: 11 Models benchmarkés pour la récupération
nDCG@10 évalue le placement des passages pertinents enregistrés dans les dix premiers résultats de recherche. Un score de 1 représente le classement idéal pour les positifs enregistrés. Les passages plus proches du sommet reçoivent plus de poids. PPLX Embed v1 4B a mené la comparaison à 0.741 nDCG@10, suivi de PPLX Embed v1 0.6B à…
Newsletter AIMultiple
Un e-mail gratuit par semaine contenant les dernières actualités technologiques B2B et des analyses d'experts pour accélérer la croissance de votre entreprise.