Premium
Services
Premium
Ekrem Sarı

Ekrem Sarı

Chercheur en IA
37 Articles
Restez informé des dernières technologies B2B

Ekrem est chercheur en IA et scientifique des données chez AIMultiple. Il conçoit et exécute des benchmarks pratiques pour les systèmes d'IA et de LLM.

Expérience professionnelle

Chez AIMultiple, Ekrem évalue des systèmes d'IA de bout en bout et construit les flux de données et les tableaux de bord utilisés pour suivre les indicateurs de benchmark et de produit. Ses benchmarks couvrent les modèles d'embedding et de reclassement, les bases de données vectorielles et de graphes, les moteurs d'inférence, la quantification, la concurrence GPU et la mise à l'échelle multi-GPU, la tarification et les fournisseurs de GPU cloud, le text-to-SQL, ainsi que les frameworks RAG et RAG agentique.

Avant AIMultiple, il a travaillé comme scientifique des données chez Yandex, où il a interrogé et analysé de grands datasets avec SQL pour évaluer la qualité de la recherche et du classement par rapport à des consignes détaillées.

Intérêts de recherche

Les travaux d'Ekrem portent sur la mesure des performances en conditions réelles des systèmes LLM et de recherche d'information. Il conçoit le harnais de test, exécute les charges de travail sur du matériel réel et compare les modèles, les frameworks et l'infrastructure en termes de précision, de débit, de latence, de coût et d'évolutivité, sur l'ensemble de la pile, des modèles d'embedding et des bases de données vectorielles aux moteurs d'inférence et à l'infrastructure GPU. Son mémoire de master automatise les revues systématiques de la littérature avec un pipeline basé sur RAG.

Formation

Ekrem est titulaire d'un master en systèmes d'information de gestion de l'université Başkent, où son mémoire a automatisé les revues systématiques de la littérature avec un pipeline basé sur RAG, et poursuit un deuxième master en ingénierie des données et de la connaissance à l'université Hacettepe.

Derniers articles de Ekrem

IA
Benchmark
3 nov

Benchmark de plus de 90 LLM en finance: Claude Opus 5.5 et Gemini 4 Argon

L'ensemble de test est le sous-ensemble difficile du benchmark FinanceReasoning (Tang et al.), avec 238 questions. La précision est le pourcentage de questions ayant reçu une réponse correcte. Les réponses numériques bénéficient d'une tolérance relative de 0,2 %. Les tokens de sortie sont les tokens générés pour les 238 réponses. Les tokens d'entrée sont comptés séparément…

IA
Benchmark
3 nov

Benchmark AIM-Text-to-SQL: précision SQL sur plus de 70 LLMs

La précision SQL est le pourcentage de requêtes notées qui renvoient le résultat de référence. Les routages incorrects et les références signalées comme défaillantes sont exclus. Une requête de référence est le SQL fourni comme réponse attendue. Chaque model atteint un ensemble différent de questions SQL, car la notation dépend de ses choix de base…

Cybersécurité
Benchmark
1 nov

Détection de bots: 9 fournisseurs anti-bot évalués

Nous avons mesuré la récupération de contenu sur plus de 3 800 domaines étiquetés en utilisant trois services de scraping commerciaux. Nous avons regroupé les résultats par les sociétés anti-bot identifiées sur ces domaines. Cloudflare a été identifié sur 73,3 % des 3 859 domaines étiquetés. Le taux de blocage pour ce groupe était de 6,7 %. Imperva a…

IA
Benchmark
30 oct

AIM-Agentic RAG Benchmark: routage entre 11 bases de données SQL

La précision du routage est le pourcentage de questions notées pour lesquelles le modèle nomme explicitement la bonne base de données dans sa réponse finale. Le résultat principal utilise les 184 questions signalées comme difficiles à la fois par notre test de similarité et par un jury de trois LLMs. Les déclarations explicites manquantes ne…

IA
Analyse
26 oct

Meilleurs 30+ fabricants de puces IA: NVIDIA et ses concurrents

Sur la base de notre expérience dans l'exécution du benchmark cloud GPU d'AIMultiple, nous comparons les fabricants de puces par produit, disponibilité et architecture, en couvrant les GPU de centres de données, les puces mobiles, les accélérateurs edge et les fonderies. Chaque ligne indique un produit représentatif, son type et sa disponibilité. La disponibilité distingue…

Agentic AI
Benchmark
23 oct

Recherche agentique: benchmark de 8 API de recherche pour les agents

La recherche agentique joue un rôle crucial pour combler le fossé entre les moteurs de recherche traditionnels et les capacités de recherche de l’IA. Les API de recherche constituent la première couche d’un outil agentique, où la performance plafonne la qualité de tout ce qui suit. Nous avons évalué 8 API de recherche sur 100…

IA
Comparaison des Fonctionnalités
22 oct

GPU cloud gratuits: modèles, limites et conditions d'accès

Des GPU cloud gratuits sont disponibles via des notebooks Python, des démos d’IA et des crédits de calcul mensuels. Comparez le matériel GPU, les quotas gratuit et les conditions d’accès, ou vérifiez quels services conviennent à votre charge de travail. Deux T4 fournissent deux allocations mémoire distinctes de 16 Go. Exécuter un modèle sur les…

Logiciel d'entreprise
Benchmark
22 oct

Benchmark des logiciels d'archivage d'e-mails

Nous avons provisionné un locataire Microsoft 365, l'avons rempli avec un corpus synthétique de 10 000 e-mails et 1 700 pièces jointes réparties sur 8 sous-types de fichiers, puis avons comparé NinjaOne SaaS Archiver, Barracuda Cloud Archiving Service, Acronis Cyber Protect Cloud Email Archiving et MailPiler sur le même locataire selon 10 dimensions couvrant l'ingestion, la recherche,…

IA
Benchmark
15 oct

Benchmark de rerankers: Top 8 modèles comparés

Nous avons évalué 8 modèles de reranking sur ~145k avis Amazon en anglais afin de mesurer l'amélioration apportée par une étape de reranking à la recherche dense. Nous avons récupéré les 100 meilleurs candidats avec multilingual-e5-base, les avons reclassés avec chaque modèle, et avons évalué les 10 meilleurs résultats par rapport à 300 requêtes, chacune…

IA
Benchmark
14 oct

RAG Outils d'évaluation : W&B Weave vs Ragas vs TruLens

Nous avons évalué cinq outils d'évaluation de génération augmentée par récupération (RAG) sur 1 000+ questions antagonistes, chacune associée à cinq passages. La comparaison mesure la pertinence du contexte à l'aide de GPT-4o et des invites d'évaluation par défaut des outils. W&B Weave a obtenu la précision Top-1 la plus élevée à 94,5 %. TruLens a dominé…