Premium
Servicios
Premium
Ekrem Sarı

Ekrem Sarı

Investigador de IA
37 Artículos
Mantente al día sobre tecnología B2B.

Ekrem es investigador de IA y científico de datos en AIMultiple. Diseña y ejecuta benchmarks prácticos para sistemas de IA y LLM.

Experiencia profesional

En AIMultiple, Ekrem evalúa sistemas de IA de extremo a extremo y crea los flujos de trabajo de datos y los paneles que se usan para rastrear métricas de benchmark y de producto. Sus benchmarks cubren modelos de embedding y reranker, bases de datos vectoriales y de grafos, motores de inference, cuantización, concurrencia de GPU y escalado multi-GPU, precios y proveedores de GPU en la nube, text-to-SQL, y frameworks de RAG y RAG agéntico.

Antes de AIMultiple, trabajó como científico de datos en Yandex, donde consultó y analizó grandes datasets con SQL para evaluar la calidad de búsqueda y ranking según directrices detalladas.

Intereses de investigación

El trabajo de Ekrem se centra en medir cómo funcionan en la práctica los sistemas de LLM y de recuperación. Diseña el banco de pruebas, ejecuta las cargas de trabajo en hardware real y compara modelos, frameworks e infraestructura en precisión, rendimiento, latencia, costo y escalabilidad, en toda la pila, desde modelos de embedding y bases de datos vectoriales hasta motores de inference e infraestructura de GPU. Su tesis de maestría automatiza revisiones sistemáticas de literatura con un pipeline basado en RAG.

Educación

Ekrem tiene un MSc en Sistemas de Información Gerencial por la Universidad de Başkent, donde su tesis automatizó revisiones sistemáticas de literatura con un pipeline basado en RAG, y está cursando un segundo MSc en Ingeniería de Datos y del Conocimiento en la Universidad de Hacettepe.

Últimos artículos de Ekrem

IA
Benchmark
3 de nov

Benchmark de 90+ LLMs en Finanzas: Claude Opus 5.5 y Gemini 4 Argon

El conjunto de prueba es el subconjunto difícil del benchmark FinanceReasoning (Tang et al.), con 238 preguntas. La precisión es el porcentaje de preguntas respondidas correctamente. Las respuestas numéricas reciben una tolerancia relativa del 0,2 %. Los tokens de salida son los tokens generados en las 238 respuestas. Los tokens de entrada se cuentan por separado…

IA
Benchmark
3 de nov

AIM-Text-to-SQL Benchmark: precisión de SQL en 70+ LLMs

La precisión de SQL es el porcentaje de consultas puntuadas que devuelven el resultado de referencia. Las rutas incorrectas y las referencias marcadas como defectuosas se excluyen. Una consulta de referencia es el SQL proporcionado como respuesta esperada. Cada modelo llega a un conjunto diferente de preguntas de SQL porque la puntuación depende de sus…

Ciberseguridad
Benchmark
1 de nov

Detección de bots: 9 proveedores anti-bot comparados

Medimos la recuperación de contenido en más de 3.800 dominios etiquetados utilizando tres servicios comerciales de scraping. Agrupamos los resultados por las empresas anti-bot identificadas en esos dominios. Cloudflare fue identificado en el 73,3 % de los 3.859 dominios etiquetados. La tasa de bloqueo de este grupo fue del 6,7 %. Imperva fue identificado en el 3,7 %…

IA
Benchmark
30 de oct

AIM-Agentic RAG Benchmark: Enrutamiento entre 11 SQL bases de datos

La precisión de enrutamiento es el porcentaje de preguntas puntuadas en las que el modelo nombra explícitamente la base de datos correcta en su respuesta final. El titular utiliza las 184 preguntas marcadas como difíciles tanto por nuestra prueba de similitud como por un jurado de tres LLMs. Las declaraciones explícitas omitidas no reciben crédito.…

IA
Análisis
26 de oct

Los 30+ principales fabricantes de chips de IA: NVIDIA y sus competidores

Basándonos en nuestra experiencia con AIMultiple y su benchmark de GPU en la nube, comparamos a los fabricantes de chips por producto, disponibilidad y arquitectura, abarcando GPUs para centros de datos, chips móviles, aceleradores de borde y fundiciones. Cada fila nombra un producto representativo, su tipo y su disponibilidad. La disponibilidad distingue entre hardware ofrecido…

Agentic AI
Benchmark
23 de oct

Búsqueda agéntica: Benchmark de 8 APIs de búsqueda para agentes

La búsqueda agéntica desempeña un papel crucial para cerrar la brecha entre los motores de búsqueda tradicionales y las capacidades de búsqueda con IA. Las APIs de búsqueda son la primera capa de una herramienta agéntica, donde el rendimiento limita la calidad de todo lo que viene después. Evaluamos comparativamente 8 APIs de búsqueda en…

IA
Comparación de Funciones
22 de oct

Gratuitas GPUs en la nube: modelos, límites y requisitos de acceso

Las GPUs gratuitas en la nube están disponibles a través de notebooks de Python, demos de IA y créditos de cómputo mensuales. Compare el hardware de GPU, las asignaciones gratis y los requisitos de acceso, o compruebe qué servicios se adaptan a su carga de trabajo. Dos T4 proporcionan dos asignaciones de memoria de 16…

Software Empresarial
Benchmark
22 de oct

Benchmark de software de archivado de correo electrónico

Aprovisionamos un tenant de Microsoft 365, lo poblamos con un corpus sintético de 10.000 correos y 1.700 adjuntos en 8 subtipos de tipo de archivo y luego comparamos NinjaOne SaaS Archiver, Barracuda Cloud Archiving Service, Acronis Cyber Protect Cloud Email Archiving y MailPiler en el mismo tenant en 10 dimensiones que cubren ingesta, búsqueda, recuperación…

IA
Benchmark
15 de oct

Reranker Benchmark: Top 8 Models comparados

Evaluamos 8 models de reranker en ~145k reseñas en inglés de Amazon para medir cuánto mejora la recuperación densa una etapa de reranking. Recuperamos los 100 principales candidatos con multilingual-e5-base, los rerankeamos con cada model y evaluamos los 10 primeros resultados frente a 300 consultas, cada una referenciando detalles concretos de su reseña de origen.…

IA
Benchmark
14 de oct

RAG Herramientas de evaluación: W&B Weave vs Ragas vs TruLens

Evaluamos comparativamente cinco herramientas de evaluación de generación aumentada por recuperación (RAG) con más de 1.000 preguntas adversariales, cada una emparejada con cinco pasajes. La comparación mide la relevancia contextual usando GPT-4o y los prompts de evaluación predeterminados de las herramientas. W&B Weave tuvo la mayor precisión Top-1, con 94,5 %. TruLens lideró las métricas de…