Ekrem Sarı
Ekrem es investigador de IA y científico de datos en AIMultiple. Diseña y ejecuta benchmarks prácticos para sistemas de IA y LLM.
Experiencia profesional
En AIMultiple, Ekrem evalúa sistemas de IA de extremo a extremo y crea los flujos de trabajo de datos y los paneles que se usan para rastrear métricas de benchmark y de producto. Sus benchmarks cubren modelos de embedding y reranker, bases de datos vectoriales y de grafos, motores de inference, cuantización, concurrencia de GPU y escalado multi-GPU, precios y proveedores de GPU en la nube, text-to-SQL, y frameworks de RAG y RAG agéntico.
Antes de AIMultiple, trabajó como científico de datos en Yandex, donde consultó y analizó grandes datasets con SQL para evaluar la calidad de búsqueda y ranking según directrices detalladas.
Intereses de investigación
El trabajo de Ekrem se centra en medir cómo funcionan en la práctica los sistemas de LLM y de recuperación. Diseña el banco de pruebas, ejecuta las cargas de trabajo en hardware real y compara modelos, frameworks e infraestructura en precisión, rendimiento, latencia, costo y escalabilidad, en toda la pila, desde modelos de embedding y bases de datos vectoriales hasta motores de inference e infraestructura de GPU. Su tesis de maestría automatiza revisiones sistemáticas de literatura con un pipeline basado en RAG.
Educación
Ekrem tiene un MSc en Sistemas de Información Gerencial por la Universidad de Başkent, donde su tesis automatizó revisiones sistemáticas de literatura con un pipeline basado en RAG, y está cursando un segundo MSc en Ingeniería de Datos y del Conocimiento en la Universidad de Hacettepe.
Últimos artículos de Ekrem
RAG Herramientas de evaluación: W&B Weave vs Ragas vs TruLens
Evaluamos comparativamente cinco herramientas de evaluación de generación aumentada por recuperación (RAG) con más de 1.000 preguntas adversariales, cada una emparejada con cinco pasajes. La comparación mide la relevancia contextual usando GPT-4o y los prompts de evaluación predeterminados de las herramientas. W&B Weave tuvo la mayor precisión Top-1, con 94,5 %. TruLens lideró las métricas de…
Navegadores remotos: infraestructura web para agentes de IA comparada
Los agentes de IA dependen de navegadores remotos para automatizar tareas web sin ser bloqueados por medidas anti-scraping. El rendimiento de esta infraestructura de navegador es fundamental para el éxito de un agente. Evaluamos a 8 proveedores en tasa de éxito, velocidad y características. Para ello, ejecutamos 160 tareas automatizadas, ejecutando 4 escenarios distintos 5…
AIM-Text-to-SQL Benchmark: exactitud de SQL en más de 70+ LLMs
La exactitud de SQL es el porcentaje de consultas evaluadas que devuelven el resultado de referencia. Las rutas incorrectas y las referencias marcadas como defectuosas se excluyen. Una consulta de referencia es el SQL proporcionado como respuesta esperada. Cada model alcanza un conjunto diferente de preguntas de SQL porque la puntuación depende de sus elecciones…
AIM-Agentic RAG Benchmark: enrutamiento entre 11 bases de datos SQL
La precisión de enrutamiento es el porcentaje de preguntas puntuadas en las que el modelo nombra explícitamente la base de datos correcta en su respuesta final. La cifra principal utiliza las 184 preguntas marcadas como difíciles tanto por nuestra prueba de similitud como por un jurado de tres LLM. Las declaraciones explícitas faltantes no reciben…
Benchmark de 90+ LLMs en Finanzas: Claude Opus 5.5 y Gemini 4 Argon
El conjunto de prueba es el subconjunto difícil del benchmark FinanceReasoning (Tang et al.), con 238 preguntas. La precisión es el porcentaje de preguntas respondidas correctamente. Las respuestas numéricas reciben una tolerancia relativa del 0,2 %. Los tokens de salida son los tokens generados en las 238 respuestas. Los tokens de entrada se cuentan por separado…
Los 30+ principales fabricantes de chips de IA: NVIDIA y sus competidores
Basándonos en nuestra experiencia con AIMultiple y su benchmark de GPU en la nube, comparamos a los fabricantes de chips por producto, disponibilidad y arquitectura, abarcando GPUs para centros de datos, chips móviles, aceleradores de borde y fundiciones. Cada fila nombra un producto representativo, su tipo y su disponibilidad. La disponibilidad distingue entre hardware ofrecido…
Benchmark de API de búsqueda de vídeos: Bright Data vs YouTube
Comparamos Bright Data Video Search con la búsqueda de YouTube en 50 consultas en inglés de cinco tipos de consultas. Se consultaron ambos motores hasta el agotamiento y un panel three-model evaluó fotogramas de vídeo muestreados. Los clips utilizables por búsqueda estiman cuántos vídeos devueltos contienen el sujeto o la acción consultados. Combina el número…
Embedding Models: 25 Models evaluados para recuperación
Evaluamos 25 embedding models en 200 preguntas de recuperación sobre finanzas, contratos legales, soporte técnico y literatura médica. Los cuatro corpus contenían 341.040 pasajes de texto en total. Cada consulta buscó en su propio dominio. nDCG@10 mide cuán arriba aparecen los pasajes relevantes registrados en los primeros diez resultados. Las puntuaciones van de 0 a…
Detección de bots: 9 proveedores anti-bot comparados
Identificamos la empresa anti-bot que protege los ~3.800 dominios principales y medimos con qué frecuencia cada dominio bloqueó nuestros bots a través de 50.000 solicitudes. Cloudflare defiende el 73,3 % de los 3.859 dominios y registró una tasa de bloqueo del 6,7 %. Imperva defiende el 3,7 % y registró una tasa de bloqueo del 46,6 %. Las dos…
Benchmark de software DLP
Evaluamos Acronis DeviceLock DLP y ManageEngine DLP Plus en máquinas virtuales idénticas con Windows Server 2022 con 28 escenarios: 23 pruebas de fuga de datos (incluidos 12 archivos de evasión adversaria), 3 pruebas de seguridad del agente y 2 pruebas bajo alto consumo de CPU y memoria. Para los demás productos DLP, Netwrix Endpoint Protector,…
Boletín informativo de AIMultiple
Reciba un correo electrónico gratuito a la semana con las últimas noticias tecnológicas B2B y análisis de expertos para impulsar su empresa.