Ekrem Sarı
Ekrem es investigador de IA y científico de datos en AIMultiple. Diseña y ejecuta benchmarks prácticos para sistemas de IA y LLM.
Experiencia profesional
En AIMultiple, Ekrem evalúa sistemas de IA de extremo a extremo y crea los flujos de trabajo de datos y los paneles que se usan para rastrear métricas de benchmark y de producto. Sus benchmarks cubren modelos de embedding y reranker, bases de datos vectoriales y de grafos, motores de inference, cuantización, concurrencia de GPU y escalado multi-GPU, precios y proveedores de GPU en la nube, text-to-SQL, y frameworks de RAG y RAG agéntico.
Antes de AIMultiple, trabajó como científico de datos en Yandex, donde consultó y analizó grandes datasets con SQL para evaluar la calidad de búsqueda y ranking según directrices detalladas.
Intereses de investigación
El trabajo de Ekrem se centra en medir cómo funcionan en la práctica los sistemas de LLM y de recuperación. Diseña el banco de pruebas, ejecuta las cargas de trabajo en hardware real y compara modelos, frameworks e infraestructura en precisión, rendimiento, latencia, costo y escalabilidad, en toda la pila, desde modelos de embedding y bases de datos vectoriales hasta motores de inference e infraestructura de GPU. Su tesis de maestría automatiza revisiones sistemáticas de literatura con un pipeline basado en RAG.
Educación
Ekrem tiene un MSc en Sistemas de Información Gerencial por la Universidad de Başkent, donde su tesis automatizó revisiones sistemáticas de literatura con un pipeline basado en RAG, y está cursando un segundo MSc en Ingeniería de Datos y del Conocimiento en la Universidad de Hacettepe.
Últimos artículos de Ekrem
Navegadores remotos: infraestructura web para agentes de IA comparada
Los agentes de IA dependen de navegadores remotos para automatizar tareas web sin ser bloqueados por medidas anti-scraping. El rendimiento de esta infraestructura de navegador es fundamental para el éxito de un agente. Evaluamos a 8 proveedores en tasa de éxito, velocidad y características. Para ello, ejecutamos 160 tareas automatizadas, ejecutando 4 escenarios distintos 5…
Benchmark de API de búsqueda de vídeos: Bright Data vs YouTube
Comparamos Bright Data Video Search con la búsqueda de YouTube en 50 consultas en inglés de cinco tipos de consultas. Se consultaron ambos motores hasta el agotamiento y un panel three-model evaluó fotogramas de vídeo muestreados. Los clips utilizables por búsqueda estiman cuántos vídeos devueltos contienen el sujeto o la acción consultados. Combina el número…
Embedding Models: 25 Models evaluados para recuperación
Evaluamos 25 embedding models en 200 preguntas de recuperación sobre finanzas, contratos legales, soporte técnico y literatura médica. Los cuatro corpus contenían 341.040 pasajes de texto en total. Cada consulta buscó en su propio dominio. nDCG@10 mide cuán arriba aparecen los pasajes relevantes registrados en los primeros diez resultados. Las puntuaciones van de 0 a…
Benchmark de software DLP
Evaluamos Acronis DeviceLock DLP y ManageEngine DLP Plus en máquinas virtuales idénticas con Windows Server 2022 con 28 escenarios: 23 pruebas de fuga de datos (incluidos 12 archivos de evasión adversaria), 3 pruebas de seguridad del agente y 2 pruebas bajo alto consumo de CPU y memoria. Para los demás productos DLP, Netwrix Endpoint Protector,…
Web Scraping a Gran Escala: 7 Proveedores Comparados
Ejecutamos dos pruebas de rendimiento contra sitios web en vivo, desde 5 hasta 5.000 solicitudes concurrentes. La primera envió 260.000 solicitudes a través de cuatro desbloqueadores web en los 10.000 dominios principales de Tranco, además de una prueba de extracción de Markdown en 10.000 URLs. La segunda recuperó 65.000 páginas de productos y búsqueda de…
Scraper de comercio electrónico: 4 proveedores comparados
Comparamos cuatro proveedores de datos web en 100 dominios de comercio electrónico, obteniendo 65.000 páginas de producto y de búsqueda cada uno a entre 5 y 5.000 solicitudes simultáneas. Promediando entre los niveles de concurrencia, Bright Data alcanzó la mayor tasa de éxito (76 %) con una mediana de 16 segundos. Apify registró el mayor tiempo…
Models de embedding de código abierto: 11 models evaluados para recuperación
nDCG@10 puntúa la posición de los pasajes relevantes registrados dentro de los primeros diez resultados de búsqueda. Una puntuación de 1 representa la clasificación ideal para los positivos registrados. Los pasajes más cercanos a la parte superior reciben más peso. PPLX Embed v1 4B lideró la comparación con 0.741 nDCG@10, seguido de PPLX Embed v1…
Benchmark de software de copias de seguridad: Acronis vs NinjaOne vs Comet vs MSP360
Evaluamos NinjaOne Backup, Acronis Cyber Protect Cloud Backup, Comet Backup y MSP360 Managed Backup en una infraestructura AWS idéntica. Cada proveedor ejecutó una copia de seguridad en modo de archivos de la misma carga de trabajo de 625.946 archivos / 50 GB y una copia de seguridad completa de imagen del disco del sistema, y…
Índice de precios de alquiler de GPU en la nube
El grupo de últimos lanzamientos tiene el mayor aumento de precio entre los tres grupos. Su mediana bajo demanda subió de $2,12 por GPU-hora en octubre de 2024 a $4,72 en septiembre de 2026. En el mismo período, el grupo Moderno pasó de $1,35 a $1,45, mientras que Legado cayó de $1,77 a $0.95. Cada…
Los 70+ principales proveedores de GPU en la nube
Los proveedores de GPU en la nube se dividen en tres niveles. Los hiperescalares ejecutan plataformas de nube amplias con el alquiler de GPU como un producto entre muchos. Los neoclouds especializados se centran en la infraestructura de GPU e IA como producto principal. Los mercados comunitarios agregan inventario de muchos operadores pequeños, a menudo…
Boletín informativo de AIMultiple
Reciba un correo electrónico gratuito a la semana con las últimas noticias tecnológicas B2B y análisis de expertos para impulsar su empresa.