Ekrem Sarı
Ekrem es investigador de IA en AIMultiple, donde se centra en la automatización inteligente, las GPU, los agentes de IA y las LLMOps para marcos RAG.
Experiencia profesional
Durante su etapa como evaluador en Yandex, evaluó los resultados de búsqueda utilizando marcos de trabajo propios y protocolos automatizados. Implementó pruebas de control de calidad mediante la anotación de datos, la puntuación de relevancia y el mapeo de la intención del usuario en más de 10 000 consultas mensuales, al tiempo que realizaba evaluaciones técnicas, incluyendo la monitorización del rendimiento y la detección de spam mediante bucles de retroalimentación de aprendizaje automático.Intereses de investigación
En AIMultiple, su investigación se centra en el ciclo de vida de MLOps y en el rendimiento y la evaluación comparativa de sistemas de IA de extremo a extremo. Colabora en una amplia gama de proyectos, incluyendo la optimización de la Generación Aumentada por Recuperación (RAG), la evaluación comparativa exhaustiva de Modelos de Lenguaje a Gran Escala (LLM) y el diseño de marcos de IA basados en agentes. Ekrem se especializa en el desarrollo de metodologías basadas en datos para medir y mejorar el rendimiento de la tecnología de IA en métricas operativas críticas como la precisión, la eficiencia, el coste de la API y la escalabilidad. Su análisis abarca toda la pila tecnológica, desde componentes fundamentales como los modelos de incrustación y las bases de datos vectoriales hasta la GPU de alto rendimiento y la infraestructura en la nube necesarias para implementar agentes de IA.Educación
Ekrem tiene una licenciatura de Hacettepe Üniversitesi y una maestría de Başkent Üniversitesi.Últimos artículos de Ekrem
Top 10 Modelos de Incrustación Multilingüe para RAG
Hemos evaluado 10 modelos de incrustación multilingüe en ~606k reseñas de Amazon en 6 idiomas (alemán, inglés, español, francés, japonés, chino). Generamos 1.800 consultas (300 por idioma), cada una haciendo referencia a detalles concretos de su reseña original. Los modelos entrenados para búsqueda (separación de consulta vs documento) superan a los modelos más grandes entrenados…
Múltiple GPU Benchmark: B200 vs H200 vs H100 vs MI300X
Durante más de dos décadas, optimizar el rendimiento de cálculo ha sido una piedra angular de mi trabajo. Realizamos pruebas de rendimiento de las B200, H200, H100 de NVIDIA y la MI300X de AMD para evaluar su escalabilidad en la inferencia de Modelos de Lenguaje Grande (LLM). Utilizando el framework vLLM con el modelo meta-llama/Llama-3.1-8B-Instruct,…
Modelos de embedding: OpenAI vs Gemini vs Voyage
Hemos realizado benchmarks de 15 modelos de embedding de texto en inglés y una línea base BM25 en más de 500 consultas curadas manualmente en tres dominios de recuperación: contratos legales (CUAD), atención al cliente (IBM TechQA) y atención médica (MedRAG PubMed). Voyage-3.5 ocupa el primer lugar en general. Perplexity Embed V1 0.6b alcanza el…
RAG Frameworks: LangChain vs LangGraph vs LlamaIndex
Pusimos a prueba 5 RAG frameworks: LangChain, LangGraph, LlamaIndex, Haystack y DSPy, construyendo el mismo flujo de trabajo agente de RAG con componentes estandarizados: modelos idénticos (GPT-4.1-mini), embeddings (BGE-small), recuperador (Qdrant) y herramientas (búsqueda web Tavily). Esto aísla la sobrecarga real y la eficiencia de tokens de cada framework. Resultados del benchmark de frameworks RAG…
Benchmark de Reranker: Comparación de los 8 Mejores Modelos
Evaluamos 8 modelos de reranking en ~145k reseñas de Amazon en inglés para medir cuánto mejora una etapa de reranking la recuperación densa. Recuperamos los 100 candidatos principales con multilingual-e5-base, los reordenamos con cada modelo y evaluamos los 10 mejores resultados frente a 300 consultas, cada una haciendo referencia a detalles concretos de su reseña…
Búsqueda Agéntica: Benchmark de 8 APIs de Búsqueda para Agentes
La búsqueda agéntica juega un papel crucial en cerrar la brecha entre los motores de búsqueda tradicionales y las capacidades de búsqueda de IA. Estos sistemas permiten a los agentes de IA encontrar, recuperar y estructurar información relevante de forma autónoma, impulsando aplicaciones desde la asistencia en investigación hasta la supervisión en tiempo real y…
Índice de precios de alquiler de GPU en la nube
Las tarifas bajo demanda para los GPUs en la nube de última generación (B200, B300, MI300X, RTX 5090) se duplicaron aproximadamente durante el último año, mientras que las tarjetas convencionales (H100, H200, A100) mantuvieron una banda ajustada. Recopilamos el índice mensual de GPU de 63 proveedores y 17 modelos de GPU, abarcando los niveles bajo…
Comparativa de Software DLP
Realizamos una comparativa de Acronis DeviceLock DLP y ManageEngine DLP Plus en máquinas virtuales idénticas con Windows Server 2022 con 28 escenarios: 23 pruebas de fuga de datos (incluyendo 12 archivos de evasión adversaria), 3 pruebas de seguridad del agente y 2 pruebas bajo alto consumo de CPU y memoria. Para los otros productos DLP,…
LLM Cuantización: BF16 vs FP8 vs INT4
Hemos realizado un benchmark de Qwen3-32B en 4 niveles de precisión (BF16, FP8, GPTQ-Int8, GPTQ-Int4) en una sola NVIDIA H100 80GB GPU. Cada configuración fue evaluada en 2 benchmarks (~12.2K preguntas) que cubren conocimiento y generación de código, además de 2,000+ ejecuciones de inferencia para medir el rendimiento. Int4 es 2.7x más rápido que BF16…
Boletín informativo de AIMultiple
Reciba un correo electrónico gratuito a la semana con las últimas noticias tecnológicas B2B y análisis de expertos para impulsar su empresa.