Ekrem Sarı
Ekrem es investigador de IA en AIMultiple, donde se centra en la automatización inteligente, las GPU, los agentes de IA y las LLMOps para marcos RAG.
Experiencia profesional
Durante su etapa como evaluador en Yandex, evaluó los resultados de búsqueda utilizando marcos de trabajo propios y protocolos automatizados. Implementó pruebas de control de calidad mediante la anotación de datos, la puntuación de relevancia y el mapeo de la intención del usuario en más de 10 000 consultas mensuales, al tiempo que realizaba evaluaciones técnicas, incluyendo la monitorización del rendimiento y la detección de spam mediante bucles de retroalimentación de aprendizaje automático.Intereses de investigación
En AIMultiple, su investigación se centra en el ciclo de vida de MLOps y en el rendimiento y la evaluación comparativa de sistemas de IA de extremo a extremo. Colabora en una amplia gama de proyectos, incluyendo la optimización de la Generación Aumentada por Recuperación (RAG), la evaluación comparativa exhaustiva de Modelos de Lenguaje a Gran Escala (LLM) y el diseño de marcos de IA basados en agentes. Ekrem se especializa en el desarrollo de metodologías basadas en datos para medir y mejorar el rendimiento de la tecnología de IA en métricas operativas críticas como la precisión, la eficiencia, el coste de la API y la escalabilidad. Su análisis abarca toda la pila tecnológica, desde componentes fundamentales como los modelos de incrustación y las bases de datos vectoriales hasta la GPU de alto rendimiento y la infraestructura en la nube necesarias para implementar agentes de IA.Educación
Ekrem tiene una licenciatura de Hacettepe Üniversitesi y una maestría de Başkent Üniversitesi.Últimos artículos de Ekrem
Análisis de DLP: Pruebas comparativas de 6 productos DLP
Aprovechando mis dos décadas de experiencia como profesional de la ciberseguridad, seleccioné el mejor software DLP para proteger información confidencial y cumplir con las normativas. Probé seis soluciones DLP durante un mes, centrándome en características clave como la cobertura de canales, la facilidad de implementación y la precisión de la clasificación.
Modelos de incrustación: OpenAI vs Gemini vs Cohere
La efectividad de cualquier sistema de Generación Aumentada por Recuperación (RAG) depende de la precisión de su recuperador. Comparamos 11 modelos líderes de incrustación de texto, incluyendo los de OpenAI, Gemini, Cohere, Snowflake, AWS, Mistral y Voyage AI, utilizando aproximadamente 500 000 reseñas de Amazon. Evaluamos la capacidad de cada modelo para recuperar y clasificar primero la respuesta correcta.
Evaluación comparativa de los 16 mejores modelos de incrustación de código abierto para RAG
La mayoría de los benchmarks de incrustación miden la similitud semántica. Nosotros medimos la precisión. Probamos 16 modelos de código abierto, desde incrustaciones de 23 millones de parámetros hasta incrustaciones de 8 mil millones de parámetros, en 490 000 reseñas de productos de Amazon, puntuando cada uno según si recuperaba la reseña correcta mediante la coincidencia exacta de ASIN, y no solo documentos temáticamente similares. Resumen del benchmark de modelos de incrustación de código abierto.
Comparativa de bases de datos de grafos: Neo4j vs FalkorDB vs Memgraph
Realizamos pruebas comparativas de Neo4j, FalkorDB y Memgraph en un grafo sintético derivado de 120 000 reseñas de productos de Amazon (381 000 nodos, 804 000 aristas).
Motores de inferencia LLM: vLLM vs LMDemploy vs SGLang
Realizamos pruebas comparativas de 3 motores de inferencia LLM líderes en NVIDIA H100: vLLM, LMDeploy y SGLang. Cada motor procesó cargas de trabajo idénticas: 1000 solicitudes ShareGPT utilizando Llama 3.1 8B-Instruct para aislar el verdadero impacto en el rendimiento de sus elecciones arquitectónicas y estrategias de optimización.
Base de datos de vectores principal para RAG: Qdrant vs Weaviate vs Pinecone
Las bases de datos vectoriales impulsan la capa de recuperación en los flujos de trabajo RAG al almacenar incrustaciones de documentos y consultas como vectores de alta dimensión. Permiten búsquedas rápidas de similitud basadas en distancias vectoriales. Realizamos una evaluación comparativa de seis proveedores de bases de datos vectoriales, centrándonos en sus estructuras de precios y rendimiento: Comparación de bases de datos vectoriales: Precios y rendimiento.
Comparativa de 38 másteres en finanzas: Claude Opus 4.6, Gemini 3.1 Pro y más.
Evaluamos 38 modelos de aprendizaje por contrato (LLM) en finanzas con 238 preguntas difíciles del conjunto de datos de referencia FinanceReasoning para identificar qué modelos sobresalen en tareas complejas de razonamiento financiero, como el análisis de estados financieros, la previsión y el cálculo de ratios. Descripción general del conjunto de datos de referencia de LLM en finanzas: Evaluamos los LLM con 238 preguntas difíciles del conjunto de datos de referencia FinanceReasoning (Tang et al.).
Más de 20 marcos RAG agenciales
Agentic RAG mejora el RAG tradicional al optimizar el rendimiento de LLM y permitir una mayor especialización. Realizamos una prueba comparativa para evaluar su rendimiento en el enrutamiento entre múltiples bases de datos y la generación de consultas. Explore los marcos y bibliotecas de Agentic RAG, las principales diferencias con el RAG estándar, los beneficios y los desafíos para aprovechar todo su potencial.
Conversión de texto a SQL: Comparación de la precisión de LLM
Llevo 18 años utilizando SQL para el análisis de datos, desde mis inicios como consultor. Traducir preguntas en lenguaje natural a SQL facilita el acceso a los datos, permitiendo que cualquier persona, incluso sin conocimientos técnicos, trabaje directamente con bases de datos.
RAG híbrido: Mejorando la precisión del RAG
La búsqueda vectorial densa es excelente para capturar la intención semántica, pero a menudo tiene dificultades con consultas que requieren una alta precisión de palabras clave. Para cuantificar esta brecha, comparamos un recuperador estándar basado únicamente en vectores densos con un sistema RAG híbrido que incorpora vectores dispersos SPLADE.
Boletín informativo de AIMultiple
Reciba un correo electrónico gratuito a la semana con las últimas noticias tecnológicas B2B y análisis de expertos para impulsar su empresa.