Ekrem Sarı
Ekrem es investigador de IA en AIMultiple, donde se centra en la automatización inteligente, las GPU, los agentes de IA y las LLMOps para marcos RAG.
Experiencia profesional
Durante su etapa como evaluador en Yandex, evaluó los resultados de búsqueda utilizando marcos de trabajo propios y protocolos automatizados. Implementó pruebas de control de calidad mediante la anotación de datos, la puntuación de relevancia y el mapeo de la intención del usuario en más de 10 000 consultas mensuales, al tiempo que realizaba evaluaciones técnicas, incluyendo la monitorización del rendimiento y la detección de spam mediante bucles de retroalimentación de aprendizaje automático.Intereses de investigación
En AIMultiple, su investigación se centra en el ciclo de vida de MLOps y en el rendimiento y la evaluación comparativa de sistemas de IA de extremo a extremo. Colabora en una amplia gama de proyectos, incluyendo la optimización de la Generación Aumentada por Recuperación (RAG), la evaluación comparativa exhaustiva de Modelos de Lenguaje a Gran Escala (LLM) y el diseño de marcos de IA basados en agentes. Ekrem se especializa en el desarrollo de metodologías basadas en datos para medir y mejorar el rendimiento de la tecnología de IA en métricas operativas críticas como la precisión, la eficiencia, el coste de la API y la escalabilidad. Su análisis abarca toda la pila tecnológica, desde componentes fundamentales como los modelos de incrustación y las bases de datos vectoriales hasta la GPU de alto rendimiento y la infraestructura en la nube necesarias para implementar agentes de IA.Educación
Ekrem tiene una licenciatura de Hacettepe Üniversitesi y una maestría de Başkent Üniversitesi.Últimos artículos de Ekrem
RAG Herramientas de Evaluación: Weights & Biases vs Ragas vs DeepEval
Cuando un RAG pipeline recupera el contexto incorrecto, el LLM genera con confianza la respuesta incorrecta. Los calificadores de relevancia del contexto son la defensa principal. Hemos realizado pruebas de referencia a cinco herramientas en 1.460 preguntas y más de 14.600 contextos puntuados bajo condiciones idénticas: mismo modelo juez (GPT-4o), configuraciones predeterminadas y sin prompts…
Navegadores remotos: comparación de infraestructura web para agentes de IA
Los agentes de IA dependen de navegadores remotos para automatizar tareas web sin ser bloqueados por medidas antiraspado. El rendimiento de esta infraestructura de navegador es fundamental para el éxito de un agente. Realizamos pruebas comparativas con 8 proveedores en cuanto a tasa de éxito, velocidad y funciones. Para ello, ejecutamos 160 tareas automatizadas, realizando…
Mejor base de datos vectorial para RAG: Qdrant vs Weaviate vs Pinecone
Las bases de datos vectoriales impulsan la capa de recuperación en los flujos de trabajo de RAG almacenando incrustaciones de documentos y consultas como vectores de alta dimensión. Permiten búsquedas de similitud rápidas basadas en distancias vectoriales. Realizamos pruebas de referencia a seis proveedores de bases de datos vectoriales, centrándonos en sus estructuras de precios…
Prueba de referencia de base de datos de grafos: Neo4j vs FalkorDB vs Memgraph
Realizamos pruebas de referencia de Neo4j, FalkorDB y Memgraph en un grafo sintético derivado de 120,000 reseñas de productos de Amazon (381K nodos, 804K aristas). Ejecutamos 12 plantillas de consultas con 1,000 mediciones cada una, probamos la ingestión en 6 tamaños de lote, mantenemos carga concurrente durante 60 segundos con hasta 32 hilos, y medimos…
Precios de GPU en la nube, rendimiento y comparación de proveedores
Los precios de lista de las GPU en la nube para el mismo modelo pueden diferir varias veces de un proveedor a otro. Hemos recopilado la tarifa más baja, el proveedor, el rango de mercado y la mediana para más de 40 configuraciones de GPU en los tres niveles de precios, además de una métrica…
Principales 20+ Frameworks de RAG Agéntico
El RAG agéntico mejora el RAG tradicional al potenciar el rendimiento del LLM y permitir una mayor especialización. Realizamos un benchmark para evaluar su rendimiento en el enrutamiento entre múltiples bases de datos y la generación de consultas. Explora los frameworks y bibliotecas de RAG agéntico, las diferencias clave con el RAG estándar, los beneficios…
LLM Motores de Inferencia: vLLM vs LMDeploy vs SGLang
Realizamos pruebas de referencia a 3 motores de inferencia LLM líderes en hardware NVIDIA H100: vLLM, LMDeploy y SGLang. Cada motor procesó cargas de trabajo idénticas: 1,000 prompts de ShareGPT utilizando Llama 3.1 8B-Instruct para aislar el verdadero impacto en el rendimiento de sus decisiones arquitectónicas y estrategias de optimización. MotoresMejor para vLLM-Prototipado y experimentación…
GPU Prueba de referencia de concurrencia: H100 vs H200 vs B200 vs MI300X
He dedicado los últimos 20 años a centrarme en la optimización del rendimiento computacional a nivel de sistema. Realizamos pruebas de referencia de las últimas NVIDIA GPUs, incluidas las NVIDIA’s H100, H200 y B200, y las AMD’s MI300X, para análisis de escalado de concurrencia. Utilizando el framework vLLM con el modelo gpt-oss-20b, probamos cómo estas…
Texto-a-SQL: Comparación de la precisión de LLM
He confiado en SQL para el análisis de datos durante 18 años, comenzando en mis días como consultor. Traducir preguntas en lenguaje natural a SQL hace que los datos sean más accesibles, permitiendo a cualquiera, incluso a aquellos sin habilidades técnicas, trabajar directamente con bases de datos. Utilizamos nuestra metodología de referencia de texto-a-SQL en…
Mejores herramientas, frameworks y librerías de RAG
RAG mejora las respuestas de los LLM al fundamentarlas en datos externos en lugar de solo lo que el modelo memorizó durante el entrenamiento. Evaluamos los componentes con los que se construye un sistema RAG y reunimos los resultados en un solo lugar, con una guía práctica para elegir cada parte del stack. Consulte nuestros…
Boletín informativo de AIMultiple
Reciba un correo electrónico gratuito a la semana con las últimas noticias tecnológicas B2B y análisis de expertos para impulsar su empresa.