Nazlı Şipi
También forma parte del equipo de benchmark, centrándose en scraping de datos web, large language models (LLMs), agentes de IA y frameworks agénticos.
Nazlı tiene una maestría en Business Analytics de la University of Denver.
Últimos artículos de Nazlı
Evaluamos las mejores APIs de web scraping
Evaluamos a proveedores de datos web en categorías que van desde el comercio electrónico y las redes sociales hasta empleos, bienes raíces y entrega de comida, enviando más de 600.000 solicitudes a más de 10.000 dominios activos para ver cómo gestionan la recopilación de datos empresariales. Nuestra página de extracción de datos web resume los…
Benchmark de web crawlers para alimentar sitios web a la IA
Comparamos cuatro APIs de rastreo en tres dominios de dificultad variable en tres niveles de profundidad máxima (5, 10, 20) con un límite de 1.000 páginas, midiendo la cobertura del rastreo, el tiempo de ejecución, el descubrimiento de enlaces, la calidad de los enlaces en markdown y la precisión de la extracción de títulos. Si…
Comparativa de modelos de IA multimodal en razonamiento visual
Evaluamos 40 modelos de IA multimodal líderes en razonamiento visual usando 200 preguntas visuales. La evaluación constó de dos bloques: 100 preguntas de comprensión de gráficos que ponen a prueba la interpretación de visualizaciones de datos, y 100 preguntas de lógica visual que evalúan el reconocimiento de patrones y el razonamiento espacial. Consulte nuestra metodología…
Las mejores herramientas de web scraping con IA evaluadas
Evaluamos las principales herramientas de web scraping con IA con 25.000 solicitudes, 5.000 por herramienta, en 500 URLs en cada uno de 10 de los dominios más visitados para ver su rendimiento, y también comparamos cómo cada una aprovecha la IA. Consulte la sección metodología del benchmark para obtener más detalles sobre el proceso de…
15 Herramientas de observabilidad de agentes de IA: AgentOps y Langfuse
Probamos 15 plataformas de observabilidad para aplicaciones LLM y agentes de IA. Cada plataforma se implementó de forma práctica mediante la configuración de flujos de trabajo, la configuración de integraciones y la ejecución de escenarios de prueba. Evaluamos comparativamente 4 herramientas de observabilidad para medir si introducen sobrecarga en los pipelines de producción. También demostramos…
Principales herramientas de LLMOps y compáralas con MLOps
Las plataformas de LLMOps se encargan del aspecto operativo de la ejecución de LLMs: despliegue, monitoreo, evaluación y gestión de costes. Analizamos las principales herramientas de LLMOps, sus funciones clave, sus esquemas de precios y en qué se diferencian entre sí para ayudar a identificar la mejor opción para distintos casos de uso. A continuación…
Herramientas de detección de alucinaciones de IA: W&B Weave y Comet
Hicimos un benchmark de tres herramientas de detección de alucinaciones: W&B Weave HallucinationFree Scorer (parte de CoreWeave Forge, anteriormente Weights & Biases), Arize Phoenix HallucinationEvaluator y Comet Opik Hallucination Metric, en 100 casos de prueba. Cada herramienta se evaluó en exactitud, precisión, sensibilidad y latencia. Probamos 100 respuestas (50 correctas, 50 alucinadas) de escenarios de…
LLM Prueba comparativa de latencia por casos de uso
Aquí puede encontrar detalles sobre cómo medimos la latencia. Presentamos los modelos con razonamiento y sin razonamiento por separado. Los modelos con razonamiento pasan varios segundos pensando antes de la primera respuesta visible, por lo que compararlos directamente con los modelos sin razonamiento en latencia sería engañoso. Algunos modelos también cambian su comportamiento según la…
Agentes de IA móviles probados en 65 tareas del mundo real
Pasamos 3 días evaluando a cuatro agentes de IA (DroidRun, Mobile-Agent, AutoDroid y AppAgent) en 65 tareas del mundo real usando un emulador de Android con aplicaciones como gestión de calendario, creación de contactos, captura de fotos, grabación de audio y operaciones de archivo. Consulte los resultados del benchmark, incluida la comparación de rendimiento en…
LLM Herramientas de observabilidad: Weights & Biases, Langsmith
Las aplicaciones de LLM han evolucionado de chats de un solo turno a agentes de varios pasos que usan herramientas, consultan bases de datos y se coordinan con otros modelos, lo que hace que su comportamiento sea más difícil de interpretar. La observabilidad de LLM proporciona visibilidad continua de estos flujos de trabajo complejos, ayudando…
Boletín informativo de AIMultiple
Reciba un correo electrónico gratuito a la semana con las últimas noticias tecnológicas B2B y análisis de expertos para impulsar su empresa.