LLM Herramientas de observabilidad: Weights & Biases, Langsmith

Las aplicaciones de LLM han evolucionado de chats de un solo turno a agentes de varios pasos que usan herramientas, consultan bases de datos y se coordinan con otros modelos, lo que hace que su comportamiento sea más difícil de interpretar.

La observabilidad de LLM proporciona visibilidad continua de estos flujos de trabajo complejos, ayudando a las organizaciones a supervisar la calidad, detectar fallos, solucionar problemas y gestionar el rendimiento y los costes.

Comparativa de funciones de las herramientas de observabilidad de LLM

Weights & Biases (W&B Weave)

W&B Weave es la plataforma de observabilidad de LLM de Weights & Biases para monitorear, evaluar y optimizar aplicaciones de modelos de lenguaje. Weave rastrea automáticamente cada llamada de LLM mediante el decorador @weave.op, capturando entradas, salidas, costes, latencia y métricas de evaluación sin configuración manual.

La plataforma rastrea el uso de tokens y calcula los costes automáticamente, supervisa los tiempos de respuesta para detectar consultas lentas y mide la precisión comparando las predicciones con los resultados esperados. Se pueden comparar diferentes experimentos en paralelo para ver qué modelo o prompt funciona mejor. El seguimiento de errores muestra qué predicciones fallaron y por qué, mientras que el versionado automático conserva cada cambio de configuración para su reproducibilidad. Esto facilita probar diferentes enfoques, identificar qué funciona mejor y depurar problemas cuando los modelos cometen errores.

Panel de resumen de puntuaciones

Figura 1: Gráficos que muestran el panel de métricas de rendimiento del modelo, con seguimiento de precisión, costes y tendencias de latencia.

Las métricas de rendimiento se muestran en todas las ejecuciones de evaluación. El costo total, el uso de tokens y los tiempos de respuesta se muestran con gráficos que indican los cambios. Las métricas personalizadas, como la precisión y las tasas de error, aparecen en paneles separados. Las líneas de tendencia ayudan a detectar cuándo el rendimiento empeora o los costes aumentan de forma inesperada, y el panel se actualiza automáticamente a medida que se completan nuevas pruebas.

Vista de trazas

Figura 2: Tabla de trazas de evaluación que muestra las versiones del modelo y sus resultados de clasificación de intenciones.

Cada ejecución de prueba se guarda con todos los detalles. Cada traza muestra qué modelo se utilizó, qué prompt se envió y todas las configuraciones. Los indicadores de éxito o fallo muestran si las pruebas se completaron correctamente. La columna de prompts muestra el texto enviado al modelo para su verificación. Este registro permite comparar diferentes versiones en paralelo, ver qué cambió entre ejecuciones y repetir cualquier prueba usando su configuración guardada.

Tabla de clasificación de comparación de modelos

Figura 3: Imagen que muestra la tabla de clasificación que compara versiones del modelo de clasificación de intenciones según métricas de precisión y latencia.

Se pueden comparar diferentes modelos y configuraciones con los mismos datos de prueba. Las columnas muestran la precisión, las predicciones correctas, las puntuaciones y los tiempos de respuesta. El código de colores resalta en verde a los que tienen mejor rendimiento. Esta comparación revela compensaciones como una mayor precisión a costa de una velocidad más lenta o respuestas más rápidas con una precisión ligeramente menor, lo que ayuda a elegir qué configuración funciona mejor para las necesidades de producción.

Versionado de modelos

Figura 4: Panel de configuración del clasificador de intenciones que muestra ajustes del modelo y detalles de la versión.

Cada cambio de configuración crea automáticamente una nueva versión, manteniendo un historial completo. Los detalles de la versión muestran cuándo se produjeron los cambios, quién los realizó y el almacenamiento utilizado. La pestaña Valores muestra la configuración exacta, incluido el nombre del modelo, los parámetros y las versiones de las funciones. Este versionado garantiza que cualquier prueba se pueda repetir con configuraciones idénticas, permite rastrear cómo cambió el rendimiento y permite volver a versiones anteriores si es necesario.

Resultados detallados de la evaluación

Figura 5: Resultados de evaluación que muestran casos de prueba individuales con intenciones predichas y puntuaciones de precisión.

Los resultados individuales de las pruebas se muestran para cada muestra. La sección de puntuaciones resume el total de predicciones correctas, el porcentaje de precisión y las puntuaciones personalizadas.

La tabla de resultados muestra cada consulta con su respuesta esperada y la predicción del modelo, utilizando marcas de verificación para las respuestas correctas y marcas X para las incorrectas. Las predicciones fallidas son fáciles de detectar y a menudo muestran patrones como confusión entre categorías similares.

Al hacer clic en cualquier fila se abre la traza completa, incluido el prompt, la respuesta, el recuento de tokens y los tiempos, lo que facilita depurar fallos y mejorar los prompts o la selección del modelo.

Langsmith

LangSmith es la plataforma de observabilidad de LangChain para monitorear, depurar y evaluar aplicaciones LLM. Rastrea automáticamente cada llamada de LLM, captura prompts y salidas, rastrea costes y latencia, y permite una evaluación sistemática mediante pruebas basadas en datasets. LangSmith se integra de forma nativa con LangChain, pero admite cualquier aplicación de LLM a través de su SDK.

Resultados de evaluación por muestra

Figura 6: Imagen que muestra la evaluación de casos de prueba individuales sobre predicciones y métricas de rendimiento.

Los resultados individuales de las predicciones se muestran junto a las salidas esperadas, lo que permite identificar dónde se equivoca el modelo. La comparación entre las predicciones esperadas y las reales revela confusión entre categorías semánticamente similares. La latencia por consulta y el recuento de tokens muestran qué tipos de entrada son más costosos de procesar, lo que permite optimizar las consultas lentas o costosas.

Volumen de trazas y monitoreo de estado

Figura 7: Gráfico que muestra la visualización de trazas del proyecto y el seguimiento de tasas de éxito y error.

El estado de la aplicación se muestra a través de las tendencias del volumen de trazas y las proporciones de éxito/error. Hay diferentes vistas disponibles para analizar las llamadas de LLM, las tendencias de costes, las invocaciones de herramientas o las puntuaciones de retroalimentación. Los problemas, como picos de errores o aumentos de costes, se vuelven visibles, lo que indica problemas que necesitan investigación.

Comparación de modelos y configuraciones

Figura 8: Vista de comparación de experimentos que muestra métricas de rendimiento en múltiples ejecuciones de prueba.

Se pueden comparar diferentes modelos en paralelo con el mismo dataset de prueba. Las compensaciones entre precisión, latencia (P50/P99) y eficiencia de tokens se muestran visualmente. Identificar qué configuración cumple mejor los requisitos, ya sea maximizar la precisión o minimizar el costo y el tiempo de respuesta, es sencillo a través de estas comparaciones.

Langfuse

Langfuse es una plataforma de observabilidad de LLM de código abierto diseñada para monitorear, depurar y evaluar aplicaciones de modelos de lenguaje. Disponible tanto como solución autohospedada como en la nube, Langfuse proporciona un rastreo integral con captura automática de prompts, salidas, costes y latencia.

La plataforma admite cualquier LLM framework a través de su SDK flexible y ofrece capacidades de evaluación integradas, incluido LLM como juez para la evaluación automática de calidad. Langfuse rastrea versiones de prompts en todas las ejecuciones, lo que permite comparar métricas de rendimiento entre diferentes formulaciones.

La recopilación de retroalimentación de los usuarios mediante valoraciones de pulgar arriba/abajo ayuda a identificar salidas de alta y baja calidad, mientras que la puntuación personalizada permite rastrear métricas específicas de la aplicación. Las evaluaciones automatizadas pueden procesar miles de trazas con tasas de muestreo configurables, lo que permite un monitoreo continuo de la calidad a escala sin revisar manualmente cada salida.

Langfuse fue adquirido por ClickHouse y ahora opera como parte de ClickHouse, aunque sigue siendo de código abierto.¹

Vista detallada de trazas

Figura 10: Registros de trazas que muestran detalles de llamadas a la API con datos de rendimiento y costes.

Las trazas individuales muestran los detalles completos de ejecución de cada llamada de LLM. La vista de trazas muestra mediciones exactas de latencia, consumo de tokens (tokens de prompt y de completado por separado) y costes calculados por solicitud.

La configuración del modelo se conserva, incluidos la temperatura, max_tokens y otros parámetros. La sección Vista previa muestra el prompt completo enviado al modelo junto con la respuesta completa, lo que permite comprender con precisión qué recibió y qué generó el modelo.

Esta visibilidad granular permite depurar fallos específicos examinando el par exacto de entrada y salida que causó un error.

Tabla de resumen de trazas

Figura 11: Inspección individual de trazas que muestra detalles de la solicitud y la respuesta del modelo.

Todas las trazas se agregan en una tabla filtrable que muestra salidas, niveles de observación, latencia, uso de tokens y costes totales. Cada fila representa una única llamada de LLM con niveles de observación codificados por colores que indican la jerarquía o importancia de la traza. Los recuentos de tokens muestran tanto los tokens de prompt como de completado, junto con los totales, mientras que los cálculos de costes se calculan automáticamente según el modelo utilizado.

El selector de columnas permite personalizar las métricas mostradas, y los filtros permiten acotar las trazas por entorno, rango de tiempo u otros criterios. Esta vista tabular facilita identificar patrones como consultas constantemente lentas o solicitudes inesperadamente costosas.

Braintrust

Braintrust es una plataforma de observabilidad de LLM que combina evaluación y monitoreo en producción. La plataforma permite probar modelos con datasets, comparar diferentes prompts o configuraciones y rastrear métricas de calidad mediante puntuación automatizada. Las funciones de evaluación integradas y personalizadas miden la precisión, la relevancia o criterios específicos del dominio, y los resultados se muestran en tablas comparativas que muestran diferencias de rendimiento entre versiones.

Para el monitoreo en producción, Braintrust rastrea métricas en tiempo real, incluidas la latencia, el costo y puntuaciones de calidad personalizadas a medida que el tráfico fluye por las aplicaciones. Las alertas se activan cuando se superan los umbrales de calidad o se violan las barreras de seguridad. Brainstore, el sistema de almacenamiento de registros de la plataforma, ingiere registros de aplicaciones a escala con búsqueda optimizada para interacciones de IA. El panel muestra métricas agregadas en experimentos y ejecuciones de producción, capturando el seguimiento de costes, el uso de tokens y los metadatos de respuesta tanto para solicitudes de evaluación como de producción.

Helicone

Helicone es una plataforma de observabilidad basada en proxy que monitorea aplicaciones de LLM enrutando las solicitudes de API a través de su servidor proxy. La integración requiere cambiar la URL base sin instalación de SDK ni modificaciones de código. La plataforma captura automáticamente solicitudes, respuestas, costes y uso de tokens para monitorear el comportamiento de la aplicación.

El panel muestra los volúmenes totales de solicitudes, los costes agregados y el consumo de tokens en todas las llamadas de API. Los registros de solicitudes muestran los prompts de entrada completos y las salidas del modelo, lo que permite investigar predicciones o errores específicos. El seguimiento de costes desglosa el gasto por tipo de modelo, usuario o etiquetas personalizadas para identificar operaciones costosas. La caché integrada detecta solicitudes duplicadas y sirve respuestas en caché, reduciendo tanto los costes de API como los tiempos de respuesta. La limitación de velocidad establece límites de uso por usuario o endpoint para evitar picos de gasto inesperados.

La plataforma se centra en monitorear llamadas de API individuales: cada solicitud aparece como una entrada de registro separada, sin soporte integrado para agrupar llamadas relacionadas ni visualizar secuencias. Esto hace que Helicone sea práctico para aplicaciones como llamadas de LLM independientes (por ejemplo, chatbots de un solo turno), generación de contenido por lotes o tareas de clasificación, pero menos adecuado para rastrear flujos de trabajo de varios pasos donde comprender las relaciones entre llamadas secuenciales es importante.

Comet Opik

Opik es una plataforma de observabilidad y evaluación de LLM de código abierto de Comet, un proveedor consolidado de MLOps y seguimiento de experimentos.² Sus capacidades principales incluyen:

• Trazado: captura llamadas de LLM, pasos de agentes e invocaciones de herramientas para obtener visibilidad de extremo a extremo del comportamiento de la aplicación
• Evaluación: proporciona métricas integradas y evaluadores de LLM como juez para puntuar salidas como alucinaciones, relevancia y moderación
• Integración con Comet: conecta las trazas de LLM con la plataforma de seguimiento de experimentos de Comet, lo que permite a los equipos unificar los metadatos de ML tradicionales y la observabilidad de LLM en un solo lugar³

Arize Phoenix

Arize Phoenix es una plataforma de código abierto para el desarrollo, la observabilidad y la evaluación de aplicaciones de IA, creada por Arize IA y la comunidad de código abierto.⁴ Está construida sobre OpenTelemetry e impulsada por la instrumentación OpenInference, por lo que las trazas funcionan con las herramientas existentes sin un formato propietario. Sus capacidades principales incluyen:

• Trazado: captura cada paso que da un agente, incluidos prompts, recuperaciones, llamadas a herramientas y salidas, lo que ofrece visibilidad de extremo a extremo de las ejecuciones del agente
• Evaluación: proporciona un framework de evaluación que puntúa las salidas y ayuda a detectar regresiones antes de que lleguen a los usuarios, con soporte tanto para revisión humana como para enfoques de LLM como juez
• Ingeniería e iteración de prompts: incluye un IDE de prompts para probar cambios de prompts y arneses con ejemplos reales de producción
• Datasets y experimentos: permite a los equipos crear datasets a partir de trazas y ejecutar experimentos que comparan cambios sobre las mismas entradas para medir si la calidad realmente mejora
• Anotaciones: admite etiquetar trazas y spans para marcar qué funcionó y qué falló durante la revisión
• Opciones de despliegue: se puede ejecutar localmente, mediante Docker, en Kubernetes con Helm o como Phoenix Cloud, con dos instancias gratis de Phoenix Cloud disponibles
• Código abierto y autohospedable: licencia ELv2 con más de 10.000 estrellas en GitHub y 2.5 millones de descargas al mes, con las trazas almacenadas en el propio entorno del usuario cuando se autohospeda

Plataformas de monitoreo que se extienden a la observabilidad de LLM

Los proveedores consolidados de monitoreo del rendimiento de aplicaciones (APM) están ampliando sus plataformas para cubrir las cargas de trabajo de LLM.

Datadog

El producto de observabilidad de Datadog para LLM está disponible de forma general y rastrea cada paso de un pipeline de LLM, incluidos prompts, respuestas del modelo, pasos de recuperación y llamadas a herramientas. Rastrea la latencia y el uso de tokens en estos pasos y ejecuta evaluaciones integradas de las salidas, incluidas comprobaciones de alucinaciones, inyección de prompts, toxicidad y exposición de datos confidenciales.^{5 6}

IBM Instana

IBM Instana presenta la observabilidad de GenAI como parte de su plataforma integral de monitoreo de aplicaciones e infraestructura, posicionada junto con sus capacidades de investigación de incidentes de IA agéntica.⁷

OpenObserve

OpenObserve presentó Observability 3.0, una plataforma nativa de IA que combina logs, métricas, trazas y monitoreo real de usuarios con la observabilidad de LLM en una sola herramienta. Su agente de SRE de IA correlaciona alertas en incidentes e identifica causas raíz automáticamente, mientras que un Asistente de IA convierte lenguaje natural en consultas SQL y PromQL, resume patrones de logs y genera paneles y alertas a partir de descripciones en lenguaje natural. La detección de Anomaly se ofrece como un tipo de alerta integrado junto con opciones de umbral y compuestas.⁸

Honeycomb

Honeycomb, una plataforma de observabilidad, ha añadido funciones específicas de IA y LLM a su producto. Su Agent Timeline revela las relaciones entre las entradas de los usuarios, las interacciones de LLM, las llamadas a herramientas y las invocaciones de agentes, mientras que BubbleUp, una herramienta de detección de anomalías basada en aprendizaje automático, identifica anomalías combinando métricas, trazas y logs. La plataforma también admite el monitoreo del uso de tokens y un Query Assistant de lenguaje natural para analizar el comportamiento del sistema.⁹

New Relic

New Relic presentó Agentic IA Monitoring, añadiendo capacidades centradas en agentes a su plataforma de observabilidad. Proporciona un mapa de servicios de las interacciones entre agentes, métricas de rendimiento como el volumen de solicitudes, la latencia media y los porcentajes de error, y desglose a nivel de traza de las llamadas individuales a agentes y herramientas.¹⁰

No te pierdas nuestros análisis comparativos e insights basados en datos. El botón abre Google; seleccionar AIMultiple confirma que deseas ver AIMultiple con más frecuencia en los resultados de búsqueda de Google.

Añadir como fuente preferida

¿Qué es la observabilidad de LLM?

La observabilidad de LLM es la práctica de recopilar e interpretar datos continuos de grandes modelos de lenguaje para comprender cómo se comportan durante su uso en el mundo real. Se centra en la recopilación de métricas, trazas y logs que muestran cómo responden los LLMs a diferentes prompts, herramientas y llamadas externas a API.

Dado que los modelos de lenguaje operan mediante razonamiento probabilístico, sus procesos internos no se pueden inspeccionar directamente. Esto hace que la supervisión de LLM dependa de revisar las salidas de LLM, las entradas de LLM y los pasos intermedios que aparecen en los flujos de trabajo agénticos. Al estudiar estas trazas, los desarrolladores de LLM obtienen visibilidad del rendimiento del sistema, el comportamiento del modelo y los patrones de uso que influyen en el rendimiento de la aplicación y la calidad de la salida.

La observabilidad de LLM es vital por varias razones:

• Garantía de calidad: Los grandes modelos de lenguaje pueden producir salidas incorrectas o de baja calidad por una amplia variedad de razones, como prompts poco claros, datos que cambian con el tiempo o comportamientos inesperados de los usuarios. La supervisión de prompts y respuestas ayuda a rastrear métricas de evaluación como la corrección, la coherencia, la relevancia y la factualidad. Esto permite a los equipos detectar cuándo las salidas de LLM comienzan a degradarse en calidad de respuesta o cuándo el modelo empieza a generar alucinaciones. A medida que el uso de LLM se expande en los flujos de trabajo empresariales, garantizar una precisión constante se convierte en un desafío común.
• Solución de problemas: Cuando surgen problemas en las aplicaciones de LLM, las causas raíz pueden provenir de muchas áreas. Algunos ejemplos incluyen prompts mal ajustados, fine-tuning defectuoso, llamadas externas a la API fallidas o errores de lógica en los flujos de trabajo de agentes de varios pasos. Al recopilar trazas de LLM que muestran los pasos intermedios, los desarrolladores pueden realizar un análisis de causa raíz de manera eficiente y señalar la etapa exacta en la que el comportamiento se desvió. Esto reduce la necesidad de intervención humana y acorta el tiempo de seguimiento de errores.
• Optimización: El seguimiento del rendimiento del sistema, el uso de recursos y el uso de tokens ayuda a las organizaciones a identificar cuellos de botella y mejorar el rendimiento de LLM. Los equipos pueden medir la latencia, el rendimiento, el uso de memoria y las tasas de error para comprender cómo se comportan los LLMs bajo niveles de carga variables. También pueden rastrear tokens para controlar los costes y revisar los patrones de uso para mejorar el rendimiento y la eficiencia de costes. El monitoreo continuo de estas métricas clave es especialmente valioso en generación aumentada por recuperación y en flujos de trabajo de agentes, donde los cuellos de botella de rendimiento a menudo surgen de llamadas a herramientas ineficientes o de viajes de ida y vuelta innecesarios durante el razonamiento.

Categorías de métricas principales

Las herramientas de observabilidad de LLM suelen agrupar las métricas relevantes en tres categorías que sirven tanto a los equipos de desarrollo de software como a los equipos operativos.

Métricas de rendimiento del sistema

• Latencia: Mide el tiempo entre la recepción de un prompt y la entrega de una respuesta.
• Rendimiento: Indica cuántas solicitudes puede procesar el modelo en un período determinado.
• Tasas de error: Revelan con qué frecuencia el sistema devuelve respuestas no válidas o fallidas.

Métricas de utilización de recursos

• Consumo de CPU y GPU: Ayudan a comprender con qué eficiencia usa el sistema el hardware.
• Uso de memoria: Afecta las decisiones de escalado y la planificación de capacidad.
• Uso de tokens: Influye en la eficiencia de costes y ayuda a los equipos a controlar los costes durante un uso intensivo de LLM.
• Compensaciones entre rendimiento y latencia: Muestran cómo el sistema equilibra la velocidad y el volumen de procesamiento.

Métricas de comportamiento del modelo

• Corrección, factualidad y calidad de la respuesta: Para identificar salidas de baja calidad.
• Participación y retroalimentación de los usuarios: Proporcionan información sobre qué tan bien satisface el modelo las necesidades de los usuarios.
• Métricas de fidelidad y fundamentación: Reflejan en qué medida el modelo se ajusta al material de origen.

Observabilidad manual frente a autónoma

Depender de la observación manual presenta varios desafíos. Los grandes modelos de lenguaje generan grandes volúmenes de datos, y las cadenas de razonamiento de varios pasos producen numerosos logs y trazas. La necesidad de monitoreo en tiempo real aumenta la complejidad operativa, e incluso los equipos experimentados tienen dificultades para revisar cada llamada de LLM sin perder señales esenciales. Los flujos de trabajo manuales también dificultan mantenerse al día con los cambios continuos en el comportamiento de los usuarios y las variaciones de prompts.

Los sistemas de observabilidad autónomos abordan estos desafíos mediante agentes de software que analizan continuamente la actividad de LLM. Estos agentes detectan anomalías, diagnostican problemas y realizan análisis de causa raíz sin intervención humana constante. Las evaluaciones automatizadas también ayudan a identificar comportamientos riesgosos, como la inyección de prompts.

Un sistema de este tipo admite el monitoreo continuo y garantiza un seguimiento constante de las métricas de evaluación en todo el modelo. Como resultado, las organizaciones se benefician de una resolución de problemas más rápida, un mejor rendimiento de las aplicaciones y un mayor control de los riesgos operativos.

Qué buscar en las herramientas de observabilidad de LLM

Evaluaciones de calidad y seguridad

• Detección de alucinaciones para identificar cuándo el modelo se desvía de datos fiables.
• Detección de inyección de prompts y jailbreak para abordar problemas de seguridad.
• Puntuación de toxicidad y evaluaciones de seguridad que respaldan el cumplimiento y la reducción de riesgos.
• Agrupamiento que reúne salidas de LLM similares para identificar derivas.

Funciones de experimentación

• Pruebas A/B para la gestión de prompts y cambios de configuración.
• Comparación rápida entre múltiples modelos de LLM o parámetros.
• Evaluación de precisión, consumo de tokens y latencia antes del despliegue.
• Pruebas de cambios de modelo frente a escenarios del mundo real utilizando datos similares a los de producción.

Correlación con la infraestructura

• Conexión de las trazas de LLM con los datos de monitoreo del rendimiento de la aplicación backend.
• Vinculación del tiempo de respuesta y la calidad de la respuesta con sesiones reales de usuarios.
• Identificación de cómo el rendimiento del sistema afecta el rendimiento de LLM y la estabilidad de la aplicación.

En los despliegues locales de LLM, esta correlación a menudo se extiende hasta la telemetría a nivel de GPU. OpenLIT, una herramienta de observabilidad nativa de OpenTelemetry para aplicaciones de GenAI y LLM, incluye monitoreo integrado de GPU con soporte para hardware NVIDIA y AMD Radeon, capturando métricas como utilización, uso de memoria, temperatura y consumo de energía durante la inferencia.

Correlacionar estas métricas con el rendimiento del modelo permite a los operadores identificar cuándo los límites de energía o temperatura están degradando el rendimiento de la inferencia, y ayuda a ajustar la configuración del hardware para sostener cargas de trabajo de IA fiables.^{11 12}

LLMOps y gobernanza

• Barreras de seguridad que filtran prompts no seguros y bloquean respuestas dañinas.
• Paneles para el seguimiento de la exposición de PII, alucinaciones y violaciones de seguridad.
• Herramientas que respaldan el cumplimiento, la elaboración de informes y el análisis de incidentes de seguridad.

Varios productos están creados específicamente en torno a estas necesidades de gobernanza y cumplimiento:

Databricks Unity IA Gateway es una capa de control central para agentes, endpoints de LLM y servidores de Model Context Protocol (MCP). Sus capacidades incluyen:

• Controles de acceso y políticas: configura permisos y aplica barreras de seguridad en todos los endpoints
• Gestión de capacidad: gestiona la capacidad entre proveedores y limita la tasa de los endpoints
• Registro de payloads: registra payloads de solicitud y respuesta para auditoría
• Monitoreo de uso y costes: rastrea el uso y el costo a través de tablas del sistema
• Gobernanza del servidor MCP: gobierna los servidores MCP mediante los permisos de Unity Catalog^{13 14}

Openlayer es una plataforma de gobernanza y observabilidad de IA dirigida a industrias reguladas. Sus capacidades incluyen:

• Pruebas previas al despliegue: pruebas estructuradas sobre alucinaciones, sesgos, toxicidad y robustez
• Observabilidad en tiempo real: monitoreo y trazado de llamadas de LLM, pipelines de recuperación y agentes de varios pasos
• Barreras de seguridad: protección contra la inyección de prompts y la fuga de PII
• Soporte de cumplimiento: mapeo de cumplimiento automatizado con captura continua de evidencia e informes listos para auditoría, alineado con marcos como la Ley de IA de la UE y la ISO/IEC 42001¹⁵

OpenTelemetry como estándar emergente

OpenTelemetry es un framework de código abierto y neutral respecto al proveedor para recopilar trazas, métricas y logs de sistemas de software. Es importante para la observabilidad de LLM porque las aplicaciones de IA combinan muchas piezas móviles, como modelos, bases de datos vectoriales, herramientas y frameworks de agentes, y sin un estándar compartido cada componente emite datos en su propio formato, lo que dificulta la depuración de extremo a extremo y ata a los equipos al proveedor de monitoreo para el que instrumentaron primero.

Las convenciones semánticas de GenAI de OpenTelemetry definen un esquema común para llamadas a modelos, uso de tokens, invocaciones de herramientas y flujos de trabajo de agentes, de modo que las trazas de diferentes bibliotecas se puedan capturar y analizar de forma coherente.¹⁶

La mayoría de las principales plataformas de observabilidad de LLM, incluidas Arize Phoenix, Langfuse y Honeycomb, ingieren datos de OpenTelemetry de forma nativa, lo que permite a los equipos instrumentar sus aplicaciones una vez y cambiar de backend más adelante sin reescribir su código de trazado.¹⁷

Observabilidad de flujos de trabajo multiagente

A medida que los LLMs impulsan flujos de trabajo de agentes de varios pasos, los requisitos de observabilidad se expanden más allá de los pares individuales de solicitud-respuesta. Las aplicaciones agénticas introducen capas adicionales de complejidad que requieren enfoques de trazado dedicados.

Dimensiones clave de observabilidad para agentes:

• Trazas de planificación y razonamiento: Visibilidad de cómo el agente descompone las tareas, selecciona acciones y refina su enfoque en función de los resultados intermedios
• Monitoreo de llamadas a herramientas: Seguimiento de llamadas externas a API, consultas a bases de datos y ejecuciones de funciones para identificar cuellos de botella de latencia o fallos
• Trazado de transferencias: Para sistemas multiagente, monitoreo de cómo se transfieren las tareas entre agentes y si el contexto se conserva correctamente
• Evolución del estado: Comprensión de cómo cambian la memoria y el contexto a lo largo de varios turnos dentro de una sesión

Together, estas dimensiones forman la base del monitoreo agéntico. Las herramientas de observabilidad de LLM, como Langsmith, Langfuse, AgentOps y Weights & Biases, proporcionan vistas de trazado específicas para agentes que muestran gráficos de ejecución completos.

Más allá de estas herramientas de propósito general, algunos productos se centran específicamente en la fiabilidad de los agentes. Un ejemplo es Omium, que se posiciona como un producto de observabilidad y fiabilidad creado específicamente para agentes de IA en producción.¹⁸

Sus principales capacidades incluyen:

• Spans estructurados: Captura spans para cada llamada de LLM, uso de herramientas y decisión del agente
• Trazado multiagente: Une las llamadas entre agentes en una única traza unificada para diagnósticos en tiempo real
• Clasificación de fallos: Etiqueta automáticamente los fallos en categorías como alucinación, bucle infinito, error de herramienta y pérdida de contexto
• Recuperación de puntos de control: Captura instantáneas del estado del agente en cada llamada a herramienta y respuesta de LLM, lo que permite reanudar los flujos de trabajo desde cualquier punto de control en lugar de reiniciar desde cero
• Soporte de frameworks: SDKs para TypeScript, Python y Go, con detección automática para LangChain, LangGraph, OpenAI y Anthropic

Preguntas frecuentes

Cita esta investigación

Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.

@misc{ermut2026,
  author = {Ermut, Sıla and Şipi, Nazlı},
  title  = {{LLM Herramientas de observabilidad: Weights & Biases, Langsmith}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/llm-observability}},
  note   = {AIMultiple. Recuperado el 9 de Junio de 2026}
}

Enlaces de referencia

1.

ClickHouse raises $400M Series D led by Dragoneer to accelerate expansion across analytics and AI infrastructure | ClickHouse

ClickHouse

2.

Open-Source AI Observability Platform | Opik by Comet

3.

GitHub - comet-ml/opik: Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards. · GitHub

4.

What is Arize Phoenix? - Phoenix

Mintlify

5.

Monitor, troubleshoot, improve, and secure your LLM applications with Datadog Agent Observability | Datadog

Datadog

6.

Agent Observability | LLM Observability | Datadog

7.

IBM Instana Observability

8.

OpenObserve — Open Source Observability Platform

OpenObserve

9.

Observability for AI & LLMs | Honeycomb

Honeycomb

10.

New Relic Unveils Platform Innovations that Align Technical Performance to Business Outcomes, Making Observability a Value Driver | New Relic

New Relic

11.

Open Source Platform for AI Engineering | OpenLIT | OpenTelemetry-native GenAI and LLM Application Observability

OpenLIT

12.

GPU Performance Monitoring - OpenLIT

Mintlify

13.

AI governance with Unity AI Gateway | Databricks on Google Cloud

14.

MCPs and agent tools | Databricks on AWS

15.

AI governance and observability platform | Openlayer

Openlayer

16.

Moved: Generative AI semantic conventions | OpenTelemetry

17.

LLM observability with ClickStack, OpenTelemetry, and MCP | ClickHouse

ClickHouse

18.

Omium — AI Agent Observability & Reliability for Production

Omium

Sıla Ermut

Analista de la industria

Síguenos

Sıla Ermut es analista de la industria en AIMultiple que cubre modelos de IA, infraestructura de IA, gobernanza de IA y aplicaciones empresariales de IA. Su investigación se centra principalmente en el uso de la IA en marketing, salud, cadenas de suministro y sostenibilidad. Anteriormente trabajó como reclutadora en empresas de gestión de proyectos y consultoría. Sıla tiene un máster en Psicología Social y una licenciatura en Relaciones Internacionales.

Ver perfil completo

Investigado por

Nazlı Şipi

Investigadora de IA

Síguenos

Nazlı es analista de datos en AIMultiple. Tiene experiencia previa en análisis de datos en varias industrias, donde trabajó transformando conjuntos de datos complejos en información procesable.

Ver perfil completo

Sé el primero en comentar

Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.

Nombre

Dirección de correo electrónico

Comentario

0/450

Publicar comentario