LLM Herramientas de Observabilidad: Weights & Biases, Langsmith

Las aplicaciones de LLM se han expandido de chats de un solo turno a agentes de múltiples pasos que utilizan herramientas, consultan bases de datos y se coordinan con otros modelos, lo que dificulta la interpretación de su comportamiento.

La observabilidad de LLM proporciona visibilidad continua en estos flujos de trabajo complejos, ayudando a las organizaciones a monitorizar la calidad, detectar fallos, solucionar problemas y gestionar el rendimiento y los costes.

Comparativa de funciones de herramientas de observabilidad de LLM

Weights & Biases (W&B Weave)

W&B Weave es la plataforma de observabilidad de LLM de Weights & Biases para monitorizar, evaluar y optimizar aplicaciones de modelos de lenguaje. Weave rastrea automáticamente cada llamada a LLM utilizando el decorador @weave.op, capturando entradas, salidas, costes, latencia y métricas de evaluación sin configuración manual.

La plataforma rastrea automáticamente el uso de tokens y calcula los costes, monitoriza los tiempos de respuesta para detectar consultas lentas y mide la precisión comparando las predicciones con los resultados esperados. Se pueden comparar diferentes experimentos uno al lado del otro para ver qué modelo o prompt funciona mejor. El seguimiento de errores muestra qué predicciones fallaron y por qué, mientras que el versionado automático preserva cada cambio de configuración para su reproducibilidad. Esto facilita probar diferentes enfoques, identificar qué funciona mejor y depurar problemas cuando los modelos cometen errores.

Panel de Resumen de Puntuaciones

Figura 1: Gráficos que muestran el panel de métricas de rendimiento del modelo, con seguimiento de tendencias de precisión, coste y latencia a lo largo del tiempo.

Las métricas de rendimiento se muestran en todas las ejecuciones de evaluación. El coste total, el uso de tokens y los tiempos de respuesta se muestran con gráficos que reflejan los cambios a lo largo del tiempo. Las métricas personalizadas, como la precisión y las tasas de error, aparecen en paneles separados. Las líneas de tendencia ayudan a detectar cuándo el rendimiento empeora o los costes aumentan inesperadamente, y el panel se actualiza automáticamente a medida que se completan nuevas pruebas.

Vista de Trazas

Figura 2: Tabla de trazas de evaluación que muestra las versiones del modelo y sus resultados de clasificación de intención.

Cada ejecución de prueba se guarda con todos los detalles. Cada traza muestra qué modelo se utilizó, qué prompt se envió y todas las configuraciones. Los indicadores de éxito o fracaso señalan si las pruebas se completaron correctamente. La columna de prompt muestra el texto enviado al modelo para su verificación. Este registro permite comparar diferentes versiones una al lado de la otra, ver qué cambió entre ejecuciones y repetir cualquier prueba utilizando su configuración guardada.

Tabla de Clasificación de Comparación de Modelos

Figura 3: Imagen que muestra la tabla de clasificación que compara versiones del modelo clasificador de intención en métricas de precisión y latencia.

Se pueden comparar diferentes modelos y configuraciones con los mismos datos de prueba. Las columnas muestran precisión, predicciones correctas, puntuaciones y tiempos de respuesta. El código de colores resalta a los mejores en verde. Esta comparación revela compromisos como una mayor precisión a costa de una velocidad más lenta o respuestas más rápidas con una precisión ligeramente inferior, ayudando a elegir qué configuración funciona mejor para las necesidades de producción.

Versionado de Modelos

Figura 4: Panel de configuración del clasificador de intención que muestra la configuración del modelo y los detalles de la versión.

Cada cambio de configuración crea automáticamente una nueva versión, manteniendo un historial completo. Los detalles de la versión muestran cuándo se realizaron los cambios, quién los hizo y el almacenamiento utilizado. La pestaña Valores muestra la configuración exacta, incluyendo el nombre del modelo, los parámetros y las versiones de las funciones. Este versionado garantiza que cualquier prueba pueda repetirse con una configuración idéntica, permite rastrear cómo cambió el rendimiento a lo largo del tiempo y permite volver a versiones anteriores si es necesario.

Resultados Detallados de Evaluación

Figura 5: Resultados de evaluación que muestran casos de prueba individuales con intenciones predichas y puntuaciones de precisión.

Los resultados individuales de las pruebas se muestran para cada muestra. La sección de Puntuaciones resume el total de predicciones correctas, el porcentaje de precisión y las puntuaciones personalizadas.

La tabla de Resultados muestra cada consulta con su respuesta esperada y la predicción del modelo, utilizando marcas de verificación para respuestas correctas y marcas X para respuestas incorrectas. Las predicciones fallidas son fáciles de detectar y a menudo muestran patrones como confusión entre categorías similares.

Al hacer clic en cualquier fila se abre la traza completa, incluyendo el prompt, la respuesta, el recuento de tokens y el tiempo, lo que facilita la depuración de fallos y la mejora de los prompts o la selección del modelo.

Langsmith

LangSmith es la plataforma de observabilidad de LangChain para monitorizar, depurar y evaluar aplicaciones de LLM. Traza automáticamente cada llamada a LLM, captura prompts y salidas, rastrea costes y latencia, y permite una evaluación sistemática mediante pruebas basadas en datasets. LangSmith se integra de forma nativa con LangChain pero admite cualquier aplicación de LLM a través de su SDK.

Resultados de Evaluación por Muestra

Figura 6: Imagen que muestra la evaluación de casos de prueba individuales sobre predicciones y métricas de rendimiento.

Los resultados de predicciones individuales se muestran junto a las salidas esperadas, lo que permite identificar dónde se equivoca el modelo. La comparación entre predicciones esperadas y reales revela confusión entre categorías semánticamente similares. La latencia por consulta y el recuento de tokens muestran qué tipos de entrada son más costosos de procesar, permitiendo optimizar consultas lentas o costosas.

Monitorización del Volumen de Trazas y Salud

Figura 7: Gráfico que muestra la visualización de trazas del proyecto con seguimiento de tasas de éxito y error a lo largo del tiempo.

La salud de la aplicación se muestra a través de tendencias de volumen de trazas y ratios de éxito/error a lo largo del tiempo. Hay diferentes vistas disponibles para analizar las llamadas a LLM, las tendencias de costes, las invocaciones de herramientas o las puntuaciones de feedback. Problemas como picos de errores o aumentos de costes se vuelven visibles, indicando problemas que necesitan investigación.

Comparación de Modelos y Configuraciones

Figura 8: Vista de comparación de experimentos que muestra métricas de rendimiento en múltiples ejecuciones de prueba.

Se pueden comparar diferentes modelos uno al lado del otro con el mismo dataset de prueba. Los compromisos entre precisión, latencia (P50/P99) y eficiencia de tokens se muestran visualmente. Identificar qué configuración cumple mejor con los requisitos – ya sea maximizando la precisión o minimizando el coste y el tiempo de respuesta – es sencillo a través de estas comparaciones.

Langfuse

Langfuse es una plataforma de observabilidad de LLM de código abierto diseñada para monitorizar, depurar y evaluar aplicaciones de modelos de lenguaje. Disponible tanto como solución autoalojada como en la nube, Langfuse proporciona un trazado integral con captura automática de prompts, salidas, costes y latencia.

La plataforma admite cualquier framework de LLM a través de su SDK flexible y ofrece capacidades de evaluación integradas, incluyendo LLM-como-juez para la evaluación automatizada de calidad. Langfuse rastrea las versiones de prompts a lo largo de las ejecuciones, permitiendo la comparación de métricas de rendimiento entre diferentes formulaciones.

La recopilación de feedback de usuarios a través de valoraciones de pulgar arriba/abajo ayuda a identificar salidas de alta y baja calidad, mientras que la puntuación personalizada permite rastrear métricas específicas de la aplicación. Las evaluaciones automatizadas pueden procesar miles de trazas con tasas de muestreo configurables, permitiendo una monitorización continua de la calidad a escala sin revisión manual de cada salida.

Langfuse fue adquirido por ClickHouse y ahora opera como parte de ClickHouse, manteniéndose como código abierto.¹

Vista Detallada de Trazas

Figura 10: Registros de trazas que muestran detalles de llamadas a la API con datos de rendimiento y coste.

Las trazas individuales muestran los detalles completos de ejecución de cada llamada a LLM. La vista de trazas muestra mediciones exactas de latencia, consumo de tokens (tokens de prompt y de completado por separado) y costes calculados por solicitud.

La configuración del modelo se conserva, incluyendo temperatura, max_tokens y otros parámetros. La sección de Vista Previa muestra el prompt completo enviado al modelo junto con la respuesta completa, permitiéndole comprender con precisión lo que el modelo recibió y generó.

Esta visibilidad granular permite depurar fallos específicos examinando el par exacto de entrada-salida que causó un error.

Tabla General de Trazas

Figura 11: Inspección individual de trazas que muestra detalles de la solicitud y respuesta del modelo.

Todas las trazas se agregan en una tabla filtrable que muestra salidas, niveles de observación, latencia, uso de tokens y costes totales. Cada fila representa una única llamada a LLM con niveles de observación codificados por colores que indican la jerarquía o importancia de la traza. Los recuentos de tokens muestran tanto los tokens de prompt como los de completado, junto con los totales, mientras que los cálculos de costes se realizan automáticamente según el modelo utilizado.

El selector de Columnas permite personalizar las métricas mostradas, y los filtros permiten acotar las trazas por entorno, rango de tiempo u otros criterios. Esta vista tabular facilita la identificación de patrones como consultas consistentemente lentas o solicitudes inesperadamente costosas.

Braintrust

Braintrust es una plataforma de observabilidad de LLM que combina evaluación y monitorización en producción. La plataforma permite probar modelos contra datasets, comparar diferentes prompts o configuraciones y rastrear métricas de calidad mediante puntuación automatizada. Las funciones de evaluación integradas y personalizadas miden la precisión, relevancia o criterios específicos del dominio, con resultados mostrados en tablas comparativas que reflejan las diferencias de rendimiento entre versiones.

Para la monitorización en producción, Braintrust rastrea métricas en tiempo real incluyendo latencia, coste y puntuaciones de calidad personalizadas a medida que el tráfico fluye a través de las aplicaciones. Las alertas se activan cuando se superan los umbrales de calidad o se violan las barreras de seguridad. Brainstore, el sistema de almacenamiento de registros de la plataforma, ingiere registros de aplicaciones a escala con búsqueda optimizada para interacciones de IA. El panel muestra métricas agregadas en experimentos y ejecuciones de producción, capturando el seguimiento de costes, el uso de tokens y los metadatos de respuesta tanto para solicitudes de evaluación como de producción.

Helicone

Helicone es una plataforma de observabilidad basada en proxy que monitoriza aplicaciones de LLM enrutando las solicitudes a la API a través de su servidor proxy. La integración solo requiere cambiar la URL base sin instalación de SDK ni modificaciones de código. La plataforma captura automáticamente solicitudes, respuestas, costes y uso de tokens para monitorizar el comportamiento de la aplicación.

El panel muestra los volúmenes totales de solicitudes, los costes agregados y el consumo de tokens en todas las llamadas a la API. Los registros de solicitudes muestran los prompts de entrada completos y las salidas del modelo, permitiendo la investigación de predicciones o errores específicos. El seguimiento de costes desglosa el gasto por tipo de modelo, usuario o etiquetas personalizadas para identificar operaciones costosas. El almacenamiento en caché integrado detecta solicitudes duplicadas y sirve respuestas en caché, reduciendo tanto los costes de API como los tiempos de respuesta. La limitación de tasa establece límites de uso por usuario o endpoint para prevenir picos de gasto inesperados.

La plataforma se centra en monitorizar llamadas individuales a la API: cada solicitud aparece como una entrada de registro separada sin soporte integrado para agrupar llamadas relacionadas o visualizar secuencias. Esto hace que Helicone sea práctico para aplicaciones como llamadas independientes a LLM (p. ej., chatbots de un solo turno), generación de contenido por lotes o tareas de clasificación, pero menos adecuado para rastrear flujos de trabajo de múltiples pasos donde comprender las relaciones entre llamadas secuenciales es importante.

Comet Opik

Opik es una plataforma de observabilidad y evaluación de LLM de código abierto de Comet, un proveedor establecido de MLOps y seguimiento de experimentos.² Sus capacidades principales incluyen:

• Trazado: captura llamadas a LLM, pasos de agentes e invocaciones de herramientas para una visibilidad de extremo a extremo del comportamiento de la aplicación
• Evaluación: proporciona métricas integradas y evaluadores de LLM como juez para puntuar salidas como alucinación, relevancia y moderación
• Integración con Comet: conecta las trazas de LLM con la plataforma de seguimiento de experimentos de Comet, permitiendo a los equipos unificar los metadatos tradicionales de ML y la observabilidad de LLM en un solo lugar³

Arize Phoenix

Arize Phoenix es una plataforma de código abierto para el desarrollo, observabilidad y evaluación de aplicaciones de IA, construida por Arize IA y la comunidad de código abierto.⁴ Está construida sobre OpenTelemetry y potenciada por la instrumentación OpenInference, por lo que las trazas funcionan con las herramientas existentes sin un formato propietario. Sus capacidades principales incluyen:

• Trazado: captura cada paso que da un agente, incluyendo prompts, recuperaciones, llamadas a herramientas y salidas, proporcionando visibilidad de extremo a extremo de las ejecuciones del agente
• Evaluación: proporciona un framework de evaluación que puntúa las salidas y ayuda a detectar regresiones antes de que lleguen a los usuarios, con soporte tanto para revisión humana como para enfoques de LLM como juez
• Ingeniería e iteración de prompts: incluye un IDE de prompts para probar cambios de prompts y arneses contra ejemplos reales de producción
• Datasets y experimentos: permite a los equipos construir datasets a partir de trazas y ejecutar experimentos que comparan cambios en las mismas entradas para medir si la calidad realmente mejora
• Anotaciones: admite el etiquetado de trazas y spans para señalar qué funcionó y qué se rompió durante la revisión
• Opciones de despliegue: se puede ejecutar localmente, mediante Docker, en Kubernetes con Helm o como Phoenix Cloud, con dos instancias gratis de Phoenix Cloud disponibles
• Código abierto y autoalojable: licencia ELv2 con más de 10,000 estrellas en GitHub y 2.5 millones de descargas por mes, con trazas almacenadas en el propio entorno del usuario cuando se autoaloja

Plataformas de monitorización que se extienden a la observabilidad de LLM

Los proveedores establecidos de monitorización del rendimiento de aplicaciones (APM) están ampliando sus plataformas para cubrir las cargas de trabajo de LLM.

Datadog

El producto de Observabilidad de LLM de Datadog está disponible de forma general y traza cada paso de un pipeline de LLM, incluyendo prompts, respuestas del modelo, pasos de recuperación y llamadas a herramientas. Rastrea la latencia y el uso de tokens en estos pasos, y ejecuta evaluaciones integradas en las salidas, incluyendo comprobaciones de alucinaciones, inyección de prompts, toxicidad y exposición de datos sensibles.^{5 6}

IBM Instana

IBM Instana incluye la Observabilidad de GenAI como parte de su plataforma de monitorización de aplicaciones e infraestructura de pila completa, posicionada junto a sus capacidades de investigación de incidentes con IA agéntica.⁷

OpenObserve

OpenObserve presentó Observability 3.0, una plataforma nativa de IA que combina registros, métricas, trazas y monitorización de usuarios reales con observabilidad de LLM en una sola herramienta. Su agente de IA SRE correlaciona alertas en incidentes e identifica causas raíz automáticamente, mientras que un Asistente de IA convierte lenguaje natural en consultas SQL y PromQL, resume patrones de registros y genera paneles y alertas a partir de descripciones en lenguaje natural. La detección de anomalías se ofrece como un tipo de alerta integrado junto con opciones de umbral y compuestas.⁸

Honeycomb

Honeycomb, una plataforma de observabilidad, ha añadido funciones específicas de IA y LLM a su producto. Su Agent Timeline revela las relaciones entre las entradas del usuario, las interacciones con LLM, las llamadas a herramientas y las invocaciones de agentes, mientras que BubbleUp, una herramienta de detección de anomalías basada en machine learning, detecta anomalías combinando métricas, trazas y registros. La plataforma también admite la monitorización del uso de tokens y un Asistente de Consultas en lenguaje natural para analizar el comportamiento del sistema.⁹

New Relic

New Relic presentó Agentic IA Monitoring, añadiendo capacidades centradas en agentes a su plataforma de observabilidad. Proporciona un mapa de servicios de las interacciones entre agentes, métricas de rendimiento como el volumen de solicitudes, la latencia media y los porcentajes de error, y un desglose a nivel de traza de las llamadas individuales a agentes y herramientas.¹⁰

No te pierdas nuestros análisis comparativos e insights basados en datos. El botón abre Google; seleccionar AIMultiple confirma que deseas ver AIMultiple con más frecuencia en los resultados de búsqueda de Google.

Añadir como fuente preferida

¿Qué es la observabilidad de LLM?

La observabilidad de LLM es la práctica de recopilar e interpretar datos continuos de modelos de lenguaje grandes para comprender cómo se comportan durante el uso en el mundo real. Se centra en la recopilación de métricas, trazas y registros que muestran cómo los LLM responden a diferentes prompts, herramientas y llamadas externas a API.

Dado que los modelos de lenguaje funcionan mediante razonamiento probabilístico, sus procesos internos no pueden ser inspeccionados directamente. Esto hace que la monitorización de LLM dependa de la revisión de las salidas de LLM, las entradas de LLM y los pasos intermedios que aparecen en los flujos de trabajo agénticos. Al estudiar estas trazas, los desarrolladores de LLM obtienen visibilidad sobre el rendimiento del sistema, el comportamiento del modelo y los patrones de uso que influyen en el rendimiento de la aplicación y la calidad de las salidas.

La observabilidad de LLM es vital por varias razones:

• Aseguramiento de la calidad: Los modelos de lenguaje grandes pueden producir salidas incorrectas o de baja calidad por una amplia gama de razones, incluyendo prompts poco claros, datos cambiantes o comportamientos inesperados del usuario. Monitorizar los prompts y las respuestas a lo largo del tiempo ayuda a rastrear métricas de evaluación como la corrección, coherencia, relevancia y factualidad. Esto permite a los equipos detectar cuándo las salidas de LLM empiezan a disminuir en calidad de respuesta o cuándo el modelo comienza a generar alucinaciones. A medida que el uso de LLM se expande en los flujos de trabajo empresariales, garantizar una precisión consistente se convierte en un desafío común.
• Solución de problemas: Cuando ocurren problemas dentro de las aplicaciones de LLM, las causas raíz pueden provenir de muchas áreas. Algunos ejemplos incluyen prompts mal ajustados, fine-tuning defectuoso, llamadas externas a API fallidas o errores lógicos dentro de los flujos de trabajo de agentes de múltiples pasos. Al recopilar trazas de LLM que muestran los pasos intermedios, los desarrolladores pueden realizar un análisis de causa raíz de manera eficiente e identificar la etapa exacta en la que el comportamiento se desvió. Esto reduce la necesidad de intervención humana y acorta el tiempo de seguimiento de errores.
• Optimización: El seguimiento del rendimiento del sistema, el uso de recursos y el uso de tokens ayuda a las organizaciones a identificar cuellos de botella y mejorar el rendimiento de LLM. Los equipos pueden medir la latencia, el rendimiento, el uso de memoria y las tasas de error para comprender cómo se comportan los LLM bajo diferentes niveles de carga. También pueden rastrear tokens para controlar los costes y revisar los patrones de uso para mejorar el rendimiento y la eficiencia de costes. La monitorización continua de estas métricas clave es especialmente valiosa en los flujos de trabajo de generación aumentada por recuperación y de agentes, donde los cuellos de botella de rendimiento a menudo surgen de llamadas a herramientas ineficientes o de idas y vueltas innecesarias durante el razonamiento.

Categorías principales de métricas

Las herramientas de observabilidad de LLM suelen agrupar las métricas relevantes en tres categorías que apoyan tanto a los equipos de desarrollo de software como a los equipos operativos.

Métricas de rendimiento del sistema

• Latencia: Mide el tiempo entre la recepción de un prompt y la entrega de una respuesta.
• Rendimiento: Indica cuántas solicitudes puede procesar el modelo en un período determinado.
• Tasas de error: Revelan con qué frecuencia el sistema devuelve respuestas no válidas o fallidas.

Métricas de utilización de recursos

• Consumo de CPU y GPU: Ayudan a comprender con qué eficiencia utiliza el sistema el hardware.
• Uso de memoria: Afecta las decisiones de escalado y la planificación de capacidad.
• Uso de tokens: Influye en la eficiencia de costes y ayuda a los equipos a controlar los costes durante el uso intensivo de LLM.
• Compromisos entre rendimiento y latencia: Muestran cómo el sistema equilibra la velocidad y el volumen de procesamiento.

Métricas de comportamiento del modelo

• Corrección, factualidad y calidad de respuesta: Para identificar salidas de baja calidad.
• Participación del usuario y feedback de usuarios: Proporcionan información sobre qué tan bien satisface el modelo las necesidades del usuario.
• Métricas de fidelidad y fundamentación: Reflejan cuán fielmente se adhiere el modelo al material de origen.

Observabilidad manual vs. autónoma

Depender de la observación manual presenta varios desafíos. Los modelos de lenguaje grandes generan grandes volúmenes de datos, y las cadenas de razonamiento de múltiples pasos producen numerosos registros y trazas. La necesidad de monitorización en tiempo real aumenta la complejidad operativa, e incluso los equipos experimentados tienen dificultades para revisar cada llamada a LLM sin perder señales esenciales. Los flujos de trabajo manuales también dificultan mantenerse al día con los cambios continuos en el comportamiento del usuario y las variaciones de prompts.

Los sistemas de observabilidad autónoma abordan estos desafíos utilizando agentes de software que analizan continuamente la actividad de LLM. Estos agentes detectan anomalías, diagnostican problemas y realizan análisis de causa raíz sin intervención humana constante. Las evaluaciones automatizadas también ayudan a identificar comportamientos de riesgo, como la inyección de prompts.

Un sistema de este tipo admite la monitorización continua y garantiza un seguimiento consistente de las métricas de evaluación en todo el modelo. Como resultado, las organizaciones se benefician de una solución de problemas más rápida, un mejor rendimiento de las aplicaciones y un mayor control sobre los riesgos operativos.

Qué buscar en las herramientas de observabilidad de LLM

Evaluaciones de calidad y seguridad

• Detección de alucinaciones para identificar cuándo el modelo se desvía de los datos fiables.
• Detección de inyección de prompts y jailbreak para abordar problemas de seguridad.
• Puntuación de toxicidad y evaluaciones de seguridad que apoyan el cumplimiento y la reducción de riesgos.
• Agrupamiento que agrupa salidas similares de LLM para identificar derivas a lo largo del tiempo.

Funcionalidades de experimentación

• Pruebas A/B para la gestión de prompts y cambios de configuración.
• Comparación rápida entre múltiples modelos de LLM o parámetros.
• Evaluación de precisión, consumo de tokens y latencia antes del despliegue.
• Prueba de cambios de modelo frente a escenarios del mundo real utilizando datos similares a los de producción.

Correlación con infraestructura

• Conexión de las trazas de LLM con los datos de monitorización del rendimiento de las aplicaciones backend.
• Vinculación del tiempo de respuesta y la calidad de respuesta con sesiones de usuarios reales.
• Identificación de cómo el rendimiento del sistema afecta al rendimiento de LLM y a la estabilidad de la aplicación.

Para los despliegues locales de LLM, esta correlación a menudo se extiende hasta la telemetría a nivel de GPU. OpenLIT, una herramienta de observabilidad nativa de OpenTelemetry para aplicaciones de GenAI y LLM, incluye monitorización integrada de GPU con soporte para hardware NVIDIA y AMD Radeon, capturando métricas como utilización, uso de memoria, temperatura y consumo de energía durante la inferencia.

Correlacionar estas métricas con el rendimiento del modelo permite a los operadores identificar cuándo los límites de potencia o térmicos están degradando el rendimiento de inferencia, y ayuda a ajustar la configuración del hardware para mantener cargas de trabajo de IA fiables.^{11 12}

LLMOps y gobernanza

• Barreras de seguridad que filtran prompts inseguros y bloquean respuestas dañinas.
• Paneles para el seguimiento de exposición de PII, alucinaciones y violaciones de seguridad.
• Herramientas que apoyan el cumplimiento, la elaboración de informes y el análisis de incidentes de seguridad.

Varios productos están construidos específicamente en torno a estas necesidades de gobernanza y cumplimiento:

Databricks Unity IA Gateway es una capa de control central para agentes, endpoints de LLM y servidores de Model Context Protocol (MCP). Sus capacidades incluyen:

• Controles de acceso y políticas: configura permisos y aplica barreras de seguridad en todos los endpoints
• Gestión de capacidad: gestiona la capacidad entre proveedores y limita la tasa de los endpoints
• Registro de payloads: registra los payloads de solicitud y respuesta para auditoría
• Monitorización de uso y costes: rastrea el uso y el coste a través de tablas del sistema
• Gobernanza de servidores MCP: gobierna los servidores MCP a través de permisos de Unity Catalog^{13 14}

Openlayer es una plataforma de gobernanza y observabilidad de IA orientada a industrias reguladas. Sus capacidades incluyen:

• Pruebas previas al despliegue: pruebas estructuradas sobre alucinaciones, sesgos, toxicidad y robustez
• Observabilidad en tiempo real: monitorización y trazado para llamadas a LLM, pipelines de recuperación y agentes de múltiples pasos
• Barreras de seguridad: protección contra la inyección de prompts y la fuga de PII
• Soporte de cumplimiento: mapeo de cumplimiento automatizado con captura continua de evidencia e informes listos para auditoría, alineados con marcos como la Ley de IA de la UE e ISO/IEC 42001¹⁵

OpenTelemetry como estándar emergente

OpenTelemetry es un framework de código abierto e independiente del proveedor para recopilar trazas, métricas y registros de sistemas de software. Es importante para la observabilidad de LLM porque las aplicaciones de IA combinan muchas partes móviles como modelos, bases de datos vectoriales, herramientas y frameworks de agentes, y sin un estándar compartido cada componente emite datos en su propio formato, lo que dificulta la depuración de extremo a extremo y ata a los equipos al proveedor de monitorización para el que instrumentaron primero.

Las convenciones semánticas de GenAI de OpenTelemetry definen un esquema común para llamadas a modelos, uso de tokens, invocaciones de herramientas y flujos de trabajo de agentes, de modo que las trazas de diferentes bibliotecas puedan capturarse y analizarse de manera consistente.¹⁶

La mayoría de las principales plataformas de observabilidad de LLM, incluyendo Arize Phoenix, Langfuse y Honeycomb, ingieren datos de OpenTelemetry de forma nativa, lo que permite a los equipos instrumentar sus aplicaciones una vez y cambiar de backend más tarde sin reescribir su código de trazado.¹⁷

Observabilidad de flujos de trabajo multiagente

A medida que los LLM impulsan flujos de trabajo de agentes de múltiples pasos, los requisitos de observabilidad se expanden más allá de los pares individuales de solicitud-respuesta. Las aplicaciones agénticas introducen capas adicionales de complejidad que requieren enfoques de trazado dedicados.

Dimensiones clave de observabilidad para agentes:

• Trazas de planificación y razonamiento: Visibilidad sobre cómo el agente descompone tareas, selecciona acciones y refina su enfoque basándose en resultados intermedios
• Monitorización de llamadas a herramientas: Seguimiento de llamadas externas a API, consultas a bases de datos y ejecuciones de funciones para identificar cuellos de botella de latencia o fallos
• Trazado de transferencias: Para sistemas multiagente, monitorizar cómo se transfieren las tareas entre agentes y si el contexto se preserva correctamente
• Evolución del estado: Comprender cómo cambian la memoria y el contexto a lo largo de múltiples turnos dentro de una sesión

En conjunto, estas dimensiones forman la base de la monitorización agéntica. Las herramientas de observabilidad de LLM como Langsmith, Langfuse, AgentOps y Weights & Biases proporcionan vistas de trazado específicas para agentes que muestran gráficos de ejecución completos.

Más allá de estas herramientas de propósito general, algunos productos se centran específicamente en la fiabilidad de los agentes. Un ejemplo es Omium, que se posiciona como un producto de observabilidad y fiabilidad diseñado específicamente para agentes de IA en producción.¹⁸

Sus capacidades principales incluyen:

• Spans estructurados: Captura spans para cada llamada a LLM, uso de herramientas y decisión del agente
• Trazado multiagente: Une las llamadas entre agentes en una única traza unificada para diagnósticos en tiempo real
• Clasificación de fallos: Etiqueta automáticamente los fallos en categorías como alucinación, bucle infinito, error de herramienta y pérdida de contexto
• Recuperación por puntos de control: Realiza instantáneas del estado del agente en cada llamada a herramienta y respuesta de LLM, permitiendo que los flujos de trabajo se reanuden desde cualquier punto de control en lugar de reiniciar desde cero
• Soporte de frameworks: SDKs para TypeScript, Python y Go, con detección automática para LangChain, LangGraph, OpenAI y Anthropic

Preguntas frecuentes

Cita esta investigación

Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.

@misc{ermut2026,
  author = {Ermut, Sıla and Şipi, Nazlı},
  title  = {{LLM Herramientas de Observabilidad: Weights & Biases, Langsmith}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/llm-observability}},
  note   = {AIMultiple. Recuperado el 9 de Junio de 2026}
}

Enlaces de referencia

1.

ClickHouse raises $400M Series D led by Dragoneer to accelerate expansion across analytics and AI infrastructure | ClickHouse

ClickHouse

2.

Open-Source AI Observability Platform | Opik by Comet

3.

GitHub - comet-ml/opik: Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards. · GitHub

4.

What is Arize Phoenix? - Phoenix

Mintlify

5.

Monitor, troubleshoot, improve, and secure your LLM applications with Datadog Agent Observability | Datadog

Datadog

6.

Agent Observability | LLM Observability | Datadog

7.

IBM Instana Observability

8.

OpenObserve — Open Source Observability Platform

OpenObserve

9.

Observability for AI & LLMs | Honeycomb

Honeycomb

10.

New Relic Unveils Platform Innovations that Align Technical Performance to Business Outcomes, Making Observability a Value Driver | New Relic

New Relic

11.

Open Source Platform for AI Engineering | OpenLIT | OpenTelemetry-native GenAI and LLM Application Observability

OpenLIT

12.

GPU Performance Monitoring - OpenLIT

Mintlify

13.

AI governance with Unity AI Gateway | Databricks on Google Cloud

14.

Model Context Protocol (MCP) on Databricks | Databricks on AWS

15.

AI governance and observability platform | Openlayer

16.

Moved: Generative AI semantic conventions | OpenTelemetry

17.

LLM observability with ClickStack, OpenTelemetry, and MCP | ClickHouse

ClickHouse

18.

Omium — AI Agent Observability & Reliability for Production

Omium

Sıla Ermut

Analista de la industria

Síguenos

Sıla Ermut es una analista de la industria en AIMultiple centrada en el marketing por correo electrónico y los vídeos de ventas. Anteriormente trabajó como reclutadora en empresas de gestión de proyectos y consultoría. Sıla tiene un máster en Psicología Social y una licenciatura en Relaciones Internacionales.

Ver perfil completo

Investigado por

Nazlı Şipi

Investigadora de IA

Síguenos

Nazlı es analista de datos en AIMultiple. Tiene experiencia previa en análisis de datos en diversas industrias, donde trabajó en la transformación de conjuntos de datos complejos en información procesable.

Ver perfil completo

Sé el primero en comentar

Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.

Nombre

Dirección de correo electrónico

Comentario

0/450

Publicar comentario