15 Ferramentas de Observabilidade de Agentes de IA: AgentOps & Langfuse
Ferramentas de observabilidade de agentes de IA, como Langfuse e Arize, ajudam a coletar rastreamentos detalhados (um registro da execução de um programa ou transação) e fornecem dashboards para acompanhar métricas em tempo real.
Muitos frameworks de agentes, como LangChain, usam o padrão OpenTelemetry para compartilhar metadados com monitoramento agêntico. Além disso, muitas ferramentas de observabilidade fornecem instrumentação personalizada para maior flexibilidade.
Testamos 15 plataformas de observabilidade para aplicações de LLM e agentes de IA. Cada plataforma foi implementada na prática através da configuração de fluxos de trabalho, integração de configurações e execução de cenários de teste. Fizemos benchmark de 4 ferramentas de observabilidade para medir se elas introduzem overhead em pipelines de produção. Também demonstramos um LangChain tutorial de observabilidade usando Langfuse.
Benchmark de overhead de ferramentas de monitoramento agêntico
Integramos cada plataforma de observabilidade em nosso sistema de planejamento de viagens multi-agente e executamos 100 consultas idênticas para medir seu overhead de desempenho em comparação com uma linha de base sem instrumentação. Leia nossa metodologia de benchmark.
- LangSmith demonstrou eficiência excepcional com virtualmente nenhum overhead mensurável, tornando-o ideal para ambientes de produção críticos para desempenho.
- Laminar introduziu overhead mínimo de 5%, tornando-o altamente adequado para ambientes de produção onde o desempenho é crítico.
- AgentOps e Langfuse mostraram overhead moderado de 12% e 15% respectivamente, representando uma compensação razoável entre recursos de observabilidade e impacto no desempenho. Essas plataformas ainda mantêm latência aceitável para a maioria dos casos de uso de produção.
Possíveis razões por trás das diferenças de desempenho
Nosso benchmark indica que as diferenças de latência são impulsionadas pela profundidade da instrumentação e envolvimento do caminho de execução, particularmente em fluxos de trabalho multi-agente. Ferramentas que oferecem observabilidade mais profunda em nível de passo exibiram overhead mais alto, enquanto abordagens de rastreamento mais leves permaneceram mais próximas da linha de base.
1. Profundidade de instrumentação no caminho de execução
Ferramentas de observabilidade adicionam lógica ao fluxo de execução do agente para capturar rastreamentos e metadados. Quando essa lógica é executada sincronamente durante o processamento de solicitações, ela aumenta diretamente a latência de ponta a ponta porque o agente deve concluir esse trabalho extra antes de retornar uma resposta.
Por exemplo:
- LangSmith adicionou virtualmente nenhum overhead mensurável (~0%), indicando pouco trabalho síncrono,
- A instrumentação mais profunda em nível de passo do Langfuse contribuiu para um overhead mais alto (~15%).
2. Amplificação de eventos em pipelines multi-etapas
Em sistemas multi-agente, uma única solicitação do usuário dispara múltiplas ações do agente. Quando uma ferramenta registra dados detalhados em cada etapa, o número total de eventos cresce rapidamente, aumentando o processamento e o overhead de manipulação de rastreamentos à medida que o fluxo de trabalho se torna mais profundo.
Nos resultados do benchmark:
- Langfuse e AgentOps geraram overhead notavelmente mais alto (15% e 12%) em nosso fluxo de trabalho de planejamento de viagens multi-etapas
- LangSmith e Laminar emitiram menos eventos por etapa do agente.
3. Overhead de avaliação e validação em linha
Algumas plataformas realizam verificações ou monitoramento adicionais enquanto o agente está em execução. Embora cada verificação seja leve, aplicá-las repetidamente em todas as etapas do agente adiciona latência mensurável.
Por exemplo:
- O monitoramento em nível de ciclo de vida do AgentOps coincidiu com um overhead de 12%
- O Laminar não mostrou evidências de avaliação em linha afetando a execução, permanecendo em ~5%.
4. Serialização e frequência de persistência
Capturar dados detalhados de observabilidade requer serializar rastreamentos e escrevê-los em armazenamento ou backends externos. Maior detalhe de rastreamento aumenta a frequência com que isso acontece, adicionando overhead de I/O a cada solicitação.
Em nosso benchmark:
- O rastreamento detalhado de prompt, saída e token do Langfuse resultou no maior overhead (~15%)
- Os artefatos de rastreamento mais leves do LangSmith permaneceram próximos da linha de base.
5. Integridade da integração com o framework de agente
Quão intimamente uma ferramenta se integra ao framework de agente afeta o desempenho. Integrações mais próximas reduzem etapas de tradução e orquestração, enquanto SDKs mais genéricos adicionam camadas extras de processamento.
Por exemplo:
- A alinhamento próximo do LangSmith com a execução do agente correlacionou-se com ~0% de overhead
- AgentOps e Langfuse mostraram impacto de latência mais alto, consistente com caminhos de integração mais desacoplados.
Plataformas de observabilidade de agentes de IA
Nível 1: Observabilidade granular de LLM e prompt / saída
* As capacidades listadas nessas colunas são exemplos ilustrativos do que cada ferramenta pode monitorar quando estendida através de integrações ou personalização. Estas não são exclusivas de uma única plataforma.
Nível 2: Observabilidade de fluxo de trabalho, modelo e avaliação
Nível 3: Observabilidade de operações e ciclo de vida do agente
Nível 4: Monitoramento de sistema e infraestrutura (não nativo de agente)
Datadog (com seu módulo de Observabilidade de LLM) e Prometheus (via exportadores) são cada vez mais usados juntamente com Langfuse/LangSmith.
Plataformas de desenvolvimento e orquestração de agentes:
- Ferramentas como Flowise, Langflow, SuperAGI e CrewAI permitem construir, orquestrar e otimizar fluxos de trabalho de agentes com interfaces no-code/low-code
Edições gratuitas de implantação e preços
As edições gratuitas variam por limites de uso (ex., observações, rastreamentos, tokens ou unidades de trabalho). Os preços iniciais são tipicamente para um plano básico, que pode ter restrições em recursos, usuários ou limites de uso.
Weights & Biases (W&B Weave)
Caso de uso: Depurar falhas em sistemas multi-agente rastreando como os erros se propagam através das chamadas do agente.
Figura 1: Dashboard de rastreamentos do Weave da Weights & Biases.
O Weave da Weights & Biases registra rastreamentos de execução estruturados para sistemas multi-agente, preservando relacionamentos pai-filho entre chamadas de agente. Entradas, saídas, estados intermediários, latência e uso de token são capturados por agente e por rastreamento.
Recursos de monitoramento do Weave
- Rastreamento hierárquico de agente em vez de logs de solicitação planos
- Atribuição de custo e latência no nível do agente
- Suporte nativo para classificadores de avaliação aplicados diretamente aos rastreamentos.
Capacidades de avaliação
O Weave também fornece classificadores integrados para avaliação, incluindo:
- HallucinationFreeScorer para detectar alucinações,
- SummarizationScorer para avaliar a qualidade do resumo,
- EmbeddingSimilarityScorer para similaridade semântica,
- ValidJSONScorer e ValidXMLScorer para validação de formato,
- PydanticScorer para conformidade de esquema,
- OpenAIModerationScorer para segurança de conteúdo,
- Classificadores RAGAS como ContextEntityRecallScorer,
- ContextRelevancyScorer para avaliação de sistema RAG.
Mais adequado para: Equipes executando fluxos de trabalho multi-etapas ou multi-agente que precisam de análise de causa raí em nível de rastreamento em vez de métricas superficiais.
Langfuse
Casos de uso: Rastrear interações de LLM, gerenciar versões de prompt e monitorar desempenho do modelo com sessões de usuário.
Figura 2: Exemplo de dashboard do Langfuse mostrando detalhes de rastreamento.1
O Langfuse oferece visibilidade profunda na camada de prompt, capturando prompts, respostas, custos e rastreamentos de execução para ajudar a depurar, monitorar e otimizar aplicações de LLM.
No entanto, o Langfuse pode não ser adequado para equipes que preferem fluxos de trabalho baseados em Git para gerenciamento de código e prompt, pois seu sistema externo de gerenciamento de prompt pode não oferecer o mesmo nível de controle de versão e colaboração.
Recursos de monitoramento do Langfuse
- Visibilidade na evolução do prompt e padrões de uso
- Análise baseada em sessão adequada para aplicações voltadas ao usuário
- Modelo prático de metadados e tagging para filtragem e revisão
Recursos de nível empresarial:
Alguns desses recursos incluem:
- Níveis de log: Ajuste a verbosidade dos logs para insights mais granulares.
- Multi-modalidade: Suporta texto, imagens, áudio e outros formatos para aplicações de LLM multi-modais.
- Lançamentos e versionamento: Acompanhe o histórico de versões e veja como novos lançamentos afetam o desempenho do modelo.
- URLs de rastreamento: Acesse rastreamentos detalhados via URLs exclusivas para inspeção e depuração adicionais.
- Gráficos de agente: Visualize interações e dependências de agente para melhor compreensão do comportamento do agente.
- Amostragem: Colete dados representativos das interações para analisar sem sobrecarregar o sistema.
- Rastreamento de token e custo: Acompanhe o uso de token e custos para cada chamada de modelo, garantindo gerenciamento eficiente de recursos.
- Mascaramento: Proteja dados sensíveis mascarando-os em rastreamentos, garantindo privacidade e conformidade.
Mais adequado para: Equipes iterando em prompts e monitorando uso em produção, especialmente onde sessões de usuário importam.
Galileo
Casos de uso: Monitorar custo/latência, avaliar qualidade de saída, bloquear respostas inseguras e fornecer correções acionáveis.
Figura 3: Gráficos mostrando qualidade de seleção de ferramenta, adesão ao contexto, compilação de ação do agente e tempo até o primeiro token.
O Galileo rastreia custo, latência e métricas de qualidade de saída enquanto aplica verificações de segurança e conformidade em tempo real.
A plataforma combina observabilidade tradicional (latência, custo, desempenho) com depuração e avaliação impulsionadas por IA (detecção de alucinação, correção factual, coerência, adesão ao contexto).
Recursos de monitoramento do Galileo
- Identificação de modo de falha além de erros superficiais (ex., alucinações levando a entradas de ferramenta inválidas)
- Feedback prescritivo como sugestões de mudanças de prompt ou adições few-shot
- Acoplamento próximo entre resultados de avaliação e correções recomendadas.
Mais adequado para: Organizações priorizando qualidade de saída, segurança e ciclos de iteração rápidos com remediação guiada.
Guardrails AI
Casos de uso: Prevenir saídas prejudiciais, validar respostas de LLM e garantir conformidade com políticas de segurança
Figura 4: Dashboard de comportamento de guarda mostrando as diferenças na duração da execução do guarda e falhas do guarda.
O Guardrails valida entradas e saídas de LLM contra regras configuráveis, incluindo toxicidade, viés, exposição de PII, sinalização de alucinações e conformidade de formato.
Recursos de monitoramento do Guardrails AI
- Validação determinística via especificações RAIL
- Guardas de entrada para detecção de injeção de prompt e jailbreak
- Retentativas automáticas quando a validação falha.
Mais adequado para
Equipes que devem impor garantias estritas de segurança, conformidade ou formatação antes que as respostas sejam retornadas.
LangSmith
Casos de uso: Depuração de raciocínio do agente e chamada de ferramenta (centrado em LangChain)
Figura 5: Dashboard do LangSmith mostrando rastreamentos, incluindo seus nomes, entradas, horários de início e latências.
O LangSmith captura rastreamentos completos de raciocínio para agentes baseados em LangChain, incluindo prompts, contexto recuperado, lógica de seleção de ferramenta, entradas/saídas de ferramenta, erros e exceções.
Recursos de monitoramento do LangSmith
- Inspeção passo a passo dos caminhos de decisão do agente
- Reprodução de execução e comparação lado a lado entre prompts, modelos ou ferramentas
- Integração próxima com LangChain via callbacks.
Mais adequado para
Equipes construindo com LangChain que precisam depurar raciocínio incorreto ou invocação de ferramenta em detalhes.
Langtrace AI
Casos de uso: Identificar gargalos de custo e latência em aplicações de LLM
Figura 6: Dashboard de rastreamento do Langtrace AI.
O Langtrace rastreia contagens de token, duração de execução, custos de API e parâmetros de solicitação em pipelines de LLM usando rastreamentos compatíveis com OpenTelemetry.
Recursos de monitoramento do Langtrace AI
- Alinhamento com OpenTelemetry para integração com backends existentes
- Visibilidade nos drivers de custo e latência por etapa
- Versionamento de prompt leve e playground de teste.
Mais adequado para: Equipes otimizando desempenho e gastos em fluxos de trabalho de LLM em vez de avaliar qualidade de saída.
Arize (Phoenix)
Casos de uso: Monitorar desvio de modelo, detectar viés e avaliar saídas de LLM com sistemas de pontuação abrangentes
Figura 7: Dashboard de monitor de desvio do Arize Phoenix.
O Phoenix foca em desvio comportamental, detecção de viés e pontuação de LLM-como-juiz para relevância, toxicidade e precisão.
No entanto, ele tem overhead de integração mais alto comparado a proxies leves e não gerencia versionamento de prompt tão limpa quanto ferramentas dedicadas.
Recursos de monitoramento do Phoenix
- Core open-source com extensões empresariais opcionais
- Playground de prompt interativo para desenvolvimento
- Detecção de desvio para rastrear mudanças comportamentais ao longo do tempo
- Verificações de viés para identificar vieses de resposta,
- Pontuação de LLM-como-juiz para precisão, toxicidade e relevância.
Mais adequado para: Equipes monitorando comportamento de modelo a longo prazo e risco de regressão em vez de iteração de prompt.
Agenta
Casos de uso: Descobrir qual prompt funciona melhor em qual modelo
Figura 8: Imagem mostrando várias alternativas de prompt do Agenta.
O Agenta compara respostas de modelo entre custo, latência e qualidade de saída usando entradas compartilhadas e contexto controlado.
Figura 9: Exemplo de saída do Agenta.
Recursos de monitoramento do Agenta
- Avaliação de modelo lado a lado
- Suporte à decisão pré-produção.
Mais adequado para: Avaliação inicial e seleção de modelo.
AgentOps.ai
Casos de uso: Monitorar raciocínio do agente, rastrear custos e depurar sessões em produção
Figura 10: Exemplo de dashboard de reprodução de sessão do AgentOps.ai.
O AgentOps captura rastreamentos de raciocínio, chamadas de ferramenta/API, estado de sessão, comportamento de cache e métricas de custo para agentes implantados.
Recursos de monitoramento do AgentOps
- Reprodução de sessão para depuração em produção
- Foco no comportamento do agente ao vivo em vez de avaliação offline.
Mais adequado para: Equipes executando agentes em produção que precisam de visibilidade operacional.
Braintrust
Casos de uso: Descobrir qual prompt, dataset ou modelo performa melhor com avaliação detalhada e análise de erro
Figura 11: Dashboard de agente de suporte ao cliente do Braintrust.
O Braintrust avalia prompts, datasets e modelos contra saídas esperadas, rastreando latência, custo, erros de ferramenta e métricas de execução.
Recursos de monitoramento do Braintrust
- Avalie datasets de teste com entradas e saídas esperadas, depois compare prompts ou modelos lado a lado usando variáveis como
{{input}},{{expected}}e{{metadata}}. - Detalhamento de métricas incluindo qualidade de execução de ferramenta
Mais adequado para: Equipes fazendo benchmark de modelos e prompts antes do lançamento.
Adicionar como fonte preferencialAgentNeo
Casos de uso: Depurar interações multi-agente, rastrear uso de ferramenta e avaliar fluxos de trabalho de coordenação
O AgentNeo rastreia comunicação de agente, uso de ferramenta, gráficos de execução e custo e latência por agente via SDK Python.
Recursos de monitoramento do AgentNeo
- Open-source e executável localmente
- Dashboard local interativo (
localhost:3000) para monitoramento em tempo real de fluxos de trabalho multi-agente. - Integração usando decoradores (ex.,
@tracer.trace_agent,@tracer.trace_tool)
Mais adequado para: Equipes de engenharia experimentando com sistemas multi-agente.
Laminar
Caso de uso: Rastrear desempenho entre diferentes frameworks e modelos de LLM.
Figura 12: Exemplo de dashboard de rastreamentos do Laminar.
O Laminar rastreia spans de execução, custos, uso de token e percentis de latência entre frameworks e modelos de LLM.
Recursos de monitoramento do Laminar
- Análise de desempenho agnóstica de framework
- Inspeção de span granular.
Mais adequado para: Análise de desempenho comparativa entre stacks heterogêneas.
Helicone
Casos de uso: Rastrear fluxos de trabalho de agente multi-etapas e analisar padrões de sessão de usuário.
Figura 12: Imagem mostrando 3 meses de mudanças em solicitações, custos, erros e latência.
O Helicone captura volumes de solicitação, custos, erros, tendências de latência e fluxos de trabalho de agente em nível de sessão.
Recursos de monitoramento do Helicone
- Visibilidade da jornada do usuário
- Análise de tendência histórica.
Mais adequado para: Equipes de produto monitorando padrões de uso e comportamento em nível de usuário.
Coval
Casos de uso: Simular milhares de conversas de agente, testar interações de voz/chat e validar comportamento antes da implantação.
Figura 13: Dashboard de avaliação do Coval mostrando as porcentagens de objetivos alcançados, identidade verificada, repetição correta, clareza do agente e informação incorreta.
O Coval simula milhares de conversas para medir conclusão de tarefa, correção e eficácia de chamada de ferramenta.
Recursos de monitoramento do Coval
- Teste de agente baseado em simulação
- Detecção automática de regressão
- Suporte a agente de voz e texto.
Mais adequado para: Validação pré-implantação e detecção de regressão.
Datadog
Casos de uso: Observabilidade de infraestrutura e aplicação com correlação de sinal de LLM.
O Datadog coleta métricas de infraestrutura (CPU, memória, rede), dados de desempenho de aplicação (latência, taxas de erro, throughput) e logs. Para aplicações de LLM, pode ingerir uso de token, custo por solicitação, latência de modelo e sinais relacionados à segurança como tentativas de injeção de prompt.
Recursos de monitoramento do Datadog
- Observabilidade ampla e em todo o sistema através de infraestrutura, aplicações e cargas de trabalho de IA
- Grande ecossistema de integrações (900+ integrações) permitindo correlação entre comportamento de IA e saúde da infraestrutura
Mais adequado para: Organizações que querem correlacionar comportamento de LLM com infraestrutura subjacente e desempenho de aplicação em vez de inspecionar raciocínio do agente ou prompt
Prometheus
Casos de uso: Monitorar desempenho do sistema, rastrear métricas de aplicação e configurar alertas para problemas de infraestrutura.
O Prometheus é um sistema de monitoramento open-source que coleta métricas de séries temporais de endpoints HTTP em intervalos regulares para rastrear infraestrutura, aplicação, banco de dados, contêiner e métricas de negócios personalizadas.
Recursos de monitoramento do Prometheus
- Coleção de métricas de séries temporais via raspagem baseada em pull
- PromQL para consulta, agregação e condições de alerta
- Ecossistema de exportadores (ex., Node Exporter) para ampla cobertura de sistema
Mais adequado para: Monitoramento de infraestrutura e aplicação com alertas baseados em regras.
Grafana
Casos de uso: Visualizar métricas, construir dashboards e rotear alertas entre dados de LLM, agente e infraestrutura.
Figura 14: Dashboard de rastreamentos mostrando a mudança na taxa de solicitação, tokens de uso total, custo médio de uso e custo total de uso.
O Grafana é uma plataforma de visualização e análise open-source que se integra com fontes de dados como Prometheus, OpenTelemetry e Datadog para fornecer dashboards unificados de observabilidade.
Recursos de monitoramento do Grafana
- Dashboards entre métricas, logs e rastreamentos
- Correlação entre sistemas para sinais de LLM, agente e infraestrutura
- Roteamento de alerta e gerenciamento de notificação.
Mais adequado para: Visualização centralizada de observabilidade e resposta a incidentes.
Tutorial: Observabilidade do LangChain com Langfuse
Construímos um pipeline LangChain multi-etapas com três estágios:
- análise de pergunta
- geração de resposta
- verificação de resposta
Após configurar o pipeline, conectamos ao Langfuse para monitorar e rastrear a execução em tempo real. Ao fazer isso, fomos capazes de explorar como o Langfuse nos ajuda a coletar insights detalhados sobre desempenho, custos e comportamento de aplicações de IA.
Aqui está o que observamos através do Langfuse:
Visão geral do dashboard
Figura 15: Dashboards de custo, gerenciamento de uso e latência do Langfuse.
O Langfuse nos forneceu vários dashboards que nos dão visibilidade em diferentes aspectos do desempenho do pipeline:
- Dashboard de Custo: Isso rastreia os gastos em todas as chamadas de API, com detalhamentos detalhados por modelo e período de tempo.
- Gerenciamento de Uso: Monitora métricas de execução, como contagens de observação e alocação de recursos, ajudando-nos a rastrear como os recursos são usados durante a execução.
- Dashboard de Latência: Este dashboard nos ajudou a analisar tempos de resposta, detectar gargalos e visualizar tendências de desempenho.
Métricas de uso
Figura 16: Imagem mostrando métricas de uso do Langfuse, incluindo contagem total de rastreamentos, contagem total de observações e contagem total de pontuações (numéricas e categóricas).
O dashboard de métricas de uso nos deu os seguintes insights sobre como o sistema performou:
- Contagem total de rastreamentos: Rastreamos oito rastreamentos, cada um representando um ciclo completo de pergunta-resposta no pipeline.
- Contagem total de observações: Em média, cada rastreamento teve 16 observações, refletindo a natureza multi-etapas do processo.
Além disso, o Langfuse nos permite rastrear padrões de uso, alocação de recursos e horários de pico nos últimos 7 dias, ajudando-nos a entender quando o sistema está mais ativo e como os recursos são distribuídos ao longo do tempo.
Inspeção de rastreamento
Figura 17: Dashboard de rastreamentos do Langfuse mostrando entrada, saída, níveis de observabilidade, latência e tokens.
Ao entrar em um rastreamento individual, fomos capazes de ver informações detalhadas de execução:
- Linhas de rastreamento: Cada linha representa uma execução completa do pipeline com um ID de rastreamento exclusivo.
- Métricas de latência: O tempo de execução variou, indo de 0,00s a 34,08s.
- Contagens de token: O dashboard rastreou uso de token de entrada/saída, o que ajuda no gerenciamento de custo e eficiência.
- Filtragem de ambiente: Podíamos filtrar rastreamentos com base em ambientes de implantação (ex., desenvolvimento, produção).
Detalhes de rastreamento individual
Figura 18: Arquitetura de cadeia sequencial do Langfuse.
Exploramos ainda o rastreamento com mais detalhes para entender a divisão de execução:
- Arquitetura de cadeia sequencial: O rastreamento exibiu um fluxo visual mostrando cada etapa, começando de SequentialChain → LLMChain → ChatOpenAI, com estrutura hierárquica.
- Rastreamento de entrada/saída: A pergunta original, "Quais são os benefícios de usar Langfuse para observabilidade de agente de IA?" foi rastreada em cada estágio, juntamente com as respectivas saídas produzidas pela IA em cada etapa.
- Análise de token: Observamos que 1.203 tokens foram usados para entrada e 1.516 tokens para saída, o que tem implicações de custo relacionadas ao uso de token e ajuda a otimizar o gerenciamento de recursos.
- Dados de tempo: A latência total para o rastreamento completo foi de 34,08s, dividida entre cada componente:
- SequentialChain → 14,02s
- LLMChain → 10,25s
- ChatOpenAI → 9,81s
- Informações do modelo: O Langfuse confirmou o uso do modelo Anthropic Claude-Sonnet-4, com detalhes nas configurações específicas, incluindo configuração de temperatura.
- Saída formatada: Tanto as visualizações Preview quanto JSON foram fornecidas para depuração, dando insights na resposta do modelo em forma legível por humanos e formato legível por máquina.
Análise automatizada
Figura 19: Exemplo de avaliações automatizadas do Langfuse.
O Langfuse também forneceu avaliações automatizadas de nossas respostas:
- Avaliação de qualidade: O sistema avaliou a estrutura, coerência e completude das respostas, destacando seções bem organizadas mas sugerindo que as respostas poderiam ser mais concisas.
- Sugestões de melhoria: Identificou seções com redundância, sugerindo onde a formulação poderia ser melhorada, e combinou pontos relacionados para tornar a resposta mais transparente e eficiente.
- Insights de desempenho: O sistema deu feedback sobre uso de token e relevância de resposta, ajudando-nos a otimizar eficiência enquanto garantimos que a saída permaneça útil e no tópico.
- Feedback estruturado: O feedback foi organizado em categorias, permitindo-nos abordar áreas específicas de melhoria de maneira direcionada.
Análise de usuário
Figura 20: A imagem mostra atividade de usuário anonimizada, mostrando a primeira e última interação de cada usuário, volumes de eventos, consumo de token e custos associados para ajudar a analisar engajamento, uso de recursos e alocação de orçamento.
O Langfuse rastreia interações detalhadas entre usuários e o agente de IA:
- Timeline de atividade do usuário: Exibe a primeira e última interação para cada usuário, ajudando a identificar usuários ativos versus dormentes. Podemos ver quando os usuários interagiram com o sistema pela primeira e última vez.
- Rastreamento de volume de eventos: Rastreia o número de eventos que cada usuário acionou. Por exemplo, alguns usuários geraram mais de 2.000 eventos, mostrando seu nível de engajamento com o sistema.
- Análise de consumo de token: Monitora o número total de tokens consumidos por cada usuário. O uso de token variou de 6,59K a 357K tokens, fornecendo insights sobre uso de recursos.
- Atribuição de custo: Detalha os custos associados a cada usuário, facilitando o rastreamento de gastos e otimização da alocação de orçamento para uso de recursos.
- Identificação de usuário: Usa IDs de usuário anonimizados para manter a privacidade enquanto rastreia interações individuais de usuário, ajudando na análise de uso sem comprometer a confidencialidade do usuário.
Figura 21: Um exemplo da visão de sessão, mostrando todo o fluxo de conversa ao lado do código Python executado, correlacionando entradas do usuário com saídas do sistema e exibindo metadados de sessão para dar uma imagem completa de como a interação foi processada.
A visão de sessão nos permite rastrear detalhes granulares de interações de usuário:
- Fluxo de conversa completo: Mostra a interação completa de pergunta-resposta, facilitando o acompanhamento de toda a conversa do início ao fim.
- Visibilidade de implementação: Exibe o código Python real usado durante a sessão, fornecendo insights na implementação técnica.
- Correlação de entrada/saída: Liga perguntas do usuário às respostas correspondentes do sistema, ajudando-nos a solucionar problemas e identificar onde problemas podem ter ocorrido na conversa.
- Metadados de sessão: Inclui detalhes técnicos como tempo, contexto do usuário e dados de implementação específicos, oferecendo uma visão abrangente da execução da sessão.
Quando não usar ferramentas de observabilidade
- Desenvolvimento inicial: Se você ainda está validando product-market fit ou construindo seus primeiros fluxos de trabalho de agente, o foco deve estar na funcionalidade principal em vez de observabilidade extensa.
- Gargalos de API: Se seus problemas principais são custos de API, latência ou cache, a prioridade imediata deve ser otimizar essas áreas, não rastrear métricas em nível de sistema.
- Otimização de modelo: Se melhorias são principalmente impulsionadas por seleção de modelo, fine-tuning ou engenharia de prompt, ferramentas de observabilidade para desvio e viés podem não ser necessárias ainda.
Quando usar ferramentas de observabilidade
- Produção em escala: Quando você está operando entre múltiplos modelos, agentes ou cadeias, ferramentas de observabilidade são essenciais para monitorar desempenho e garantir saúde do sistema.
- Aplicações empresariais ou voltadas ao cliente: Para aplicações onde confiabilidade, segurança e conformidade são não negociáveis, ferramentas de observabilidade fornecem a visibilidade e controle necessários.
- Monitoramento contínuo: Quando você precisa monitorar desvio, viés, desempenho e problemas de segurança ao longo do tempo, o que não pode ser facilmente capturado com scripts básicos ou verificações manuais, ferramentas de observabilidade são cruciais.
- Cenários de alto risco: Em ambientes onde o custo de falha (ex., alucinações, saídas inseguras) é significativo, a observabilidade garante que riscos sejam minimizados e problemas sejam detectados cedo.
Metodologia de benchmark
Para avaliar o overhead de desempenho de plataformas de observabilidade em aplicações de LLM de produção, desenvolvemos uma abordagem sistemática de benchmarking usando um fluxo de trabalho agêntico do mundo real.
Aplicação de teste
Construímos um sistema de planejamento de viagens multi-agente sequencial usando LangChain que processa solicitações de viagem em linguagem natural através de cinco estágios:
- Agente parser: Extrai dados estruturados (origem, destino, datas, duração) da entrada do usuário
- Agente de busca de voos: Recupera voos disponíveis via Amadeus API
- Agente de relatório de clima: Busca previsões de clima de destino usando WeatherAPI
- Agente recomendador de atividades: Sugere atividades com base nas condições climáticas
- Agente planejador de viagens: Sintetiza todas as saídas em um itinerário abrangente
O sistema usa Claude 4 Haiku via OpenRouter para todas as chamadas de LLM e integra APIs externas para dados em tempo real.
Design de benchmark
Estabelecimento de linha de base: Primeiro medimos o desempenho da aplicação sem qualquer instrumentação de observabilidade, executando 100 consultas idênticas para estabelecer uma linha de base para comparação.
Integração de plataforma: Em seguida, integramos cinco plataformas líderes de observabilidade (LangSmith, Laminar, AgentOps, Langfuse) uma de cada vez, instrumentando os mesmos pontos de rastreamento em todas as plataformas para consistência.
Execução sequencial: Cada plataforma foi testada independentemente executando todas as 100 consultas consecutivamente antes de passar para a próxima plataforma. Essa abordagem minimiza variabilidade de fatores externos como condições de rede ou limites de taxa de API.
Ambiente Controlado: Todos os testes foram executados na mesma infraestrutura de servidor com conjuntos de consultas idênticos para garantir comparação justa. Para isolar overhead de variações de latência induzidas por LLM, configuramos o modelo com temperature=0 e prompts estruturados para minimizar variabilidade de resposta entre execuções.
Métricas coletadas
Para cada plataforma, medimos latência média e calculamos overhead como a latência adicional introduzida em comparação com a linha de base: ((Platform Latency - Base Latency) / Base Latency) × 100
Perguntas frequentes
Observabilidade é a capacidade de entender o funcionamento interno de um agente de IA examinando sinais externos como logs, métricas e rastreamentos.
Para agentes de IA, isso envolve monitorar ações, uso de ferramenta, interações de modelo e respostas para solucionar problemas e melhorar o desempenho.
A observabilidade de agente é crucial para rastrear e melhorar o desempenho de IA permitindo:
Compreender compensações: Ajuda a medir métricas-chave como precisão e custo, tornando mais fácil equilibrar desempenho e uso de recursos.
Medir latência: O rastreamento de latência em tempo real oferece insights sobre tempos de resposta, ajudando a otimizar o desempenho do agente.
Detectar entradas maliciosas: A observabilidade ajuda a identificar linguagem prejudicial e injeções de prompt, permitindo intervenção rápida para prevenir problemas.
Monitorar feedback do usuário: Ao observar interações e feedback do usuário, a observabilidade fornece dados valiosos para melhoria contínua e fine-tuning de agentes.
Componentes-chave incluem:
– Rastrear ações: Monitorar cada etapa tomada pelo agente.
– Uso de ferramenta: Observar as ferramentas e recursos que o agente usa.
– Medição de latência: Monitorar tempos de resposta para otimizar desempenho.
– Avaliações: Avaliar comportamento do agente e desempenho do modelo.
– Deteção de entrada maliciosa: Identificar prompts ou ataques prejudiciais.
Cite esta pesquisa
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{15 Ferramentas de Observabilidade de Agentes de IA: AgentOps & Langfuse}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/agentic-monitoring}},
note = {AIMultiple. Acessado em 2 Julho 2026}
}
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.