Comparamos quatro frameworks de agentes principais usando um fluxo de trabalho idêntico de planejamento de viagens com cinco agentes e configurações LLM consistentes. Cada framework foi executado 100 vezes e medimos a latência do pipeline, o uso de tokens, as transições entre agentes e a diferença de execução entre o agente e a ferramenta para isolar a sobrecarga real de orquestração.
Análise comparativa de orquestração agética
Todas as estruturas concluíram a tarefa com sucesso em 100 execuções cada. No entanto, o LangGraph terminou 2,2 vezes mais rápido que o CrewAI, enquanto o LangChain e o AutoGen apresentaram diferenças de 8 a 9 vezes na eficiência de tokens. Isso reflete decisões arquitetônicas fundamentais sobre como cada estrutura orquestra fluxos de trabalho multiagentes a partir da camada de orquestração, como as estruturas roteiam mensagens, gerenciam o estado e coordenam as transições entre agentes.
Para entender o porquê, medimos cada fase do ciclo de vida do agente.
Desempenho dos agentes
Agente de análise sintática: O agente realiza extração de texto simples com complexidade mínima. Todas as estruturas apresentam latência semelhante.
Agente de busca de voos : Podemos observar diferenças significativas na latência e no uso de tokens. Este agente utiliza a ferramenta de API de voos e notamos uma lacuna considerável entre o momento em que o agente inicia e o momento em que efetivamente acessa a ferramenta. Analisaremos essa lacuna em detalhes mais adiante, onde veremos que 5 segundos dos 9 segundos de latência do CrewAI são provenientes dessa lacuna.
Agente de previsão do tempo: Observamos que o mesmo padrão de classificação se repete tanto para latência quanto para uso de tokens, assim como observado no agente de busca de voos.
O LangChain gera significativamente mais tokens e apresenta maior latência em comparação com outras estruturas, exceto o CrewAI, cuja sobrecarga decorre principalmente da lacuna entre o agente e a ferramenta. Isso se deve à abordagem de gerenciamento de memória do LangChain, que mantém etapas intermediárias e o histórico completo da conversa, criando sobrecarga em fluxos de trabalho multiagentes.
O LangGraph surge como o framework mais rápido com o menor número de tokens. Sua arquitetura baseada em grafos transmite apenas as diferenças de estado necessárias entre os nós, em vez de históricos de conversação completos, resultando em um número mínimo de tokens.
utilização e latência reduzida.
Agente de Atividade: A maioria das estruturas demonstra desempenho relativamente próximo. Sem chamadas de ferramentas, todas as estruturas convergem para faixas semelhantes (6 a 8 segundos para latência, 650 a 744 para tokens), sugerindo que
A variação se dá principalmente no tempo de geração do LLM, com sobrecarga mínima de orquestração. No entanto, a verdadeira diferença de desempenho surge no agente de Planejamento de Viagens.
Agente de planejamento de viagens : O agente recebe e sintetiza as saídas de todos os quatro agentes anteriores (analisador sintático, buscador de voos, previsão do tempo e recomendação de atividades) em cada estrutura. No entanto, como cada estrutura
A forma como lida com essa agregação de contexto revela diferenças arquitetônicas fundamentais.
O CrewAI passa a saída completa e não modificada de cada tarefa anterior diretamente para o contexto do planejador por meio de seu sistema de parâmetros de contexto. O LLM recebe os tokens completos das saídas anteriores do agente, além da tarefa.
descrição em si. Essa abordagem não é uma limitação, mas sim uma filosofia central de design: a CrewAI prioriza a síntese abrangente e contextualizada, onde os agentes têm visibilidade completa do trabalho anterior.
O resultado é um itinerário detalhado de 5.339 tokens que integra de forma completa todas as informações disponíveis.
LangChain, AutoGen e LangGraph lidam com o contexto de maneiras diferentes. Embora as três estruturas passem as saídas anteriores dos agentes para o planejador, elas implementam diversas estratégias de otimização que reduzem a sobrecarga cumulativa de contexto. O gerenciamento de memória do LangChain pode comprimir ou resumir saídas intermediárias, e a estrutura pode não preservar toda a verbosidade da resposta de cada agente ao encadeá-las. Isso resulta em uma saída de 3.187 tokens mais concisa do que a do CrewAI, mas ainda substancial.
O AutoGen apresenta comportamento semelhante com 3.316 tokens, sugerindo abordagens comparáveis de tratamento de contexto entre essas duas estruturas. O gerenciamento de estado baseado em grafos do LangGraph passa apenas o estado necessário.
diferenças entre os nós, resultando na saída mais eficiente de 2.589 tokens por meio de suas transições de estado otimizadas.
lacuna entre agente e ferramenta
A lacuna entre agente e ferramenta é o tempo decorrido entre o momento em que um agente recebe sua tarefa e o momento em que ele efetivamente invoca a ferramenta.
A diferença de 5 segundos no Localizador de Voos da CrewAI representa o tempo real de deliberação, enquanto outras estruturas mostram chamadas de ferramentas quase instantâneas.
A arquitetura da CrewAI incorpora uma filosofia de agente autônomo. Quando o agente Flight Finder recebe sua tarefa, ele não executa imediatamente a ferramenta get_flights. Em vez disso, ele segue um processo de raciocínio:
- Compreendendo a tarefa: O agente analisa quais informações precisa para atingir o objetivo.
- Avaliação de opções: Considera as ferramentas disponíveis e determina qual é a mais adequada.
- Planejamento da abordagem: O agente decide os parâmetros e a estratégia de execução.
- Agindo: Finalmente, a ferramenta é acionada com os parâmetros definidos. Essa pausa de 5 segundos representa o CrewAI literalmente "pensando" antes de agir, uma escolha de design que prioriza a qualidade da decisão e o raciocínio autônomo em detrimento da velocidade bruta. O agente não recebe a instrução "use esta ferramenta específica"; ele determina de forma independente o melhor curso de ação.
O CrewAI não oferece uma opção para desativar a deliberação e alternar para a chamada direta de ferramentas.
Em contraste, os frameworks LangGraph, LangChain e Autogen utilizam abordagens de execução direta de ferramentas, alcançando intervalos de execução inferiores a um milissegundo.
LangChain e LangGraph suportam agentes no estilo ReAct, que exibem raciocínio no padrão “pensamento → ação → observação”. No entanto, o componente “Pensamento” no ReAct é puramente baseado em instruções textuais. Por exemplo, o LLM pode gerar “Pensamento: Eu deveria…”. Isso introduz alguma geração extra de tokens, mas não cria um ciclo de deliberação separado como a lacuna de 5 segundos do CrewAI. Essas etapas de “pensamento” são geradas dentro da mesma chamada do LLM, como parte de um único processo de geração.
sobrecarga de orquestração de agente para agente
Medimos a latência entre agentes calculando o tempo médio entre a conclusão de um agente e o início do próximo em 100 execuções, mas as diferenças foram mínimas, na ordem de milissegundos. Isso revela que a arquitetura da estrutura é o fator mais importante para os padrões de execução das ferramentas e o gerenciamento de contexto, e não para a transferência de agentes. As diferenças de desempenho entre as estruturas decorrem da deliberação das ferramentas e da síntese de contexto, e não do tempo gasto na troca entre agentes.
O que é orquestração agentiva?
A orquestração agética coordena agentes de IA autônomos dentro de um sistema unificado para concluir tarefas complexas e estruturadas em múltiplos sistemas e domínios.
A orquestração múltipla permite que vários agentes colaborem como uma equipe virtual, onde cada agente desempenha uma função específica: alguns coletam dados, outros os analisam e alguns executam decisões. A camada de orquestração garante que esses agentes se comuniquem, planejem tarefas e trabalhem juntos.
Ao contrário dos scripts de automação estáticos, a orquestração agentiva utiliza IA generativa e modelos de IA para se adaptar ao contexto, minimizar a necessidade de intervenção humana e permitir uma execução perfeita em diversos sistemas.
Orquestração agentiva versus orquestração LLM
Os termos são por vezes usados de forma intercambiável porque ambos envolvem a coordenação de sistemas de IA, mas diferem no foco:
- A orquestração do LLM é centrada no modelo, otimizando as interações e os fluxos de trabalho entre múltiplos modelos de linguagem.
- A orquestração agética coordena agentes autônomos para resolver tarefas de várias etapas em diversos sistemas, com mínima intervenção humana.
Princípios fundamentais
- Autonomia: Os agentes podem agir de forma independente dentro de suas funções definidas, com o suporte de chamadas de funções para sistemas externos.
- Colaboração: Vários agentes de IA comunicam-se para resolver problemas complexos, distribuir múltiplas tarefas e alcançar a automação de ponta a ponta.
- Alinhamento: Os sistemas mantêm objetivos consistentes e garantem a conformidade com os requisitos organizacionais e regulamentares em setores altamente regulamentados.
- Observabilidade: Registros, ferramentas de monitoramento e avaliações permitem o monitoramento contínuo e a otimização contínua.
- Supervisão humana: As abordagens com intervenção humana combinam a automação com a contribuição humana em contextos de alto risco ou ambíguos.
Padrões de orquestração
A orquestração de agentes pode ser categorizada em diversos padrões com base em como os agentes são coordenados dentro de um sistema. Esses padrões determinam o fluxo de tarefas, a comunicação entre os agentes e a arquitetura geral do sistema.
Orquestração centralizada
Nesse modelo, um único agente de gerenciamento ou roteamento é responsável por atribuir tarefas, controlar o fluxo de trabalho e garantir que os objetivos sejam atingidos. O gerenciador atua como um ponto central, direcionando tarefas para agentes especializados com base em regras predefinidas ou em um plano dinâmico.
Os padrões específicos dentro desta categoria incluem:
- Orquestração sequencial: um fluxo de trabalho linear onde um gestor direciona tarefas através de uma sequência fixa de agentes, passo a passo. Isso é ideal para processos com dependências claras, como fluxos de trabalho de processamento de dados.
- Orquestração hierárquica: Uma estrutura escalável e em níveis, onde uma relação de gerente-subordinado é usada para lidar com tarefas complexas em vários departamentos ou equipes.
Orquestração descentralizada
Esse padrão elimina o ponto único de controle, permitindo que múltiplos agentes interajam diretamente e concluam uma tarefa complexa. Essa abordagem aumenta a resiliência e oferece maior flexibilidade para a resolução colaborativa de problemas.
Os padrões específicos dentro desta categoria incluem:
- Orquestração de bate-papo em grupo: os agentes colaboram por meio de um tópico de conversa compartilhado, aproveitando as contribuições uns dos outros para chegar a uma decisão ou resolver um problema. Um gerente de bate-papo pode facilitar a discussão, mas os agentes se comunicam diretamente para alcançar um consenso.
- Orquestração de transferência de tarefas: os agentes delegam tarefas uns aos outros dinamicamente, sem a necessidade de um gestor central. Cada agente pode avaliar a tarefa e decidir se a executa ou a transfere para outro agente com a especialização mais adequada, de forma semelhante a um sistema de encaminhamento.
Orquestração federada
Esse padrão é útil para ambientes altamente regulamentados ou distribuídos. Ele permite a colaboração entre diferentes silos ou sistemas organizacionais, mantendo a governança e a segurança dos dados. Frequentemente, combina elementos de abordagens centralizadas e descentralizadas para gerenciar uma rede mais ampla de agentes e sistemas.
Ferramentas e estruturas
Diversas estruturas de agentes de IA fornecem a infraestrutura para fluxos de trabalho baseados em agentes e orquestração multiagente. Algumas delas incluem:
Segue abaixo a lista completa dessas ferramentas em ordem alfabética:
- LangGraph da LangChain: Oferece design modular e fluxos de trabalho baseados em grafos para fluxos de trabalho complexos e tarefas estruturadas.
- MetaGPT da FoundationAgents: Codifica a colaboração baseada em funções (por exemplo, engenheiro de software, controle de qualidade) para coordenar múltiplos agentes no desenvolvimento de software.
- AutoGen por Microsoft: Concentra-se na colaboração conversacional entre agentes digitais, frequentemente configurados como ciclos de planejamento-execução-crítico.
- CrewAI : Organiza agentes especializados em "equipes" com objetivos específicos para cada função, sendo útil para processos de negócios e operações de rotina.
- SDK de agentes por OpenAI: Permite orquestração leve e transferência de agentes com chamadas de função para ferramentas externas.
- CAMEL-AI : Fornece sociedades modulares de agentes de IA autônomos com coordenadores para simulações em larga escala e processos complexos.
- Kit de Desenvolvimento de Agentes por Google: Suporta orquestração multiagente com recursos integrados de avaliação, depuração e implantação.
- Langroid : Implementa um estilo de modelo de ator para orquestração multiagente, enfatizando modularidade e delegação.
- BeeAI : Enfatiza a interoperabilidade por meio do protocolo de contexto do modelo e da integração de agentes de terceiros para uma integração perfeita.
- Serviço de Agentes do Azure AI Foundation: Permite a operação de agentes em ambientes de desenvolvimento, implantação e produção, abstraindo a complexidade da infraestrutura.
Compare essas estruturas e aprenda sobre suas principais funcionalidades:
protocolos de comunicação do agente
Frameworks de orquestração de agentes de código aberto, como LangGraph, CrewAI e AutoGen, implementam suas próprias convenções para comunicação entre agentes. Isso cria desafios de interoperabilidade ao combinar agentes de diferentes frameworks na mesma camada de orquestração. Dois protocolos emergentes visam solucionar essa lacuna.
O Model Context Protocol (MCP) do Anthropic padroniza a forma como os agentes se conectam a ferramentas externas e fontes de dados. Em vez de cada framework implementar sua própria camada de integração de ferramentas, o MCP fornece uma interface comum que as plataformas de orquestração podem aproveitar para uma comunicação consistente entre agentes e ferramentas.
O protocolo Agente-para-Agente (A2A) do Google permite que agentes construídos em diferentes frameworks descubram as capacidades uns dos outros e troquem mensagens. O A2A foi projetado para complementar o MCP: enquanto o MCP lida com as interações entre agentes e ferramentas, o A2A se concentra na colaboração entre agentes. Os agentes anunciam suas capacidades por meio de "Cartões de Agente", que são documentos de metadados JSON que descrevem a identidade, os endpoints e as modalidades suportadas.
Por que os protocolos são importantes para a orquestração:
- Interoperabilidade: A A2A obteve o apoio de mais de 150 organizações, incluindo LangChain, Salesforce e SAP, permitindo que agentes de diferentes fornecedores trabalhem juntos.
- Descoberta: Os agentes podem encontrar e compreender dinamicamente as capacidades uns dos outros em tempo de execução por meio de mecanismos padronizados.
- Design complementar: Um sistema orquestrado pode usar A2A para comunicação entre agentes, enquanto cada agente usa internamente MCP para acessar suas ferramentas.
- Complexidade reduzida: Protocolos padronizados reduzem a necessidade de adaptadores personalizados ao misturar agentes de diferentes ecossistemas.
Frameworks que adotam A2A ou MCP podem se integrar mais facilmente com agentes e ferramentas externas, reduzindo a dependência de fornecedores e simplificando as implementações de múltiplos frameworks.
aplicações de orquestração agética
A orquestração de agentes é a capacidade essencial que transforma agentes individuais em um sistema coeso e orientado a objetivos. A seguir, apresentamos aplicações reais em que sistemas multiagentes se coordenam para gerar valor para os negócios.
Processos de negócios
A orquestração baseada em agentes permite a automação de ponta a ponta em vários departamentos e sistemas. Ela coordena agentes especializados para lidar com fluxos de trabalho complexos e de várias etapas sem a necessidade de intervenção manual.
- Recursos Humanos: Coordena uma equipe de agentes para gerenciar todo o ciclo de vida do colaborador, desde a integração e esclarecimento de dúvidas sobre políticas até a gestão da força de trabalho e o desligamento.
- Integração de clientes:
- Operações com o cliente: Sistemas orquestrados melhoram a qualidade do serviço gerenciando as interações com o cliente em todos os canais, com um grupo de agentes lidando com as consultas iniciais, fornecendo informações de diferentes bancos de dados e encaminhando questões complexas para um operador humano para verificação.
Explore agentes de IA para automação de fluxos de trabalho.
Cadeia de mantimentos
A orquestração de agentes aprimora a gestão da cadeia de suprimentos ao coordenar múltiplos agentes especializados para gerenciar e otimizar uma rede complexa de planejamento, fornecimento, logística e gestão de estoque.
- Manutenção preditiva: Uma plataforma de orquestração coordena agentes para analisar dados de equipamentos em tempo real, prever possíveis falhas e acionar automaticamente um agente de manutenção para agendar um reparo ou encomendar novas peças.
- Gestão de estoque: Os agentes são coordenados para monitorar os níveis de estoque, reabastecer automaticamente os suprimentos quando um limite é atingido e se comunicar com os agentes de logística para lidar com interrupções em tempo real, como atrasos no envio.
- Integração de fornecedores: Um sistema coordenado de agentes digitais gerencia todo o processo, desde a verificação de conformidade e geração de contratos até a integração de novos fornecedores aos fluxos de trabalho existentes da empresa.
Sistemas empresariais
A orquestração de agentes fornece a lógica central para processos orientados por IA que exigem colaboração perfeita entre diferentes plataformas empresariais, como ERP, CRM e RPA.
- Do pedido ao pagamento: Uma série de agentes coordenados gerencia todo o ciclo de compras, desde o agente de compras que emite um pedido até o agente de contas a pagar que processa a fatura para pagamento, reduzindo os prazos e aumentando a transparência.
- Do pedido ao recebimento: Um sistema multiagente acelera todo o processo, desde o recebimento do pedido até o pagamento, coordenando os agentes responsáveis pelo processamento do pedido, atendimento e contas a receber, melhorando o fluxo de caixa e a satisfação do cliente.
- Resolução de disputas: Um fluxo de trabalho orquestrado automatiza o rastreamento de reclamações e estornos, com um agente coletando informações, outro analisando a disputa e um terceiro comunicando a resolução, simplificando e agilizando o processo.
Explore como os agentes de IA são usados em sistemas empresariais, tais como:
Serviços bancários e financeiros
Neste setor, a orquestração é utilizada para fluxos de trabalho complexos e sensíveis ao risco, que exigem a colaboração de múltiplos agentes para garantir precisão e conformidade.
- Conformidade regulatória: Um sistema coordenado de agentes garante a conformidade, validando as informações do cliente em relação às listas de monitoramento, sinalizando discrepâncias e mantendo um registro de auditoria transparente de cada ação para revisão regulatória.
- Processamento de empréstimos e hipotecas: Um fluxo de trabalho orquestrado permite que um grupo de agentes lide com todo o processo de aprovação de empréstimos — desde a coleta e verificação de documentos até a aplicação de modelos financeiros e o fornecimento da autorização final para revisão por um analista humano.
- Detecção e prevenção de fraudes: Este é um exemplo clássico de orquestração, onde um agente monitora as transações, outro identifica e sinaliza atividades suspeitas e um terceiro congela a conta e gera um relatório de incidente para uma equipe de segurança humana.
Veja como agentes de IA e LLMs com agentes são utilizados no setor financeiro:
Energia e serviços públicos
A orquestração baseada em agentes permite o gerenciamento de sistemas altamente distribuídos e complexos, como redes elétricas e gestão de força de trabalho, possibilitando que agentes especializados se comuniquem e atuem em tempo real.
- Gestão da rede: Um sistema multiagente com agentes distintos para centrais de geração, centros de distribuição, medidores inteligentes individuais e soluções de redes inteligentes trabalha em conjunto para equilibrar a oferta e a demanda de energia, otimizar a distribuição e prevenir interrupções.
- Do medidor ao recebimento: Um processo orquestrado do medidor ao recebimento pode automatizar todo o ciclo de faturamento, coordenando agentes que lidam com a leitura automatizada de medidores, a geração de faturas e a cobrança de pagamentos para melhorar a precisão e a eficiência.
- Gestão da força de trabalho: Um sistema de orquestração otimiza a forma como os técnicos de campo são agendados e alocados, permitindo que os agentes coordenem o acompanhamento da disponibilidade dos técnicos, atribuam tarefas com base na localização e nas habilidades, e forneçam atualizações em tempo real sobre o andamento do trabalho.
Telecomunicações
Em telecomunicações, a orquestração é usada para gerenciar e automatizar redes complexas de grande escala e operações voltadas para o cliente.
- Operações de rede: Um sistema coordenado de agentes monitora diferentes partes da rede para detectar falhas automaticamente, diagnosticar o problema e acionar uma série de ações para resolvê-lo, garantindo a confiabilidade da rede e minimizando o tempo de inatividade.
- Integração de clientes: A orquestração agiliza o processo, permitindo que os agentes coordenem a ativação do SIM, a configuração do dispositivo e a habilitação do serviço, proporcionando uma experiência perfeita para o cliente do início ao fim.
- Gestão de faturamento e receita: Um fluxo de trabalho orquestrado automatiza ajustes complexos de faturamento, pagamentos e reembolsos, permitindo que agentes especializados gerenciem cada etapa, o que aumenta a precisão e a satisfação do cliente.
Benefícios
79% dos executivos já adotaram agentes de IA. No entanto, 19% das empresas têm dificuldades com a coordenação. 7 A orquestração de agentes ajuda a gerenciar agentes em diferentes aplicações. Aqui estão alguns benefícios da orquestração de agentes:
- Eficiência operacional : Simplifica as operações de rotina, reduz custos e aumenta a escalabilidade.
- Agilidade operacional: Permite responder dinamicamente a dados em tempo real e a interrupções.
- Colaboração perfeita: Garante a cooperação entre agentes, humanos e múltiplos sistemas.
- Vantagens competitivas: Incentiva a inovação, permitindo que os sistemas de IA operem em conjunto com a equipe humana.
- Maior satisfação: Impulsiona experiências superiores para o cliente e melhorias mensuráveis na qualidade do serviço.
Desafios
- Governança : Requer uma governança de dados robusta para prevenir riscos decorrentes da interação de múltiplos agentes com sistemas diversos.
- Conformidade : Os sistemas devem garantir a conformidade em setores altamente regulamentados, especialmente nas áreas de finanças e saúde.
- Supervisão humana : Uma implementação eficaz requer limites claros para intervenção humana e escalonamento.
- A integração perfeita com fluxos de trabalho existentes e sistemas legados continua sendo uma barreira significativa. Esses sistemas mais antigos podem ser construídos sobre arquiteturas desatualizadas que não são compatíveis com as tecnologias modernas de IA.
Metodologia de referência
Arquitetura de fluxo de trabalho
Nosso fluxo de trabalho sequencial de agentes processa solicitações de viagem em cinco etapas:
- Agente de análise sintática: Extrai dados estruturados de entradas em linguagem natural ("Quero viajar de Berlim para Roma em 25 de outubro de 2025. Ficarei por 3 dias") para identificar origem, destino, datas e duração.
- Agente de busca de voos : Chama a API da Amadeus para recuperar voos disponíveis usando os códigos IATA e as datas de partida extraídos.
- Agente de previsão do tempo: Obtém previsões meteorológicas para o destino durante todo o período da estadia usando a API do Tempo (WeatherAPI).
- Agente de recomendação de atividades: Combina atividades com as condições climáticas (museus em dias de chuva, passeios ao ar livre em dias de sol).
- Agente de planejamento de viagens: Sintetiza todos os resultados anteriores em um itinerário abrangente, dia a dia, com
Voos, previsão do tempo e atividades recomendadas.
Variáveis controladas
Para garantir uma comparação justa, mantivemos componentes idênticos em todas as estruturas:
Configuração do LLM:
- Modelo: Claude Haiku 4.5 através de OpenRouter
- Temperatura: 0,1
- Não há limite máximo de tokens imposto a nenhum agente.
Funções da ferramenta:
- Implementações idênticas em Python das funções get_flights() e get_weather() em todas as estruturas.
- Chamadas de API externas para Amadeus (voos) e WeatherAPI (previsões meteorológicas)
Parâmetros de teste
- Tamanho da amostra : 100 execuções por estrutura
- Modo de execução : Execução sequencial do agente (sem processamento paralelo)
- Agregação de métricas: Valores médios em todas as execuções.
Métricas medidas
- Latência do pipeline: Tempo total de execução de ponta a ponta, desde a entrada até o itinerário final.
- Transições entre agentes : Sobrecarga do framework entre transferências sequenciais de agentes.
- Latência por agente: Tempo de execução individual para cada um dos cinco agentes.
- Intervalo entre agente e ferramenta: Tempo decorrido desde a inicialização do agente até a primeira invocação da ferramenta.
- Utilização de tokens: Tokens de saída gerados.
Implementação da medição de tempo: Todas as medições de tempo foram capturadas usando a função `time.time()` do Python com precisão de milissegundos. Para cada agente, registramos o horário de início antes da execução e o horário de término após a conclusão, calculando a latência como o tempo decorrido até a conclusão da execução.
diferença. Para a execução da ferramenta, medimos o tempo imediatamente antes de chamar a API e imediatamente após receber a resposta. As transições entre agentes capturaram a lacuna entre o momento em que um agente conclui e
Quando a estrutura inicia o próximo agente, essa sobrecarga pura da estrutura exclui o tempo de execução do LLM e da ferramenta.
Contagem de tokens: Utilizamos uma abordagem de fonte dupla para garantir a precisão:
- Rastreamento integrado ao framework (quando disponível):
- LangChain: cb.total_tokens de callbacks
- LangGraph: Uso de tokens a partir de pontos de verificação de estado
- Geração automática: agent.get_total_usage() a partir dos resultados do chat
- Estimativa de Tiktoken (alternativa para Claude via OpenRouter)
Como o Claude não expõe a contagem de tokens por meio de OpenRouter em todas as estruturas, usamos o tiktoken como uma aproximação consistente entre as implementações.
Infraestrutura de observabilidade: Todas as métricas são validadas por meio de ferramentas de observabilidade .
- Laminar: Coleta de rastreamento em tempo real, medições de latência e rastreamento de tokens.
- AgentOps: Rastreamento da execução do agente, monitoramento de desempenho.
Essas plataformas forneceram validação precisa para nossa instrumentação manual, garantindo a precisão das medições.
precisão em diferentes estruturas.
Resultados agregados como médias de 100 execuções.
Para saber mais sobre orquestração agentiva, consulte a seção sobre o tema.
Descubra mais sobre IA Agente acessando:
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios.