Benchmark de Plataformas de Agentes de IA: Claude Managed Agents vs Google Vertex Agent Engine

Avaliamos 4 plataformas de agentes de IA em 3 dimensões: conclusão de tarefas (10 tarefas de programação × 3 execuções), capacidades específicas do harness (direcionamento, reconexão, recordação de conversas longas, manipulação de arquivos grandes) e custo.

Resultados do benchmark de plataformas de agentes de IA

Claude Managed Agents e Vertex AI Agent Engine alcançam ambos taxas de aprovação de 100% no conjunto de tarefas, com a Vertex vencendo em custo ($1,45 vs $2,50). Para recursos específicos do harness disponíveis apenas em plataformas gerenciadas, como direcionamento em pleno fluxo, desconexão/reconexão, compactação de conversas longas, o Claude Managed Agents é o mais capaz, mas o Vertex Agent Engine se equipara nos testes portáteis (compactação, manipulação de arquivos grandes).

Principais conclusões do benchmark de tarefas

1. Claude MA e Vertex AE empataram na taxa de aprovação em 30/30 (100%). Ambos lidam com todos os tipos de tarefas, incluindo tarefas de rede (06, 10) que derrubaram a OpenAI.
2. As falhas da OpenAI decorrem de sua política de sandbox. As tarefas 06 (cliente de API REST) e 10 (download concorrente) exigem HTTP de saída. O sandbox do Code Interpreter restringe isso, e ambas falharam 2/3 e 1/3, respectivamente. Vimos que o GPT-5.4 consegue escrever o código, mas o sandbox não o executa de forma confiável.
3. Vertex AE é o mais barato, com $1,45 no total. O Claude MA é o mais caro, com $2.50. Isso é 72% a mais que o Vertex no mesmo conjunto de tarefas com a mesma taxa de aprovação.
4. Vertex AE é o mais lento. A orquestração gerenciada do ADK adiciona sobrecarga.

Recursos específicos do harness

Duas plataformas são comparadas diretamente em recursos que só existem porque há um harness gerenciado.

Veja a metodologia do benchmark abaixo.

Plataformas de agentes de IA

Claude Managed Agents

Anthropic’s Claude Managed Agents fornece um runtime de agente hospedado que combina sessões com estado, execução de ferramentas integrada, streaming baseado em eventos e compactação automática para cargas de trabalho autônomas de longa duração. A plataforma se diferencia por primitivas exclusivas indisponíveis em ofertas comparáveis, como injeção de eventos de usuário no meio do fluxo para direcionamento em andamento, streams SSE retomáveis para desconexão/reconexão e integração nativa do servidor MCP. Tudo é entregue como um serviço totalmente gerenciado, sem infraestrutura para os desenvolvedores provisionarem.¹

O preço é de $0,08 por hora de sessão, além dos custos padrão de token da Claude API.

Prós:

• Sessões com estado e injeção de eventos no meio do fluxo permitem que novas mensagens do usuário direcionem os agentes durante a execução em andamento.
• Suporte a desconexão e reconexão por meio de streams SSE persistentes; as sessões continuam sendo executadas no lado do servidor durante interrupções de rede e os clientes podem retomar o consumo de eventos na reconexão.
• O conjunto de ferramentas integrado do agente reúne bash, operações de arquivo (read, write, edit, glob, grep) e ferramentas web (web_fetch, web_search), acessíveis por um único parâmetro de configuração, eliminando a fiação personalizada de ferramentas.
• Integração nativa do servidor MCP (Model Context Protocol) para extensões personalizadas de ferramentas sem modificar o conjunto de ferramentas integrado do agente.

Contras:

• Atualmente em beta; todas as solicitações exigem o cabeçalho beta managed-agents-2026-04-01, e o comportamento pode ser refinado entre lançamentos.
• Somente Claude, sem flexibilidade de modelo em comparação com plataformas como AWS Bedrock AgentCore ou Northflank, que suportam vários provedores de modelo.

Salesforce Agentforce

O Salesforce Agentforce se diferencia pelo acesso nativo a dados de CRM por meio do Atlas Reasoning Engine e por agentes pré-construídos para fluxos de trabalho de vendas, serviços, marketing e comércio.²

A plataforma integra-se ao MuleSoft Agent Fabric para orquestração entre sistemas e oferece o Agentforce 360 para parcerias com a AWS.

O Agentforce atende organizações que exigem fluxos de trabalho autônomos voltados ao cliente, incorporados diretamente à infraestrutura existente do Salesforce Cloud.

Prós:

– Acesso nativo a dados de CRM por meio do Atlas Reasoning Engine permite ações de agente conscientes do contexto.

– Agentes pré-construídos disponíveis para vendas, serviços, marketing e comércio reduzem o tempo de implantação.

– Autorizado pelo FedRAMP no Salesforce Government Cloud para setores regulamentados.

– O plano Foundations gratuito inclui 200.000 Flex Credits para testes iniciais.

Contras:

– Somente SaaS em nuvem, sem opção de implantação local disponível.

– Agnosticismo de modelo limitado; padrão em modelos gerenciados pela Salesforce, com suporte restrito a provedores externos.

– Exige investimento no ecossistema Salesforce existente para obter o valor total.

Microsoft Copilot Studio

Prós:

– Incluído com as licenças do Microsoft 365 Copilot para uso interno de agentes sem custo adicional.³

– Agentes de voz em tempo real e suporte a telefonia IVR para cenários de atendimento ao cliente.

– Autorizado pelo FedRAMP por meio do Azure Government para implantações no setor público.

– Suporta modelos OpenAI, Anthropic e frameworks de código aberto em um único ambiente de build.

Contras:

– Funcionalidade limitada fora do ecossistema Microsoft; exige compromisso com o Azure ou M365 para recursos completos.

– Sem camada gratuito permanente e independente; exige assinatura existente do M365 Copilot para o uso incluído.

– Modelo de IA de voz em tempo real hospedado apenas na América do Norte a partir de abril de 2026.

O Copilot Studio é mais econômico para organizações que já usam Microsoft 365, Teams e Azure, oferecendo automação voltada para funcionários que herda as configurações existentes de identidade, segurança e conformidade.

Google Agentspace e Vertex AI Agent Builder

A oferta dupla da Google combina o Agentspace para gerenciamento de conhecimento empresarial e o Vertex AI Agent Builder para desenvolvimento low-code, diferenciando-se pela integração do modelo Gemini, pelo contexto entre produtos do Google Workspace e pelo suporte a entrada multimodal para texto, voz e imagens.

A plataforma oferece $300 em créditos gratuito para novos usuários e preços pagos conforme o uso para o Vertex AI Agent Engine.

Prós:

– Crédito de $300 gratuito para novos usuários permite prototipagem extensa sem investimento inicial.

– Implantação local suportada por meio do Google Distributed Cloud para ambientes regulamentados.

– Autorizado pelo FedRAMP por meio do Google Cloud.

– O Google ADK (Agent Development Kit) suporta desenvolvimento code-first em Python, TypeScript, Go e Java.

Contras:

– O design primário do Gemini limita a flexibilidade de modelo em comparação com plataformas totalmente agnósticas.

AWS Bedrock Agents e AgentCore

O AWS Bedrock Agents e a plataforma mais recente AgentCore fornecem gerenciamento de infraestrutura sem servidor para agentes em escala empresarial, lançados no re:Invent 2025.⁴

Os diferenciais incluem preços pagos conforme o uso a $0,0895 por vCPU-hora para o runtime do AgentCore, opções de throughput provisionado e o Mem0 como provedor de memória exclusivo.

Prós:

– Autorizado pelo FedRAMP High no AWS GovCloud para cargas de trabalho confidenciais.

– Streaming bidirecional suporta agentes de voz com fala simultânea do usuário e do agente.

– Camada gratuita disponível para novos clientes da AWS para experimentação inicial.

– Acesso a modelos de Anthropic, Amazon, Meta, Mistral e AI21 por meio do catálogo do Bedrock.

Contras:

– Sem modelos de agente pré-construídos específicos de domínio; exige construção do zero usando o SDK.

– Sem opção de implantação local; executa exclusivamente na infraestrutura da AWS.

– A construção de agentes exige codificação significativa de API/SDK em comparação com criadores visuais.

O AWS Bedrock atende empresas que exigem infraestrutura de agente escalável e sem servidor, com profunda integração ao ecossistema AWS, oferecendo eficiência de custos por meio de cobrança granular baseada em uso.

IBM watsonx Orchestrate

O IBM watsonx Orchestrate atende empresas regulamentadas com mais de 150 agentes pré-construídos específicos de domínio para RH, compras, vendas e finanças, além do Skills Studio para criar skills personalizadas.⁵

A plataforma oferece flexibilidade de implantação em nuvem híbrida e local por meio do IBM Cloud Pak for Data e do Software Hub.

Prós:

– Instalação local suportada por meio do IBM Cloud Pak for Data para requisitos de residência de dados.

– Mais de 150 agentes e ferramentas pré-construídos da IBM e de parceiros, com mais de 80 integrações de aplicativos empresariais, incluindo SAP, Salesforce e Workday.

– Autorização FedRAMP expandida em abril de 2026 para implantações federais.

– Agnosticismo real de modelo, suportando vários provedores de LLM sem dependência de fornecedor.

Contras:

– Sem camada gratuito permanente; exige assinatura paga Essentials ou Standard para uso contínuo.

– Os recursos de voz e telefonia estão disponíveis no watsonx Orchestrate por meio da configuração de voz nativa no ADK e integrações com provedores como Deepgram e ElevenLabs, embora telefonia avançada possa exigir configuração adicional.

– Estrutura de preços complexa que exige cotações personalizadas para recursos empresariais.

ServiceNow IA Agents

Os ServiceNow IA Agents se integram diretamente à Now Platform, diferenciando-se pela integração nativa com fluxos de trabalho de TI, RH e atendimento ao cliente, em vez de operar como uma plataforma independente.

A plataforma inclui o IA Control Tower para governança, fluxos de trabalho agênticos pré-construídos para ITSM e HRSD e um Context Engine que conecta o histórico de políticas às ações dos agentes.⁶

Prós:

– Herda a governança, as regras de SLA e os fluxos de trabalho de aprovação existentes da Now Platform.

– Os IA Voice Agents suportam Genesys Cloud, Twilio e 3CLogic como provedores de CCaaS.

– Os IA Web Agents aprendem com demonstrações humanas para automatizar tarefas baseadas em navegador.

Contras:

– Sem camada gratuito permanente; novos clientes recebem apenas 100 chamadas gratuito do Build Agent.

– A autorização FedRAMP High para IA Agents, IA Agent Orchestrator e IA Agent Studio foi confirmada para clientes do Government Community Cloud (GCC) a partir de março de 2026.

– Valor limitado para organizações que ainda não usam ServiceNow para gerenciamento de serviços de TI ou RH.

Kore.ai

A Kore.ai concentra-se em IA conversacional empresarial com mais de 300 agentes pré-construídos, mais de 250 integrações empresariais e uma arquitetura agnóstica de modelo, com suporte a implantações em nuvem e locais.

A plataforma atende seis verticais, incluindo bancos, saúde e varejo.⁷

Prós:

– Infraestrutura de voz nativa que oferece interações de voz globais de baixa latência.

– Implantação flexível, incluindo opções locais e de nuvem privada.

– Suporta vários provedores de LLM.

Contras:

– Sem camada gratuito permanente; oferece apenas $500 em créditos únicos para testes iniciais.

LangGraph

Prós:

– A licença de código aberto MIT permite uso comercial e modificação sem restrições.

– O controle determinístico de fluxo de trabalho por meio da arquitetura de grafo garante caminhos de execução reproduzíveis.

– A integração de observabilidade do LangSmith fornece monitoramento e rastreamento em produção.

Contras:

– Sem construtor visual no-code; exige código Python ou JavaScript para definir grafos de agentes.

– Sem integração nativa de voz ou telefonia; exige codificação personalizada para canais de voz.

– Curva de aprendizado acentuada para equipes não familiarizadas com paradigmas de programação baseados em grafos.

O LangGraph atende equipes de engenharia que constroem agentes de nível de produção que exigem lógica condicional complexa, recuperação de erros e auditabilidade das etapas de execução individuais.

CrewAI

Prós:

– A abstração baseada em papéis espelha estruturas de equipes humanas para coordenação intuitiva de agentes.

– Núcleo open-source gratuito, sem taxas de licenciamento para implantações auto-hospedadas.

– Editor visual e copiloto de IA disponíveis na camada gratuito para membros não técnicos da equipe.

Contras:

– Sem marketplace de modelos mantido oficialmente pelo fornecedor; depende de contribuições da comunidade.

– Abordagem code-first exige conhecimento de Python para criação de agentes.

– O preço do plano Enterprise está disponível apenas sob consulta, o que pode gerar incerteza orçamentária para equipes pequenas em comparação com outras opções de código aberto.

O CrewAI permite prototipagem rápida de pipelines de agentes baseados em papéis, particularmente adequado para processamento de documentos, fluxos de trabalho de pesquisa e tarefas de geração de conteúdo em várias etapas.

n8n

O n8n opera sob uma licença fair-code (Sustainable Use License), oferecendo mais de 400 conectores de aplicativos nativos com nós visuais de IA e infraestrutura auto-hospedável.

Prós:

– A Community Edition auto-hospedada inclui SSO SAML, LDAP, RBAC e armazenamentos de segredos criptografados sem custo.

– Suporte nativo a LangChain e LlamaIndex em fluxos de trabalho visuais.

– O editor visual de fluxo de trabalho permite automação complexa sem programação.

Contras:

– A licença fair-code exige licença paga para hospedagem comercial ou produtos SaaS.

– Sem nó nativo de voz ou telefonia; exige integração externa de API para voz.

– Nenhuma autorização FedRAMP confirmada.

O n8n une a automação de fluxo de trabalho tradicional e os agentes de IA, atendendo analistas de negócios técnicos e equipes de DevOps que exigem implantação auto-hospedada para residência de dados, mantendo recursos visuais de construção.

Dify

Dify é uma plataforma LLMOps de código aberto.

A plataforma suporta pipelines de RAG, ferramentas de engenharia de prompt e arquitetura agnóstica de modelo.

Prós:

– A Community Edition auto-hospedada é permanentemente gratuito com controle total dos dados por meio de implantação com Docker.

– O construtor visual de fluxo de trabalho permite a criação de agentes complexos sem programação.

– Suporta centenas de LLMs proprietários e de código aberto de dezenas de provedores de inference.

Contras:

– O suporte a voz exige plugins do marketplace, como Agora ou Tencent RTC; sem telefonia PSTN nativa.

– Sem autorização FedRAMP.

– O plano Cloud Team a $159 por mês pode ser caro para equipes pequenas.

O Dify atende equipes de produto e operações que exigem agentes com consciência de documentos e fortes capacidades de RAG, especialmente aquelas que priorizam o controle de dados por meio da auto-hospedagem.

Voiceflow

O Voiceflow se diferencia como a única grande plataforma que trata o design de agentes voice-first como cidadão de primeira classe, em vez de um complemento, com um canvas de design criado especificamente para agentes de voz e chat com latência inferior a 500ms.

A plataforma é especializada em automação de tickets de atendimento ao cliente e sistemas IVR.

Prós:

– Canais nativos de voz e telefonia com suporte a IVR e latência inferior a 500ms.

– Capacidades de extração de entidades para consultas à base de conhecimento.

– O plano gratuito inclui 2 agentes e 100 tokens de IA mensais sem expiração.

– Canvas visual projetado especificamente para fluxos de trabalho de IA conversacional.

Contras:

– Implantação local disponível apenas por meio de acordos empresariais personalizados.

O Voiceflow atende equipes de CX e suporte que constroem agentes conversacionais voltados ao cliente e que exigem implantação em canais de voz, chat e mensagens a partir de uma única interface de design.

Relevance IA

A Relevance IA oferece a flexibilidade bring-your-own-LLM (BYOLLM) com um modelo de cobrança baseado em ações, permitindo que equipes não técnicas criem equipes multiagentes por meio de descrições em linguagem natural.

Prós:

– A camada gratuito inclui 100 créditos por dia sem expiração.

– Mais de 2.000 integrações, incluindo HubSpot, Salesforce, Slack e Gmail.

– Agnosticismo real de modelo, suportando vários provedores de LLM.

Contras:

– Sem opções de auto-hospedagem ou implantação local; apenas SaaS em nuvem.

– Sem autorização FedRAMP para setores regulamentados.

– Os recursos de voz exigem integração com Vapi ou Twilio, em vez de telefonia nativa.

Lindy IA

A Lindy IA oferece várias integrações por meio do Pipedream, modelos de agente pré-construídos para triagem de e-mails e agendamento, e recursos de agente de chamadas telefônicas por meio do recurso de voz Gaia.⁸

A plataforma usa um modelo de execução baseado em créditos, com uma camada gratuito disponível.

Prós:

– A camada gratuito inclui 400 créditos por mês e base de conhecimento de 1 milhão de caracteres.

– Agnosticismo real de modelo e ampla biblioteca de integrações.

Contras:

– Implantação local disponível apenas por meio de acordos empresariais personalizados para setores regulamentados.

Ideal para usuários empresariais individuais, fundadores e equipes de operações que exigem automação rápida de e-mail, calendário e fluxos de trabalho de CRM sem recursos de engenharia.

Metodologia

O que uma plataforma gerenciada de agentes de IA realmente entrega em relação aos concorrentes e à alternativa de construir seu próprio harness de agente? O espaço de ferramentas de IA tem um ponto cego persistente aqui. Produtos de “agente gerenciado” são rotineiramente comparados usando os mesmos scorecards de conclusão de tarefas usados para modelos de linguagem brutos, o que confunde duas coisas muito diferentes: a capacidade do modelo de gerar código correto e a capacidade do harness de executar esse código de forma confiável em um runtime gerenciado com estado, ferramentas e isolamento. Projetamos este benchmark para separar esses sinais.

O que é uma plataforma de agente gerenciada?

Estamos avaliando uma categoria específica: runtimes hospedados que combinam inference de LLM, orquestração de agentes e execução de código em sandbox em um único serviço gerenciado. Isso se distingue de (1) LLM inference APIs brutas, (2) frameworks de orquestração de agentes que você mesmo hospeda e (3) sandboxes de computação que você combina com seu próprio modelo. As quatro plataformas em teste assumem formas ligeiramente diferentes desse pacote:

• Claude Managed Agents (Anthropic): harness totalmente gerenciado. Definições de agentes, sessões, streaming baseado em eventos, compactação e execução de ferramentas são todos do lado do servidor. Um dos dois verdadeiros concorrentes nesta categoria.
• Vertex AI Agent Engine (Google): harness totalmente gerenciado. Implante um agente definido por ADK em um runtime gerenciado; a implantação hospeda o estado do agente e a execução de ferramentas. Acessado por meio do SDK vertexai.agent_engines.
• OpenAI Responses API com Code Interpreter: categoria adjacente. API de inference com uma ferramenta de sandbox Python integrada, mas sem estado de sessão persistente de múltiplos turnos nem direcionamento no meio do fluxo.
• Controle: Claude Messages API com um loop de ferramentas local: incluído como linha de base. Mesmo modelo do Claude MA (claude-sonnet-4-6), mas implementamos o loop do agente localmente em ~150 linhas de Python. As ferramentas (bash, write, read, edit) executam em um tempdir por tarefa na máquina do benchmark. Isso isola o que o harness gerenciado contribui além de “modelo mais loop de ferramentas”. Executar a API Messages com um loop de agente local produz uma comparação em que o modelo é idêntico, mas o harness está ausente. Qualquer delta entre o Claude MA e o controle é atribuível inteiramente ao harness, não à capacidade do modelo.

O conjunto de tarefas

Dez tarefas de programação distribuídas em três níveis de dificuldade. Cada tarefa tem um prompt fixo que especifica o produto entregável e um script de verificação que codifica critérios determinísticos de aprovação/reprovação. Cada tarefa é executada três vezes por plataforma para medir a variância.

Testes de estresse específicos do harness

O conjunto de tarefas mede a correção de ponta a ponta. Ele não pode medir capacidades que existem somente por causa de um harness gerenciado: persistência de sessão com estado, direcionamento no meio do fluxo, retomada de conexão, compactação automática de contexto e manipulação gerenciada de artefatos do sistema de arquivos. Para isso, projetamos dois conjuntos de testes adicionais.

Suíte A: Direcionamento e Interrupção

Três testes que exercitam primitivas específicas do harness.

A1 inicia um agente em uma tarefa de programação, depois injeta um novo evento de usuário via POST /events após 10 segundos alterando os requisitos e verifica, inspecionando o sistema de arquivos do contêiner, se o artefato final reflete o novo requisito em vez do original.

A2 abre um stream SSE, derruba a conexão após quatro eventos, reconecta e verifica se a sessão ainda atinge status_idle.

A3 envia um prompt deliberadamente contraditório e mede se o agente pede esclarecimento ou escolhe silenciosamente uma interpretação.

Apenas o A3 é portátil entre plataformas. A injeção de eventos no meio do fluxo do A1 não tem equivalente direto no OpenAI Responses (solicitação/resposta única) ou no Vertex Agent Engine (o modelo de sessão não possui injeção de mensagens em andamento). O desconectar/reconectar do A2 também não tem equivalente em outros lugares. Essas são vantagens estruturais genuínas do modelo de sessão orientado a eventos do Claude MA, não comparáveis nas alternativas. Executamos A1 e A2 somente no Claude MA e executamos A3 tanto no Claude MA quanto no Vertex Agent Engine.

Suíte B: Compactação e Contexto

Dois testes que exercitam recursos de contexto gerenciado.

B1 insere uma string canário exclusiva (um token derivado de UUID) no primeiro turno de uma sessão, executa 23 turnos de preenchimento com pequenas tarefas de programação não relacionadas, cada uma produzindo chamadas de ferramenta e resultados de ferramenta, e depois pede ao agente que recupere o canário da memória no 25 turno, sem permitir consulta a arquivos. A recuperação bem-sucedida após 23 turnos de preenchimento é evidência de que o harness preserva o contexto inicial por meio de qualquer política de compactação que use.

B2 pede ao agente para gerar um arquivo de texto de 50.000 linhas com um marcador oculto e, em seguida, responder a uma pergunta que exige encontrar o marcador. Isso testa se o agente consegue raciocinar sobre artefatos maiores do que sua janela de contexto sem tentar ler o arquivo inteiro.

Tanto B1 quanto B2 foram executados no Claude MA e no Vertex Agent Engine, usando os mesmos prompts e protocolos.

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

LLM-como-juiz para pontuação comportamental

Para a Suíte A3 (contradições), aprovação/reprovação não é uma verificação determinística; tratamos “o agente pediu esclarecimento?” como um julgamento qualitativo sobre o comportamento conversacional. Usamos um design de LLM-como-juiz com três salvaguardas metodológicas:

1. O modelo do juiz é diferente do modelo testado: Claude Opus 4.6 é o juiz para evitar viés de autoavaliação.
2. Rubrica estruturada com 4 dimensões booleanas: o juiz retorna pontuação em JSON: recognized_contradiction, asked_for_clarification, proceeded_with_assumption, documented_assumption e um parágrafo de raciocínio.
3. Verificação de consistência em 3 execuções: cada julgamento é executado 3 vezes. Relatamos o consenso majoritário por dimensão e a taxa de concordância por dimensão. Se a concordância de alguma dimensão cair abaixo de 67%, o juiz é sinalizado como inconsistente nessa dimensão, e o resultado é tratado como de baixa confiança.

Uma heurística de palavras-chave é executada em paralelo como verificação de sanidade. Divergências entre a heurística e o juiz são registradas para revisão manual.

Pontuação

Para cada execução de tarefa em cada plataforma:

• Aprovação/reprovação
• Tempo de execução: segundos decorridos desde o envio do prompt até o recebimento do evento terminal (status_idle para o Claude MA, conclusão da tarefa para o Vertex AE, conclusão da resposta para a OpenAI, saída do loop de ferramentas para o controle).
• Contagem de chamadas de ferramenta: invocações distintas de ferramentas. Útil como impressão digital comportamental; menos útil como métrica de eficiência porque a granularidade das ferramentas difere significativamente entre as plataformas.
• Uso de token: analisado a partir de eventos model_request_end no Claude MA, usage_metadata no Vertex AE, response.usage na OpenAI, acumulação por turno no loop de mensagens do controle. Dividido em entrada, saída, leitura de cache e criação de cache.
• Custo em USD: calculado a partir do uso de token em relação aos preços publicados: claude-sonnet-4-6 a $3/$15/$0,30/$3,75 por milhão; gpt-5.4 a $2,50/$15/$0,25; gemini-2.5-pro a $1,25/$10/$0.13. Taxas de infraestrutura específicas da plataforma são adicionadas: $0,08/hora de sessão do Claude MA, rateado pelo tempo de execução; $0,03/contêiner da OpenAI quando ocorreu alguma chamada de ferramenta; taxa de hospedagem de aproximadamente $0,35/hora do Vertex AE, rateada pelo tempo de atividade da implantação.

Os resultados das Suítes A e B também capturam métricas de nível de sessão (turnos, recuperação do canário, consenso e concordância do juiz).

Considerações de imparcialidade e limitações conhecidas

Várias assimetrias na configuração afetam como os números devem ser lidos; vamos explicitá-las:

O controle executa as ferramentas na máquina do benchmark, sem round-trip para a nuvem. Isso lhe dá uma vantagem injusta no tempo de execução que não reflete tanto a velocidade do agente, mas sim a ausência de rede. Quando observamos o controle concluindo tarefas ~25% mais rápido que o Claude MA no mesmo modelo, cerca de metade dessa diferença é assimetria de round-trip.

O OpenAI Code Interpreter opera em um sandbox com restrição de rede. As tarefas 06 (cliente de API REST) e 10 (downloader concorrente) exigem HTTP de saída, que o CI permite apenas intermitentemente. As falhas da OpenAI nessas tarefas são falhas de política de sandbox, não falhas de capacidade do modelo. O GPT-5.4 consegue escrever código HTTP concorrente correto; a plataforma nem sempre consegue executá-lo. Os leitores não devem interpretar “a OpenAI falha em tarefas de rede” como uma afirmação sobre o modelo.

O Gemini 3.1-pro-preview está restrito a uma lista de permissões de preview no nível do projeto. Tentamos avaliar esse modelo tanto na API Vertex direta quanto no Vertex Agent Engine. Chamadas diretas à API retornaram 404; implantações do Agent Engine com o modelo tiveram sucesso no momento da implantação, mas as chamadas de inference retornaram zero eventos sem erro. Recuamos para o gemini-2.5-pro.

Um conjunto de tarefas de refatoração de várias horas, depuração em bases de código desconhecidas ou fluxos de trabalho autônomos de longa duração estressaria os harnesses de forma diferente e provavelmente separaria as opções de primeira linha com mais clareza.

Não medimos a latência de provisionamento, o comportamento de partida a frio, o desempenho de sessões concorrentes nem os tetos de limite de taxa. Esses fatores são importantes para cargas de trabalho de produção de alto throughput, mas ficaram fora do escopo desta rodada.

Recursos comuns a todas as plataformas de agentes de IA

Todas as plataformas nesta comparação fornecem capacidades básicas que definem a categoria de agentes de IA. Esses recursos comuns estabelecem o produto mínimo viável para automação agêntica, enquanto os recursos diferenciadores determinam a seleção da plataforma.

Orquestração multiagente: todas as plataformas suportam orquestração multiagente, embora a implementação varie (consulte as seções individuais das plataformas acima).

Uso de ferramentas e integrações externas: os agentes de todas as plataformas podem chamar APIs externas, bancos de dados e aplicativos de negócios. As contagens de conectores pré-construídos variam de aproximadamente 50 (Dify) a 2.000+ (Relevance IA), com todas as plataformas suportando definições personalizadas de API.

Memória persistente e gerenciamento de contexto: reter informações dentro de sessões (memória de curto prazo) e entre sessões (memória de longo prazo) é uma capacidade padrão, alcançada por meio de bancos de dados vetoriais, objetos de sessão ou janelas de contexto configuráveis, dependendo da plataforma.

Monitoramento e observabilidade: todas as plataformas expõem logs, traces ou análises para inspecionar a execução dos agentes, rastrear o uso de token e a latência e identificar falhas.

Supervisão humana e controles de aprovação: mecanismos de revisão, aprovação ou substituição humana das ações dos agentes estão presentes em todas as plataformas. Exemplos incluem portões de aprovação por ferramenta do n8n, primitivas de interrupção e retomada do LangGraph, controles de política do Bedrock AgentCore, ServiceNow IA Control Tower e escalonamento automático da Lindy.

Base de conhecimento e geração aumentada por recuperação (RAG): fundamentar agentes em conhecimento personalizado por meio de indexação e recuperação de documentos é uma capacidade básica em toda a categoria. As implementações incluem o pipeline RAG do Dify, a Base de Conhecimento do Voiceflow, as Bases de Conhecimento do Bedrock, o Vertex AI RAG Engine e o Kore.ai Search IA.

Interface de criação de agentes no-code ou low-code: interfaces gráficas ou de linguagem natural para criação de agentes estão disponíveis em todas as plataformas. As plataformas empresariais oferecem estúdios no-code (Agentforce Builder, Copilot Studio, watsonx Orchestrate), enquanto os frameworks de desenvolvedor fornecem ferramentas visuais complementares (LangGraph Studio, AutoGen Studio, CrewAI Studio).

Cite este benchmark

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{alper2026,
  author = {Alper, Şevval},
  title  = {{Benchmark de Plataformas de Agentes de IA: Claude Managed Agents vs Google Vertex Agent Engine}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/ai-agent-platforms}},
  note   = {AIMultiple. Acessado em 4 maio 2026}
}

Links de referência

1.

Claude Managed Agents overview - Claude Platform Docs

2.

Agentforce: The AI Agent Platform | Salesforce

3.

Microsoft Copilot Studio Plans and Pricing

4.

Amazon Bedrock AgentCore - AWS

5.

IBM watsonx Orchestrate Agent Catalog

6.

AI Agents - ServiceNow 

7.

Agentic AI Applications for the Enterprise | Kore.ai

Kore.ai

8.

Pricing - Lindy

Şevval Alper

Pesquisadora de IA

Siga-nos

Şevval é pesquisadora de IA na AIMultiple. Ela tem experiência anterior de pesquisa em geração de números pseudoaleatórios usando sistemas caóticos.
Şevval se concentra em ferramentas de codificação de IA, agentes de IA e tecnologias quânticas.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário