Benchmark de Plataformas de Agentes de IA: Claude Managed Agents vs Google Vertex Agent Engine
Comparamos 4 plataformas de agentes de IA em 3 dimensões: conclusão de tarefas (10 tarefas de programação × 3 execuções), capacidades específicas do harness (direcionamento, reconexão, recuperação em conversas longas, tratamento de arquivos grandes) e custo.
Resultados do benchmark de plataformas de agentes de IA
Plataforma | Model | Taxa de aprovação | Tempo de execução | Custo | Token |
|---|---|---|---|---|---|
Claude Managed Agents | Claude Sonnet 4.6 | 30/30 (100%) | 1.172s | $2.50 | 93k |
Vertex IA Agent Engine | Gemini 2.5 Pro | 30/30 (100%) | 1.447s | $1.45 | 159k |
OpenAI Responses + CI | GPT-5.4 | 27/30 (90%) | 522s | $1.54 | 113k |
Controle (auto-hospedado) | Claude Sonnet 4.6 | 30/30 (100%) | 794s | $1.96 | 464k |
Claude Managed Agents e Vertex IA Agent Engine alcançam ambos taxas de aprovação de 100% no conjunto de tarefas, com a Vertex a vencer no custo ($1.45 vs $2.50). Quanto às funcionalidades específicas do harness disponíveis apenas nas plataformas geridas, como direcionamento em pleno fluxo, desconexão/reconexão e compactação em conversas longas, Claude Managed Agents é a mais capaz, mas o Vertex Agent Engine equipara-se nos testes portáteis (compactação, tratamento de arquivos grandes).
Principais conclusões do benchmark de tarefas
- Claude MA e Vertex AE empataram na taxa de aprovação com 30/30 (100%). Ambas lidam com todos os tipos de tarefas, incluindo tarefas de rede (06, 10) que fizeram tropeçar o OpenAI.
- As falhas do OpenAI decorrem da sua política de sandbox. As tarefas 06 (cliente de API REST) e 10 (descarregador concorrente) exigem ambas HTTP de saída. A sandbox do Code Interpreter restringe isso, e ambas falharam 2/3 e 1/3, respetivamente. Vimos que o GPT-5.4 consegue escrever o código, mas a sandbox não o executa de forma confiável.
- O Vertex AE é o mais barato, com um total de $1.45. O Claude MA é o mais caro, com $2.50. É 72% mais caro do que o Vertex no mesmo conjunto de tarefas com a mesma taxa de aprovação.
- O Vertex AE é o mais lento. A orquestração gerida do ADK acrescenta sobrecarga.
Capacidades específicas do harness
Duas plataformas são comparadas diretamente em funcionalidades que só existem porque existe um harness gerido.
Consulte a metodologia do benchmark abaixo.
Plataformas de agentes de IA
Claude Managed Agents
O Claude Managed Agents da Anthropic oferece um runtime de agente alojado que combina sessões com estado, execução de ferramentas integrada, streaming baseado em eventos e compactação automática para cargas de trabalho autónomas de longa duração. A plataforma diferencia-se através de primitivas únicas indisponíveis em ofertas comparáveis, como injeção de eventos do utilizador em pleno fluxo para direcionamento em curso, fluxos SSE retomáveis para desconexão/reconexão e integração nativa de servidores MCP. Tudo é fornecido como um serviço totalmente gerido, sem infraestrutura para os programadores provisionarem.1
O preço é de $0.08 por sessão-hora, além dos custos padrão de Claude API relativos a tokens.
Vantagens:
- Sessões com estado com injeção de eventos em pleno fluxo permitem que novas mensagens do utilizador direcionem agentes durante a execução em curso.
- Suporte a desconexão e reconexão através de fluxos SSE persistentes; as sessões continuam a ser executadas no lado do servidor durante interrupções de rede e os clientes podem retomar o consumo de eventos na reconexão.
- O conjunto de ferramentas integrado do agente inclui bash, operações de ficheiros (ler, escrever, editar, glob, grep) e ferramentas web (web_fetch, web_search) acessíveis através de um único parâmetro de configuração, eliminando a cablagem personalizada de ferramentas.
- Integração nativa de servidores MCP (Model Context Protocol) para extensões de ferramentas personalizadas sem modificar o conjunto de ferramentas integrado do agente.
Desvantagens:
- Atualmente em beta; todos os pedidos exigem o cabeçalho beta managed-agents-2026-04-01, e o comportamento pode ser aperfeiçoado entre lançamentos.
- Apenas Claude, sem flexibilidade de models em comparação com plataformas como AWS Bedrock AgentCore ou Northflank, que suportam vários fornecedores de models.
Salesforce Agentforce
O Salesforce Agentforce diferencia-se pelo acesso nativo a dados de CRM através do Atlas Reasoning Engine e por agentes pré-criados para fluxos de trabalho de vendas, serviço, marketing e comércio.2
A plataforma integra-se com o MuleSoft Agent Fabric para orquestração entre sistemas e oferece o Agentforce 360 para parcerias com a AWS.
O Agentforce destina-se a organizações que necessitam de fluxos de trabalho autónomos virados para o cliente, incorporados diretamente na infraestrutura Salesforce Cloud existente.
Vantagens:
– O acesso nativo a dados de CRM através do Atlas Reasoning Engine permite ações de agente sensíveis ao contexto.
– Os agentes pré-criados disponíveis para vendas, serviço, marketing e comércio reduzem o tempo de implementação.
– Autorizado FedRAMP no Salesforce Government Cloud para setores regulamentados.
– O nível gratuito do Foundations inclui 200.000 Flex Credits para testes iniciais.
Desvantagens:
– Apenas em nuvem, SaaS sem opção de implementação no local disponível.
– Agnosticismo de models limitado; por defeito utiliza models geridos pela Salesforce com suporte restrito a fornecedores externos.
– Requer investimento no ecossistema Salesforce existente para obter o valor total.
Microsoft Copilot Studio
Vantagens:
– Incluído nas licenças do Copilot do Microsoft 365 para uso interno de agentes sem custos adicionais.3
– Agentes de voz em tempo real e suporte de telefonia IVR para cenários de atendimento ao cliente.
– Autorizado FedRAMP através do Azure Government para implementações no setor público.
– Suporta models da OpenAI, da Anthropic e frameworks de código aberto num único ambiente de construção.
Desvantagens:
– Funcionalidade limitada fora do ecossistema Microsoft; exige compromisso com o Azure ou M365 para capacidades completas.
– Sem um nível gratuito permanente e autónomo; requer uma subscrição M365 Copilot existente para utilização incluída.
– A IA de voz em tempo real está alojada apenas na América do Norte a partir de abril de 2026.
O Copilot Studio é mais económico para organizações que já utilizam o Microsoft 365, o Teams e o Azure, oferecendo automação para os funcionários que herda as configurações existentes de identidade, segurança e conformidade.
Google Agentspace e Vertex IA Agent Builder
A oferta dupla da Google combina o Agentspace para gestão de conhecimento empresarial e o Vertex IA Agent Builder para desenvolvimento low-code, diferenciada pela integração com o model Gemini, pelo contexto entre produtos do Google Workspace e pelo suporte a entradas multimodais de texto, voz e imagens.4
A plataforma oferece $300 em créditos gratuito para novos utilizadores e preços pay-as-you-go para o Vertex IA Agent Engine.
Vantagens:
– O crédito de $300 gratuito para novos utilizadores permite prototipagem extensiva sem investimento inicial.
– Implementação no local suportada através da Google Distributed Cloud para ambientes regulamentados.
– Autorizado FedRAMP através da Google Cloud.
– O Google ADK (Agent Development Kit) suporta desenvolvimento code-first em Python, TypeScript, Go e Java.
Desvantagens:
– O design centrado no Gemini limita a flexibilidade de models em comparação com plataformas totalmente agnósticas.
AWS Bedrock Agents e AgentCore
O AWS Bedrock Agents e a plataforma mais recente AgentCore fornecem gestão serverless de infraestrutura para agentes de escala empresarial, lançada no re:Invent 2025.5
Os diferenciadores incluem preços pay-as-you-go a $0.0895 por vCPU-hora para o runtime do AgentCore, opções de débito provisionado e o Mem0 como fornecedor exclusivo de memória.
Vantagens:
– Autorizado FedRAMP High no AWS GovCloud para cargas de trabalho sensíveis.
– O streaming bidirecional suporta agentes de voz com fala simultânea do utilizador e do agente.
– Nível gratuito disponível para novos clientes AWS para experimentação inicial.
– Acesso a models da Anthropic, Amazon, Meta, Mistral e AI21 através do catálogo Bedrock.
Desvantagens:
– Sem modelos de agente pré-criados específicos de domínio; requer construção de raiz usando o SDK.
– Sem opção de implementação no local; é executado exclusivamente na infraestrutura AWS.
– Construir agentes exige programação significativa de API/SDK em comparação com criadores visuais.
O AWS Bedrock serve empresas que necessitam de infraestrutura de agentes serverless escalável com integração profunda no ecossistema AWS, oferecendo eficiência de custos através de faturação granular baseada na utilização.
IBM watsonx Orchestrate
O IBM watsonx Orchestrate destina-se a empresas regulamentadas com mais de 150 agentes pré-criados específicos de domínio para RH, compras, vendas e finanças, juntamente com o Skills Studio para criar competências personalizadas.6
A plataforma oferece flexibilidade de implementação em nuvem híbrida e no local através do IBM Cloud Pak for Data e do Software Hub.
Vantagens:
– Instalação no local suportada através do IBM Cloud Pak for Data para requisitos de residência de dados.
– Mais de 150 agentes e ferramentas pré-criados da IBM e parceiros, com mais de 80 integrações de aplicações empresariais, incluindo SAP, Salesforce e Workday.
– Autorização FedRAMP alargada em abril de 2026 para implementações federais.
– Verdadeiro agnosticismo de model, suportando vários fornecedores de LLM sem dependência de fornecedor.
Desvantagens:
– Sem nível gratuito permanente; requer subscrição paga Essentials ou Standard para utilização contínua.
– As capacidades de voz e telefonia estão disponíveis no watsonx Orchestrate através da configuração nativa de voz no ADK e de integrações com fornecedores como a Deepgram e a ElevenLabs, embora a telefonia avançada possa exigir configuração adicional.
– Estrutura de preços complexa que exige orçamentos personalizados para funcionalidades empresariais.
ServiceNow IA Agents
Os ServiceNow IA Agents integram-se diretamente na Now Platform, diferenciando-se pela integração nativa com fluxos de trabalho de TI, RH e atendimento ao cliente, em vez de operarem como uma plataforma autónoma.
A plataforma inclui o IA Control Tower para governação, fluxos de trabalho agênticos pré-criados para ITSM e HRSD e um Context Engine que liga o histórico de políticas às ações dos agentes.7
Vantagens:
– Herda a governação existente da Now Platform, as regras de SLA e os fluxos de trabalho de aprovação.
– Os IA Voice Agents suportam Genesys Cloud, Twilio e 3CLogic como fornecedores CCaaS.
– Os IA Web Agents aprendem com demonstrações humanas para automatizar tarefas baseadas no navegador.
Desvantagens:
– Sem nível gratuito permanente; os novos clientes recebem apenas 100 chamadas gratuito do Build Agent.
– A autorização FedRAMP High para IA Agents, IA Agent Orchestrator e IA Agent Studio foi confirmada para clientes do Government Community Cloud (GCC) a partir de março de 2026.
– Valor limitado para organizações que ainda não utilizam o ServiceNow para gestão de serviços de TI ou RH.
Kore.ai
A Kore.ai concentra-se na IA conversacional empresarial com mais de 300 agentes pré-criados, mais de 250 integrações empresariais e uma arquitetura agnóstica em relação a model, suportando implementações na nuvem e no local.
A plataforma serve seis verticais, incluindo banca, saúde e retalho.8
Vantagens:
– Infraestrutura de voz nativa que proporciona interações de voz globais de baixa latência.
– Implementação flexível, incluindo opções no local e em nuvem privada.
– Suporta vários fornecedores de LLM.
Desvantagens:
– Sem nível gratuito permanente; oferece apenas $500 em créditos únicos para testes iniciais.
LangGraph
Vantagens:
– A licença open-source MIT permite utilização comercial e modificação sem restrições.
– O controlo determinístico do fluxo de trabalho através da arquitetura de grafo garante caminhos de execução reproduzíveis.
– A integração de observabilidade LangSmith proporciona monitorização e rastreio em produção.
Desvantagens:
– Sem criador visual no-code; requer código Python ou JavaScript para definir grafos de agentes.
– Sem integração nativa de voz ou telefonia; requer programação personalizada para canais de voz.
– Curva de aprendizagem acentuada para equipas não familiarizadas com paradigmas de programação baseados em grafos.
O LangGraph adequa-se a equipas de engenharia que constroem agentes de nível de produção que exigem lógica condicional complexa, recuperação de erros e auditabilidade dos passos de execução individuais.
CrewAI
Vantagens:
– A abstração baseada em papéis espelha as estruturas das equipas humanas para uma coordenação intuitiva dos agentes.
– Núcleo open-source gratuito sem taxas de licenciamento para implementações auto-hospedadas.
– Editor visual e copiloto de IA disponíveis no nível gratuito para membros não técnicos da equipa.
Desvantagens:
– Sem marketplace de modelos oficial mantido pelo fornecedor; depende de contribuições da comunidade.
– A abordagem code-first requer conhecimentos de Python para a criação de agentes.
– O preço do plano Enterprise está disponível apenas mediante pedido, o que pode criar incerteza orçamental para pequenas equipas em comparação com outras opções open-source.
O CrewAI permite a prototipagem rápida de pipelines de agentes baseados em papéis, sendo particularmente adequado para processamento de documentos, fluxos de trabalho de investigação e tarefas de geração de conteúdo em várias etapas.
n8n
O n8n opera sob uma licença fair-code (Sustainable Use License), oferecendo mais de 400 conectores nativos de aplicações com nós de IA visuais e infraestrutura auto-hospedável.
Vantagens:
– A Community Edition auto-hospedada inclui SSO SAML, LDAP, RBAC e armazenamento encriptado de segredos sem custos.
– Suporte nativo para LangChain e LlamaIndex em fluxos de trabalho visuais.
– O editor visual de fluxos de trabalho permite automação complexa sem programação.
Desvantagens:
– A licença fair-code exige licença paga para alojamento comercial ou produtos SaaS.
– Sem nó nativo de voz ou telefonia; requer integração externa de API para voz.
– Sem autorização FedRAMP confirmada.
O n8n faz a ponte entre a automação de fluxos de trabalho tradicional e os agentes de IA, servindo analistas de negócio técnicos e equipas de DevOps que exigem implementação auto-hospedada para residência de dados, mantendo capacidades visuais de construção.
Dify
O Dify é uma plataforma LLMOps open-source.
A plataforma suporta pipelines de RAG, ferramentas de prompt engineering e arquitetura agnóstica em relação a models.
Vantagens:
– A Community Edition auto-hospedada é permanentemente gratuito com controlo total dos dados através da implementação com Docker.
– O criador visual de fluxos de trabalho permite a criação de agentes complexos sem programação.
– Suporta centenas de LLMs proprietários e open-source de dezenas de fornecedores de inference.
Desvantagens:
– O suporte de voz requer plugins do marketplace, como Agora ou Tencent RTC; sem telefonia PSTN nativa.
– Sem autorização FedRAMP.
– O plano Cloud Team a $159 por mês pode ser dispendioso para equipas pequenas.
O Dify é adequado para equipas de produto e operações que necessitam de agentes com reconhecimento de documentos e fortes capacidades de RAG, particularmente as que dão prioridade ao controlo de dados através da auto-hospedagem.
Voiceflow
O Voiceflow diferencia-se como a única grande plataforma que trata o design de agentes voice-first como um cidadão de primeira classe e não como um extra, apresentando uma tela de design criada especificamente para agentes de voz e de chat com latência inferior a 500ms.
A plataforma é especializada na automação de tickets de atendimento ao cliente e em sistemas IVR.
Vantagens:
– Canais nativos de voz e telefonia com suporte IVR e latência inferior a 500ms.
– Capacidades de extração de entidades para consultas à base de conhecimento.
– O plano gratuito inclui 2 agentes e 100 tokens de IA mensais sem expiração.
– Tela visual concebida especificamente para fluxos de trabalho de IA conversacional.
Desvantagens:
– Implementação no local apenas disponível através de acordos empresariais personalizados.
O Voiceflow serve equipas de CX e suporte que constroem agentes conversacionais virados para o cliente e que exigem implementação em canais de voz, chat e mensagens a partir de uma única interface de design.
Relevance IA
A Relevance IA oferece flexibilidade bring-your-own-LLM (BYOLLM) com um model de faturação baseado em ações, permitindo que equipas não técnicas criem equipas multiagente através de descrições em linguagem natural.
Vantagens:
– O nível gratuito inclui 100 créditos por dia sem expiração.
– Mais de 2.000 integrações, incluindo HubSpot, Salesforce, Slack e Gmail.
– Verdadeiro agnosticismo de model, suportando vários fornecedores de LLM.
Desvantagens:
– Sem opções de auto-hospedagem ou implementação no local; apenas SaaS na nuvem.
– Sem autorização FedRAMP para setores regulamentados.
– As capacidades de voz requerem integração com Vapi ou Twilio, em vez de telefonia nativa.
Lindy IA
O Lindy IA oferece várias integrações através do Pipedream, modelos de agentes pré-criados para triagem de e-mail e agendamento, e capacidades de agente de chamadas telefónicas através da funcionalidade de voz Gaia.9
A plataforma utiliza um model de execução baseado em créditos, com um nível gratuito disponível.
Vantagens:
– O nível gratuito inclui 400 créditos por mês e uma base de conhecimento de 1 milhão de caracteres.
– Verdadeiro agnosticismo de model e uma biblioteca de integrações extensa.
Desvantagens:
– Implementação no local apenas disponível através de acordos empresariais personalizados para setores regulamentados.
Ideal para utilizadores empresariais individuais, fundadores e equipas de operações que necessitam de automação rápida de fluxos de trabalho de e-mail, calendário e CRM sem recursos de engenharia.
Metodologia
O que é que uma plataforma de agentes de IA gerida oferece efetivamente face aos seus concorrentes e face à alternativa de construir o seu próprio harness de agente? O espaço das ferramentas de IA tem aqui um ponto cego persistente. Os produtos de “agente gerido” são habitualmente comparados com os mesmos scorecards de conclusão de tarefas usados para os language models em bruto, o que mistura duas coisas muito diferentes: a capacidade do model de gerar código correto e a capacidade do harness de executar esse código de forma fiável num runtime gerido com estado, ferramentas e isolamento. Concebemos este benchmark para separar esses sinais.
O que é uma plataforma de agentes gerida?
Estamos a avaliar uma categoria específica: runtimes alojados que agrupam inference de LLM, orquestração de agentes e execução de código em sandbox num único serviço gerido. Isto é distinto de (1) LLM inference bruto via APIs, (2) frameworks de orquestração de agentes que o próprio aloja e (3) sandboxes de computação que se associam ao seu próprio model. As quatro plataformas em teste assumem cada uma forma ligeiramente diferente deste agrupamento:
- Claude Managed Agents (Anthropic): harness totalmente gerido. As definições de agente, sessões, streaming baseado em eventos, compactação e execução de ferramentas são todas do lado do servidor. Um dos dois verdadeiros concorrentes nesta categoria.
- Vertex IA Agent Engine (Google): harness totalmente gerido. Implementa um agente definido no ADK num runtime gerido; a implementação aloja o estado do agente e a execução de ferramentas. Acedido através do SDK vertexai.agent_engines.
- OpenAI Responses API com Code Interpreter: categoria adjacente. API de inference com uma ferramenta sandbox Python integrada, mas sem estado de sessão persistente multi-turno nem direcionamento em pleno fluxo.
- Controlo: Claude Messages API com um tool loop local: incluído como base de referência. O mesmo model do Claude MA (claude-sonnet-4-6), mas implementamos o loop do agente localmente em ~150 linhas de Python. As ferramentas (bash, escrever, ler, editar) são executadas num tempdir por tarefa na máquina do benchmark. Isto isola o que o harness gerido contribui para além de “model mais tool loop”. A execução do Messages API com um loop de agente local produz uma comparação em que o model é idêntico, mas o harness está ausente. Qualquer delta entre o Claude MA e o controlo é totalmente atribuível ao harness, não à capacidade do model.
O conjunto de tarefas
Dez tarefas de programação abrangendo três níveis de dificuldade. Cada tarefa tem um prompt fixo que especifica o resultado a entregar e um script de verificação que codifica critérios determinísticos de aprovação/reprovação. Cada tarefa é executada três vezes por plataforma para medir a variância.
Testes de stress específicos do harness
O conjunto de tarefas mede a correção de ponta a ponta. Não consegue medir capacidades que só existem por causa de um harness gerido: persistência de sessões com estado, direcionamento em pleno fluxo, retoma de ligação, compactação automática de contexto e tratamento gerido de artefactos do sistema de ficheiros. Para estas, concebemos dois conjuntos de testes adicionais.
Suite A: Direcionamento e Interrupção
Três testes que exercitam primitivas específicas do harness.
O A1 inicia um agente numa tarefa de programação e depois injeta um novo evento de utilizador via POST /events ao fim de 10 segundos, alterando os requisitos, e verifica, ao inspecionar o sistema de ficheiros do contentor, se o artefacto final reflete o novo requisito em vez do original.
O A2 abre um fluxo SSE, derruba a ligação após quatro eventos, volta a ligar e verifica se a sessão ainda atinge o estado status_idle.
O A3 envia um prompt deliberadamente contraditório e mede se o agente pede esclarecimento ou escolhe silenciosamente uma interpretação.
Apenas o A3 é portável entre plataformas. A injeção de eventos em pleno fluxo do A1 não tem equivalente direto no OpenAI Responses (pedido/resposta única) nem no Vertex Agent Engine (o session model não suporta injeção de mensagens em curso). O desconectar/reconectar do A2 também não tem equivalente noutros locais. Estas são vantagens estruturais genuínas do session model orientado a eventos do Claude MA, não sendo avaliáveis nas alternativas. Executámos o A1 e o A2 apenas no Claude MA e executámos o A3 tanto no Claude MA como no Vertex Agent Engine.
Suite B: Compactação e Contexto
Dois testes que exercitam funcionalidades de contexto gerido.
O B1 coloca uma string canário única (um token derivado de UUID) no primeiro turno de uma sessão, executa 23 turnos de enchimento com pequenas tarefas de programação não relacionadas, cada uma produzindo chamadas de ferramentas e resultados de ferramentas, e depois pede ao agente para recordar o canário da memória no 25 turno sem ser permitida qualquer consulta a ficheiros. A recordação bem-sucedida após 23 turnos de enchimento é prova de que o harness preserva o contexto inicial através de qualquer política de compactação que utilize.
O B2 pede ao agente para gerar um ficheiro de texto com 50.000 linhas e um marcador oculto, e depois responder a uma pergunta que exige encontrar o marcador. Isto testa se o agente consegue raciocinar sobre artefactos maiores do que a sua janela de contexto sem tentar ler o ficheiro inteiro.
Tanto o B1 como o B2 foram executados no Claude MA e no Vertex Agent Engine, usando os mesmos prompts e protocolos.
LLM-as-judge para pontuação comportamental
Para a Suite A3 (contradições), a aprovação/reprovação não é uma verificação determinística; tratámos “o agente pediu esclarecimento?” como um julgamento qualitativo sobre o comportamento conversacional. Utilizamos um design de LLM-as-judge com três salvaguardas metodológicas:
- O model do juiz é diferente do model testado: o Claude Opus 4.6 é o juiz para evitar o enviesamento de autoavaliação.
- Rubrica estruturada com 4 dimensões booleanas: o juiz devolve uma pontuação em JSON: recognized_contradiction, asked_for_clarification, proceeded_with_assumption, documented_assumption e um parágrafo de fundamentação.
- Verificação de consistência em 3 execuções: cada julgamento é executado 3 vezes. Reportamos o consenso maioritário e a taxa de concordância por dimensão. Se a concordância de qualquer dimensão ficar abaixo de 67%, o juiz é assinalado como inconsistente nessa dimensão e o resultado é tratado como de baixa confiança.
Uma heurística de palavras-chave corre em paralelo como verificação de sanidade. As divergências entre a heurística e o juiz são registadas para revisão manual.
Pontuação
Para cada tarefa executada em cada plataforma:
- Aprovação/reprovação
- Tempo de execução: segundos decorridos desde o envio do prompt até à receção do evento terminal (status_idle para o Claude MA, conclusão da tarefa para o Vertex AE, conclusão da resposta para a OpenAI, saída do tool loop para o controlo).
- Contagem de chamadas de ferramentas: invocações distintas de ferramentas. Útil como impressão digital comportamental; menos útil como métrica de eficiência porque a granularidade das ferramentas difere significativamente entre plataformas.
- Utilização de tokens: analisada a partir de eventos model_request_end no Claude MA, usage_metadata no Vertex AE, response.usage na OpenAI e acumulação por turno no message loop do controlo. Dividida em entrada, saída, leitura de cache e criação de cache.
- Custo em USD: calculado a partir da utilização de tokens face aos preços publicados: claude-sonnet-4-6 a $3/$15/$0.30/$3.75 por milhão; gpt-5.4 a $2.50/$15/$0.25; gemini-2.5-pro a $1.25/$10/$0.13. São adicionadas taxas de infraestrutura específicas da plataforma: $0.08/sessão-hora do Claude MA, rateada pelo tempo de execução; $0.03/contentor da OpenAI quando ocorreu alguma chamada de ferramenta; e a taxa de alojamento aproximada de $0.35/hora do Vertex AE, rateada pelo tempo de atividade da implementação.
Os resultados das Suites A e B capturam adicionalmente métricas ao nível da sessão (turnos, recordação do canário, consenso e concordância do juiz).
Considerações de equidade e limitações conhecidas
Várias assimetrias na configuração afetam a forma como os números devem ser lidos; destacamo-las explicitamente:
O controlo executa as ferramentas na máquina do benchmark sem round-trip na nuvem. Isto dá-lhe uma vantagem injusta no tempo de execução que não reflete tanto a velocidade do agente, mas sim a ausência de rede. Quando observamos o controlo a concluir tarefas ~25% mais depressa do que o Claude MA no mesmo model, cerca de metade dessa diferença é assimetria de round-trip.
O Code Interpreter da OpenAI opera numa sandbox com restrições de rede. As tarefas 06 (cliente de API REST) e 10 (descarregador concorrente) exigem HTTP de saída, o que o CI só permite de forma intermitente. As falhas da OpenAI nessas tarefas são falhas da política da sandbox, não falhas de capacidade do model. O GPT-5.4 consegue escrever código HTTP concorrente correto; a plataforma nem sempre consegue executá-lo. Os leitores não devem interpretar “a OpenAI falha em tarefas de rede” como uma afirmação sobre o model.
O Gemini 3.1-pro-preview está limitado por uma allowlist de pré-visualização ao nível do projeto. Tentámos avaliar este model tanto através da API direta do Vertex como do Vertex Agent Engine. As chamadas diretas à API devolveram 404; as implementações no Agent Engine com o model foram bem-sucedidas no momento da implementação, mas as chamadas de inference devolveram zero eventos sem erro. Recuámos para o gemini-2.5-pro.
Um conjunto de tarefas de refatoração de várias horas, depuração em bases de código desconhecidas ou fluxos de trabalho autónomos de longa duração stressaria os harnesses de forma diferente e provavelmente separaria as opções de topo com mais clareza.
Não medimos a latência de provisionamento, o comportamento de cold-start, o desempenho de sessões concorrentes nem os limites de rate limit. Estes aspetos são importantes para cargas de trabalho de produção de elevado débito, mas ficaram fora do âmbito desta ronda.
Funcionalidades comuns a todas as plataformas de agentes de IA
Todas as plataformas nesta comparação fornecem capacidades de base que definem a categoria de agentes de IA. Estas funcionalidades comuns estabelecem o produto mínimo viável para a automação agêntica, enquanto as funcionalidades diferenciadoras determinam a escolha da plataforma.
Orquestração multiagente: todas as plataformas suportam orquestração multiagente, embora a implementação varie (ver secções individuais das plataformas acima).
Utilização de ferramentas e integrações externas: os agentes em todas as plataformas podem chamar APIs, bases de dados e aplicações empresariais externas. O número de conectores pré-criados varia de aproximadamente 50 (Dify) a mais de 2.000 (Relevance IA), com todas as plataformas a suportarem definições personalizadas de API.
Memória persistente e gestão de contexto: reter informações dentro de sessões (memória de curto prazo) e entre sessões (memória de longo prazo) é uma capacidade padrão, conseguida através de bases de dados vetoriais, objetos de sessão ou janelas de contexto configuráveis, dependendo da plataforma.
Monitorização e observabilidade: todas as plataformas expõem logs, traces ou análises para inspecionar a execução dos agentes, acompanhar a utilização de tokens e a latência e identificar falhas.
Supervisão humana e controlos de aprovação: os mecanismos de revisão humana, aprovação ou anulação de ações dos agentes estão presentes em todas as plataformas. Exemplos incluem os portões de aprovação por ferramenta do n8n, as primitivas de interrupção e retoma do LangGraph, os controlos de políticas do Bedrock AgentCore, o ServiceNow IA Control Tower e a escalada automática do Lindy.
Base de conhecimento e geração aumentada por recuperação (RAG): fundamentar os agentes em conhecimento personalizado através da indexação e recuperação de documentos é uma capacidade de base em toda a categoria. As implementações incluem a pipeline de RAG da Dify, a Voiceflow Knowledge Base, as Bedrock Knowledge Bases, o Vertex IA RAG Engine e o Kore.ai Search IA.
Interface de criação de agentes no-code ou low-code: as interfaces gráficas ou de linguagem natural para a criação de agentes estão disponíveis em todas as plataformas. As plataformas empresariais oferecem estúdios no-code (Agentforce Builder, Copilot Studio, watsonx Orchestrate), enquanto as frameworks de programação fornecem ferramentas visuais complementares (LangGraph Studio, AutoGen Studio, CrewAI Studio).
Cite esta pesquisa
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{alper2026,
author = {Alper, Şevval},
title = {{Benchmark de Plataformas de Agentes de IA: Claude Managed Agents vs Google Vertex Agent Engine}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/ai-agent-platforms}},
note = {AIMultiple. Acessado em 14 Agosto 2026}
}
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.