Benchmark delle piattaforme di agenti AI: Claude Managed Agents vs Google Vertex Agent Engine
Abbiamo eseguito benchmark su 4 piattaforme di agenti AI in 3 dimensioni: completamento dei task (10 task di codifica × 3 esecuzioni), capacità specifiche dell'harness (steering, riconnessione, richiamo conversazioni lunghe, gestione file grandi) e costo.
Risultati del benchmark delle piattaforme di agenti AI
Piattaforma | Modello | Tasso di successo | Tempo reale | Costo | Token |
|---|---|---|---|---|---|
Claude Managed Agents | Claude Sonnet 4.6 | 30/30 (100%) | 1.172s | 2,50 $ | 93k |
Vertex AI Agent Engine | Gemini 2.5 Pro | 30/30 (100%) | 1.447s | 1,45 $ | 159k |
OpenAI Responses + CI | GPT-5.4 | 27/30 (90%) | 522s | 1,54 $ | 113k |
Controllo (self-hosted) | Claude Sonnet 4.6 | 30/30 (100%) | 794s | 1,96 $ | 464k |
Claude Managed Agents e Vertex AI Agent Engine raggiungono entrambi tassi di successo del 100% sulla suite di task, con Vertex che vince sul costo (1,45 $ contro 2,50 $). Per le funzionalità specifiche dell'harness disponibili solo sulle piattaforme gestite come lo steering a metà flusso, disconnessione/riconnessione, compattazione conversazioni lunghe, Claude Managed Agents è il più capace, ma Vertex Agent Engine lo eguaglia nei test portabili (compattazione, gestione file grandi).
Risultati chiave dal benchmark dei task
- Claude MA e Vertex AE sono pari per tasso di successo a 30/30 (100%). Entrambi gestiscono tutti i tipi di task inclusi i task di rete (06, 10) che hanno fatto fallire OpenAI.
- I fallimenti di OpenAI derivano dalla sua policy sandbox. I task 06 (REST API) e 10 (downloader concorrente) richiedono entrambi HTTP in uscita. La sandbox di Code Interpreter lo limita e entrambi hanno fallito 2/3 e 1/3 rispettivamente. Abbiamo visto che GPT-5.4 può scrivere il codice, ma la sandbox non lo esegue in modo affidabile.
- Vertex AE è il più economico con un totale di 1,45 $. Claude MA è il più costoso a 2,50 $. È il 72% in più rispetto a Vertex sulla stessa suite di task con lo stesso tasso di successo.
- Vertex AE è il più lento. L'orchestrazione Managed ADK aggiunge overhead.
Capacità specifiche dell'harness
Due piattaforme sono confrontate testa a testa su funzionalità che esistono solo perché c'è un harness gestito.
Vedi il metodologia del benchmark sotto.
Piattaforme di agenti AI
Claude Managed Agents
Anthropic's Claude Managed Agents fornisce un runtime di agenti ospitato che combina sessioni stateful, esecuzione tool integrata, streaming basato su eventi e compattazione automatica per carichi di lavoro autonomi di lunga durata. La piattaforma si differenzia per primitive uniche non disponibili in offerte comparabili come l'iniezione di eventi utente a metà flusso per lo steering in volo, stream SSE recuperabili per disconnessione/riconnessione e integrazione nativa server MCP. Sono tutti forniti come servizio completamente gestito senza infrastruttura da provisionare per gli sviluppatori.1
Il prezzo è di 0,08 $ per ora di sessione oltre ai costi standard dei token Claude API.
Vantaggi:
- Sessioni stateful con iniezione di eventi a metà flusso permettono nuovi messaggi utente di guidare gli agenti durante l'esecuzione in volo.
- Supporto disconnessione e riconnessione tramite stream SSE persistenti; le sessioni continuano l'esecuzione lato server attraverso interruzioni di rete e i client possono riprendere il consumo eventi alla riconnessione.
- Set di tool agenti integrato include bash, operazioni file (lettura, scrittura, modifica, glob, grep) e tool web (web_fetch, web_search) accessibili tramite un singolo parametro di configurazione, eliminando il cablaggio tool personalizzato.
- Integrazione nativa server MCP (Model Context Protocol) per estensioni tool personalizzate senza modificare il set di tool integrato dell'agente.
Svantaggi:
- Attualmente in beta; tutte le richieste richiedono l'intestazione beta managed-agents-2026-04-01 e il comportamento può affinarsi tra le release.
- Solo Claude, nessuna flessibilità del modello rispetto a piattaforme come AWS Bedrock AgentCore o Northflank che supportano più provider di modelli.
Salesforce Agentforce
Salesforce Agentforce si differenzia per l'accesso nativo ai dati CRM tramite l'Atlas Reasoning Engine e agenti pre-costruiti per flussi di lavoro vendite, assistenza, marketing e commercio.2
La piattaforma si integra con MuleSoft Agent Fabric per l'orchestrazione cross-sistema e offre Agentforce 360 per partnership AWS.
Agentforce serve organizzazioni che richiedono flussi di lavoro autonomi rivolti al cliente incorporati direttamente nella loro infrastruttura esistente Salesforce Cloud.
Vantaggi:
– Accesso nativo ai dati CRM tramite Atlas Reasoning Engine abilita azioni agenti consapevoli del contesto.
– Agenti pre-costruiti disponibili per vendite, assistenza, marketing e commercio riducono il time-to-deployment.
– Autorizzato FedRAMP su Salesforce Government Cloud per industrie regolamentate.
– Il piano gratuito Foundations include 200.000 Flex Credits per test iniziali.
Svantaggi:
– Solo cloud SaaS senza opzione di deployment on-premise disponibile.
– Limitato agnosticismo del modello; predefinito su modelli gestiti da Salesforce con supporto provider esterno limitato.
– Richiede investimento esistente nell'ecosistema Salesforce per realizzare il pieno valore.
Microsoft Copilot Studio
Vantaggi:
– Incluso con licenze Microsoft 365 Copilot per uso agente interno senza costi aggiuntivi.3
– Agenti vocali in tempo reale e supporto telefonia IVR per scenari di assistenza clienti.
– Autorizzato FedRAMP tramite Azure Government per deployment settore pubblico.
– Supporta OpenAI, modelli Anthropic e framework open-source in un singolo ambiente di build.
Svantaggi:
– Funzionalità limitate fuori dall'ecosistema Microsoft; richiede impegno Azure o M365 per funzionalità complete.
– Nessun piano gratuito permanente standalone; richiede abbonamento M365 Copilot esistente per l'uso incluso.
– Modello vocale AI in tempo reale ospitato solo in Nord America a partire da aprile 2026.
Copilot Studio è più conveniente per organizzazioni che usano già Microsoft 365, Teams e Azure, offrendo automazione rivolta ai dipendenti che eredita configurazioni identità, sicurezza e conformità esistenti.
Google Agentspace e Vertex AI Agent Builder
La doppia offerta di Google combina Agentspace per la gestione conoscenza aziendale e Vertex AI Agent Builder per sviluppo low-code, differenziata dall'integrazione modello Gemini, contesto cross-prodotto Google Workspace e supporto input multimodale per testo, voce e immagini.4
La piattaforma fornisce 300 $ in crediti gratuiti per nuovi utenti e prezzi pay-as-you-go per Vertex AI Agent Engine.
Vantaggi:
– 300 $ di credito gratuito per nuovi utenti abilita prototipazione estesa senza investimento anticipato.
– Deployment on-premise supportato tramite Google Distributed Cloud per ambienti regolamentati.
– Autorizzato FedRAMP tramite Google Cloud.
– Google ADK (Agent Development Kit) supporta sviluppo code-first in Python, TypeScript, Go e Java.
Svantaggi:
– Design primario Gemini limita la flessibilità del modello rispetto a piattaforme pienamente agnostiche.
AWS Bedrock Agents e AgentCore
AWS Bedrock Agents e la nuova piattaforma AgentCore forniscono gestione infrastruttura serverless per agenti enterprise-scale, lanciati a re:Invent 2025.5
I differenziatori includono prezzi pay-as-you-go a 0,0895 $ per ora vCPU per runtime AgentCore, opzioni throughput provisionato e Mem0 come provider memoria esclusivo.
Vantaggi:
– Autorizzato FedRAMP High su AWS GovCloud per carichi di lavoro sensibili.
– Streaming bidirezionale supporta agenti vocali con parlato simultaneo da utente e agente.
– Piano gratuito disponibile per nuovi clienti AWS per sperimentazione iniziale.
– Accesso a modelli da Anthropic, Amazon, Meta, Mistral e AI21 tramite catalogo Bedrock.
Svantaggi:
– Nessun template agente pre-costruito specifico per dominio; richiede build da zero usando SDK.
– Nessuna opzione deployment on-premise; eseguito esclusivamente su infrastruttura AWS.
– Costruire agenti richiede significativa codifica API/SDK rispetto a builder visivi.
AWS Bedrock serve imprese che richiedono infrastruttura agente scalabile e serverless con integrazione profonda nell'ecosistema AWS, offrendo efficienza dei costi tramite fatturazione granulare basata sull'uso.
IBM watsonx Orchestrate
IBM watsonx Orchestrate mira a imprese regolamentate con oltre 150 agenti specifici per dominio pre-costruiti per HR, acquisti, vendite e finanza, insieme a Skills Studio per costruire competenze personalizzate.6
La piattaforma offre flessibilità deployment cloud ibrido e on-premise tramite IBM Cloud Pak for Data e Software Hub.
Vantaggi:
– Installazione on-premise supportata tramite IBM Cloud Pak for Data per requisiti residenza dati.
– Oltre 150 agenti e tool pre-costruiti da IBM e partner, con oltre 80 integrazioni applicazioni aziendali inclusi SAP, Salesforce e Workday.
– Autorizzazione FedRAMP espansa ad aprile 2026 per deployment federali.
– Vero agnosticismo del modello che supporta più provider LLM senza lock-in vendor.
Svantaggi:
– Nessun piano gratuito permanente; richiede abbonamento Essentials o Standard a pagamento per uso continuativo.
– Capacità voce e telefonia disponibili in watsonx Orchestrate tramite configurazione voce nativa nell'ADK e integrazioni con provider come Deepgram e ElevenLabs, sebbene telefonia avanzata possa richiedere configurazione aggiuntiva.
– Struttura prezzi complessa che richiede preventivi personalizzati per funzionalità enterprise.
ServiceNow AI Agents
ServiceNow AI Agents si incorporano direttamente nella Now Platform, differenziandosi per integrazione nativa con flussi di lavoro IT, HR e assistenza clienti piuttosto che operare come piattaforma standalone.
La piattaforma include AI Control Tower per governance, flussi di lavoro agentici pre-costruiti per ITSM e HRSD e un Context Engine che collega la storia delle policy alle azioni dell'agente.7
Vantaggi:
– Eredita governance, regole SLA e flussi di lavoro approvazione esistenti della Now Platform.
– AI Voice Agents supportano Genesys Cloud, Twilio e 3CLogic come provider CCaaS.
– AI Web Agents imparano da dimostrazioni umane per automatizzare task basati su browser.
Svantaggi:
– Nessun piano gratuito permanente; nuovi clienti ricevono solo 100 chiamate Build Agent gratuite.
– Autorizzazione FedRAMP High per AI Agents, AI Agent Orchestrator e AI Agent Studio confermata per clienti Government Community Cloud (GCC) a partire da marzo 2026.
– Valore limitato per organizzazioni che non usano già ServiceNow per gestione servizi IT o HR.
Kore.ai
Kore.ai si concentra su AI conversazionale enterprise con oltre 300 agenti pre-costruiti, oltre 250 integrazioni aziendali e architettura agnostica del modello che supporta deployment cloud e on-premise.
La piattaforma serve sei verticali inclusi banche, sanità e retail.8
Vantaggi:
– Infrastruttura voce nativa che consegna interazioni vocali globali a bassa latenza.
– Deployment flessibile inclusi opzioni on-premises e cloud privato.
– Supporto multipli provider LLM.
Svantaggi:
– Nessun piano gratuito permanente; offre solo 500 $ in crediti una tantum per test iniziali.
LangGraph
Vantaggi:
– Licenza open-source MIT permette uso commerciale e modifica senza restrizioni.
– Controllo flusso deterministico tramite architettura graph garantisce percorsi esecuzione riproducibili.
– Integrazione osservabilità LangSmith fornisce monitoraggio produzione e tracciamento.
Svantaggi:
– Nessun builder no-code visivo; richiede codice Python o JavaScript per definire graph agenti.
– Nessuna integrazione voce o telefonia nativa; richiede codifica personalizzata per canali voce.
– Curva di apprendimento ripida per team non familiari con paradigmi di programmazione basati su graph.
LangGraph si adatta a team ingegneristici che costruiscono agenti production-grade che richiedono logica condizionale complessa, recupero errori e auditabilità dei singoli passaggi esecuzione.
CrewAI
Vantaggi:
– Astrazione basata su ruoli specchia strutture team umane per coordinamento agenti intuitivo.
– Core open-source gratuito senza costi licenza per deployment self-hosted.
– Editor visivo e AI copilot disponibili nel piano gratuito per membri team non tecnici.
Svantaggi:
– Nessun marketplace template mantenuto dal vendor ufficiale; si affida a contributi community.
– Approccio code-first richiede conoscenza Python per creazione agenti.
– Prezzi piano enterprise disponibili solo su richiesta, il che può creare incertezza budget per piccoli team rispetto ad altre opzioni open-source.
CrewAI abilita prototipazione rapida di pipeline agenti basate su ruoli, particolarmente adatto per elaborazione documenti, flussi di lavoro ricerca e task generazione contenuti multi-step.
n8n
n8n opera sotto licenza fair-code (Sustainable Use License), offrendo oltre 400 connettori app nativi con nodi AI visivi e infrastruttura self-hostable.
Vantaggi:
– Community Edition self-hosted include SSO SAML, LDAP, RBAC e secret store crittografati senza costi.
– Supporto nativo per LangChain e LlamaIndex all'interno flussi di lavoro visivi.
– Editor flusso di lavoro visivo abilita automazione complessa senza codifica.
Svantaggi:
– Licenza fair-code richiede licenza a pagamento per hosting commerciale o prodotti SaaS.
– Nessun nodo voce o telefonia nativo; richiede integrazione API esterna per voce.
– Nessuna autorizzazione FedRAMP confermata.
n8n colma automazione flussi di lavoro tradizionali e agenti AI, servendo business analyst tecnici e team DevOps che richiedono deployment self-hosted per residenza dati mantenendo capacità build visive.
Dify
Dify è una piattaforma LLMOps open-source.
La piattaforma supporta pipeline RAG, tool ingegneria prompt e architettura agnostica del modello.
Vantaggi:
– Community Edition self-hosted è permanentemente gratuita con pieno controllo dati tramite deployment Docker.
– Builder flusso di lavoro visivo abilita creazione agenti complessa senza codifica.
– Supporta centinaia di LLM proprietari e open-source da dozzine di provider inference.
Svantaggi:
– Supporto voce richiede plugin marketplace come Agora o Tencent RTC; nessuna telefonia PSTN nativa.
– Nessuna autorizzazione FedRAMP.
– Piano Cloud Team a 159 $ al mese può essere costoso per piccoli team.
Dify si adatta a team prodotto e operazioni che richiedono agenti consapevoli dei documenti con forti capacità RAG, particolarmente quelli che priorizzano controllo dati tramite self-hosting.
Voiceflow
Voiceflow si differenzia come l'unica piattaforma maggiore che tratta il design agente first-voice come cittadino di prima classe piuttosto che un'aggiunta, con una canvas di design dedicata per agenti voce e chat con latenza sotto 500ms.
La piattaforma si specializza in automazione ticket assistenza clienti e sistemi IVR.
Vantaggi:
– Canali voce e telefonia nativi con supporto IVR e latenza sotto 500ms.
– Capacità estrazione entità per query knowledge base.
– Piano gratuito include 2 agenti e 100 token AI mensili senza scadenza.
– Canvas visivo progettato specificamente per flussi di lavoro AI conversazionale.
Svantaggi:
– Deployment on-premise disponibile solo tramite accordi enterprise personalizzati.
Voiceflow serve team CX e supporto che costruiscono agenti conversazionali rivolti al cliente che richiedono deployment su canali voce, chat e messaggistica da un'unica interfaccia di design.
Relevance AI
Relevance AI offre flessibilità bring-your-own-LLM (BYOLLM) con modello di fatturazione basato su azioni, permettendo a team non tecnici di costruire team multi-agente tramite descrizioni linguaggio naturale.
Vantaggi:
– Piano gratuito include 100 crediti al giorno senza scadenza.
– Oltre 2.000 integrazioni inclusi HubSpot, Salesforce, Slack e Gmail.
– Vero agnosticismo del modello che supporta multipli provider LLM.
Svantaggi:
– Nessun self-hosting o opzioni deployment on-premise; solo cloud SaaS.
– Nessuna autorizzazione FedRAMP per industrie regolamentate.
– Capacità voce richiedono integrazione con Vapi o Twilio piuttosto che telefonia nativa.
Lindy AI
Lindy AI fornisce varie integrazioni tramite Pipedream, template agenti pre-costruiti per triage email e scheduling e capacità agente chiamate telefoniche tramite la funzione voce Gaia.9
La piattaforma usa un modello esecuzione basato su crediti con piano gratuito disponibile.
Vantaggi:
– Piano gratuito include 400 crediti al mese e knowledge base da 1 milione di caratteri.
– Vero agnosticismo del modello e libreria integrazioni estesa.
Svantaggi:
– Deployment on-premise disponibile solo tramite accordi enterprise personalizzati per industrie regolamentate.
Ideale per singoli utenti business, fondatori e team operazioni che richiedono automazione rapida email, calendario e flussi di lavoro CRM senza risorse ingegneristiche.
Metodologia
Cosa fornisce effettivamente una piattaforma di agenti AI gestita rispetto ai concorrenti e rispetto all'alternativa di costruire il proprio harness agente? Lo spazio tooling AI ha un punto cieco persistente qui. I prodotti "agente gestito" sono regolarmente confrontati usando le stesse schede completamento task usate per modelli linguistici grezzi, il che confonde due cose molto diverse: la capacità del modello di generare codice corretto e la capacità dell'harness di eseguire quel codice in modo affidabile in un runtime gestito con stato, tool e isolamento. Abbiamo progettato questo benchmark per separare quei segnali.
Cos'è una piattaforma di agenti gestiti?
Stiamo eseguendo benchmark su una categoria specifica: runtime ospitati che includono inferenza LLM, orchestrazione agenti ed esecuzione codice sandboxizzata in un singolo servizio gestito. Questo è distinto da (1) inferenza LLM grezza APIs, (2) framework orchestrazione agenti che ospiti tu stesso e (3) sandbox compute che abbini al tuo modello. Le quattro piattaforme in test assumono ciascuna una forma leggermente diversa di questo pacchetto:
- Claude Managed Agents (Anthropic): Harness gestito completo. Definizioni agenti, sessioni, streaming basato su eventi, compattazione ed esecuzione tool sono tutti lato server. Uno dei due veri competitor in questa categoria.
- Vertex AI Agent Engine (Google): Harness gestito completo. Distribuisci un agente definito ADK su un runtime gestito; il deployment ospita lo stato agente ed esecuzione tool. Accessibile tramite SDK vertexai.agent_engines.
- OpenAI Responses API con Code Interpreter: Categoria adiacente. Inferenza API con tool sandbox Python integrato, ma senza stato sessione multi-turno persistente o steering a metà flusso.
- Controllo: Claude Messages API con loop tool locale: Incluso come baseline. Stesso modello di Claude MA (claude-sonnet-4-6), ma implementiamo il loop agente localmente in circa 150 righe di Python. Tool (bash, write, read, edit) eseguono in un tempdir per task sulla macchina benchmark. Questo isola cosa contribuisce l'harness gestito oltre a "modello più loop tool". Eseguire Messages API con loop agente locale produce un confronto dove il modello è identico ma l'harness è assente. Qualsiasi delta tra Claude MA e il controllo è attribuibile interamente all'harness, non alla capacità del modello.
La suite di task
Dieci task di codifica che coprono tre livelli di difficoltà. Ogni task ha un prompt fisso che specifica il deliverable, uno script di verifica che codifica criteri pass/fail deterministici. Ogni task viene eseguito tre volte per piattaforma per misurare la varianza.
Test stress specifici dell'harness
La suite di task misura correttezza end-to-end. Non può misurare capacità che esistono solo perché c'è un harness gestito: persistenza sessione stateful, steering a metà flusso, ripresa connessione, compattazione contesto automatica e gestione artifact filesystem gestito. Per questi, abbiamo progettato due suite di test aggiuntive.
Suite A: Steering & Interruzione
Tre test che esercitano primitive specifiche dell'harness.
A1 avvia un agente su un task di codifica, poi inietta un nuovo evento utente via POST /events dopo 10 secondi cambiando i requisiti e verifica ispezionando il filesystem del container che l'artifact finale riflette il nuovo requisito piuttosto che l'originale.
A2 apre uno stream SSE, interrompe la connessione dopo quattro eventi, si riconnette e verifica che la sessione raggiunga ancora status_idle.
A3 invia un prompt deliberatamente contraddittorio e misura se l'agente chiede chiarimenti o sceglie silenziosamente un'interpretazione.
Solo A3 è portabile tra piattaforme. L'iniezione evento a metà flusso di A1 non ha equivalente diretto su OpenAI Responses (singola richiesta/risposta) o Vertex Agent Engine (modello sessione manca iniezione messaggio in volo). La disconnessione/riconnessione di A2 non ha equivalente altrove. Questi sono vantaggi strutturali genuini del modello sessione event-driven di Claude MA, non testabili sulle alternative. Abbiamo eseguito A1 e A2 solo su Claude MA e A3 su entrambi Claude MA e Vertex Agent Engine.
Suite B: Compattazione & Contesto
Due test che esercitano funzionalità contesto gestito.
B1 pianta una stringa canario unica (token derivato UUID) nel primo turno di una sessione, esegue 23 turni di padding di piccoli task di codifica non correlati ciascuno producendo chiamate tool e risultati tool, poi chiede all'agente di ricordare la canario dalla memoria al 25° turno senza lookup file consentito. Il richiamo riuscito dopo 23 turni di padding è prova che l'harness preserva il contesto iniziale attraverso qualsiasi politica di compattazione usi.
B2 chiede all'agente di generare un file di testo da 50.000 righe con un marker sepolto, poi rispondere a una domanda che richiede di trovare il marker. Questo testa se l'agente può ragionare su artifact più grandi della sua finestra contesto senza tentare di leggere l'intero file.
Sia B1 che B2 sono stati eseguiti su entrambi Claude MA e Vertex Agent Engine, usando gli stessi prompt e protocolli.
LLM-as-judge per punteggio comportamentale
Per Suite A3 (contraddizioni), pass/fail non è un controllo deterministico; abbiamo trattato "l'agente ha chiesto chiarimenti" come un giudizio qualitativo sul comportamento conversazionale. Usiamo un design LLM-as-judge con tre guardie metodologiche:
- Il modello giudice è diverso dal modello testato: Claude Opus 4.6 è il giudice per evitare bias auto-valutazione.
- Rubrica strutturata con 4 dimensioni booleane: Il giudice restituisce punteggio JSON: recognized_contradiction, asked_for_clarification, proceeded_with_assumption, documented_assumption e un paragrafo di ragionamento.
- Controllo coerenza 3-esecuzioni: Ogni giudizio viene eseguito 3 volte. Riportiamo consenso maggioranza per-dimensione e tasso accordo per-dimensione. Se l'accordo di qualsiasi dimensione scende sotto il 67%, il giudice è segnalato come inconsistente su quella dimensione e il risultato è trattato come bassa confidenza.
Un euristica keyword esegue in parallelo come controllo di sanità mentale. La divergenza tra euristica e giudice è registrata per revisione manuale.
Punteggio
Per ogni esecuzione task su ogni piattaforma:
- Pass/fail
- Tempo reale: Secondi trascorsi dall'invio del prompt alla ricezione dell'evento terminale (status_idle per Claude MA, completamento task per Vertex AE, completamento risposta per OpenAI, uscita loop tool per controllo).
- Conteggio chiamate tool: Chiamate tool distinte. Utile come impronta comportamentale; meno utile come metrica efficienza perché granularità tool differisce significativamente tra piattaforme.
- Utilizzo token: Analizzato da eventi model_request_end su Claude MA, usage_metadata su Vertex AE, response.usage su OpenAI, accumulo per turno nel loop messaggi del controllo. Suddiviso in input, output, cache read e cache creation.
- Costo in USD: Calcolato dall'uso token contro prezzi pubblicati: claude-sonnet-4-6 a 3/15/0,30/3,75 $ per milione; gpt-5.4 a 2,50/15/0,25 $; gemini-2.5-pro a 1,25/10/0,13 $. Fee infrastruttura specifiche piattaforma sono aggiunte: 0,08 $/ora sessione di Claude MA proporzionato per tempo reale, 0,03 $/container di OpenAI quando è avvenuta qualsiasi chiamata tool, fee hosting circa 0,35 $/ora di Vertex AE proporzionato per uptime deployment.
I risultati Suite A e B catturano inoltre metriche livello sessione (turni, richiamo canario, consenso giudice e accordo).
Considerazioni equità e limitazioni note
Alcune asimmetrie nell'impostazione influenzano come leggere i numeri; le evidenziamo esplicitamente:
Il controllo esegue esecuzione tool sulla macchina benchmark senza round-trip cloud. Questo gli dà un vantaggio tempo reale ingiusto che non riflette la velocità agente quanto tanto il salto di rete. Quando osserviamo il controllo completare task circa il 25% più velocemente di Claude MA sullo stesso modello, circa metà di quel divario è asimmetria round-trip.
Code Interpreter di OpenAI opera in sandbox con restrizioni di rete. I task 06 (REST API) e 10 (downloader concorrente) richiedono HTTP in uscita, che CI permette solo intermittente. I fallimenti di OpenAI su quei task sono fallimenti policy sandbox, non fallimenti capacità modello. GPT-5.4 può scrivere codice HTTP concorrente corretto; la piattaforma non può sempre eseguirlo. I lettori non dovrebbero interpretare "OpenAI fallisce su task di rete" come affermazione sul modello.
Gemini 3.1-pro-preview è bloccato dietro allowlisting preview livello progetto. Abbiamo tentato di eseguire benchmark su questo modello sia tramite API Vertex diretta che Vertex Agent Engine. Chiamate API dirette hanno restituito 404; deployment Agent Engine con il modello hanno avuto successo al deploy time, ma chiamate inference hanno restituito zero eventi senza errore. Siamo passati a gemini-2.5-pro.
Una suite di task refactoring multi-ora, debug in codebase sconosciute o flussi di lavoro autonomi di lunga durata stresserebbe gli harness diversamente e probabilmente separerebbe le opzioni top-tier più chiaramente.
Non abbiamo misurato latenza provisioning, comportamento cold-start, prestazioni sessione concorrente o soffitti rate-limit. Questi sono importanti per carichi di lavoro produzione ad alto throughput ma erano fuori scope per questo round.
Funzionalità comuni a tutte le piattaforme di agenti AI
Ogni piattaforma in questo confronto fornisce capacità di base che definiscono la categoria agenti AI. Queste funzionalità comuni stabiliscono il prodotto minimo vitale per automazione agentiche, mentre le funzionalità differenzianti determinano la selezione piattaforma.
Orchestrazione multi-agente: Tutte le piattaforme supportano orchestrazione multi-agente, sebbene l'implementazione vari (vedi sezioni piattaforma individuali sopra).
Uso tool e integrazioni esterne: Agenti su ogni piattaforma possono chiamare APIs esterne, database e applicazioni aziendali. I conteggi connettori pre-costruiti variano da circa 50 (Dify) a 2.000+ (Relevance AI), con tutte le piattaforme che supportano definizioni API personalizzate.
Memoria persistente e gestione contesto: Mantenere informazioni all'interno sessioni (memoria a breve termine) e tra sessioni (memoria a lungo termine) è una capacità standard, ottenuta tramite database vettoriali, oggetti sessione o finestre contesto configurabili a seconda della piattaforma.
Monitoraggio e osservabilità: Ogni piattaforma espone log, trace o analytics per ispezionare esecuzione agente, tracciare uso token e latenza e identificare fallimenti.
Sorveglianza umana e controlli approvazione: Meccanismi per revisione umana, approvazione o override azioni agenti sono presenti su ogni piattaforma. Esempi includono gate approvazione per tool di n8n, primitive interrupt-and-resume di LangGraph, controlli policy Bedrock AgentCore, AI Control Tower ServiceNow e escalation automatica di Lindy.
Knowledge base e retrieval-augmented generation (RAG): Fondare agenti su conoscenza personalizzata tramite indicizzazione e recupero documenti è una capacità di base nella categoria. Implementazioni includono pipeline RAG Dify, Knowledge Base Voiceflow, Knowledge Bases Bedrock, Vertex AI RAG Engine e Search AI Kore.ai.
Interfaccia builder agente no-code o low-code: Interfacce grafiche o linguaggio naturale per creazione agenti sono disponibili su ogni piattaforma. Piattaforme enterprise offrono studi no-code (Agentforce Builder, Copilot Studio, watsonx Orchestrate), mentre framework developer forniscono strumenti visivi companion (LangGraph Studio, AutoGen Studio, CrewAI Studio).
Cita questa ricerca
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{alper2026,
author = {Alper, Şevval},
title = {{Benchmark delle piattaforme di agenti AI: Claude Managed Agents vs Google Vertex Agent Engine}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/ai-agent-platforms}},
note = {AIMultiple. Consultato il 5 Maggio 2026}
}
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.