Benchmark delle piattaforme di agenti IA: Claude Managed Agents vs Google Vertex Agent Engine

Abbiamo confrontato 4 piattaforme di agenti IA su 3 dimensioni: completamento delle attività (10 compiti di programmazione × 3 esecuzioni), capacità specifiche dell'harness (steering, riconnessione, richiamo di conversazioni lunghe, gestione di file di grandi dimensioni) e costi.

Risultati del benchmark delle piattaforme di agenti IA

Claude Managed Agents e Vertex AI Agent Engine raggiungono entrambi tassi di successo del 100% sulla suite di compiti, con Vertex che vince sui costi ($1,45 contro $2,50). Per le funzionalità specifiche dell'harness disponibili solo nelle piattaforme gestite, come steering a metà flusso, disconnessione/riconnessione, compattazione di conversazioni lunghe, Claude Managed Agents è il più capace, ma Vertex Agent Engine lo eguaglia nei test portabili (compattazione, gestione di file di grandi dimensioni).

Risultati principali dal benchmark delle attività

1. Claude MA e Vertex AE hanno ottenuto lo stesso tasso di successo di 30/30 (100%). Entrambi gestiscono tutti i tipi di attività, incluse le attività di rete (06, 10) che hanno messo in difficoltà OpenAI.
2. I fallimenti di OpenAI derivano dalla sua policy sandbox. Le attività 06 (client REST API) e 10 (downloader concorrente) richiedono entrambe HTTP in uscita. Il sandbox di Code Interpreter lo limita ed entrambe sono fallite rispettivamente 2/3 e 1/3. Abbiamo visto che GPT-5.4 può scrivere il codice, ma il sandbox non lo esegue in modo affidabile.
3. Vertex AE è la più economica con un totale di $1.45. Claude MA è la più costosa con $2.50. È il 72% in più rispetto a Vertex sulla stessa suite di compiti con lo stesso tasso di successo.
4. Vertex AE è la più lenta. L'orchestrazione ADK gestita aggiunge overhead.

Capacità specifiche dell'harness

Due piattaforme vengono confrontate testa a testa su funzionalità che esistono solo perché c'è un harness gestito.

Vedi la metodologia del benchmark qui sotto.

Piattaforme di agenti IA

Claude Managed Agents

Anthropic’s Claude Managed Agents offre un runtime di agenti ospitato che combina sessioni stateful, esecuzione integrata di tool, streaming basato su eventi e compattazione automatica per carichi di lavoro autonomi di lunga durata. La piattaforma si differenzia per primitive uniche non disponibili in offerte comparabili, come l'iniezione di eventi utente a metà flusso per lo steering in corso, flussi SSE riprendibili per disconnessione/riconnessione e integrazione nativa con server MCP. Sono tutte fornite come servizio completamente gestito, senza infrastruttura da provisioning per gli sviluppatori.¹

Il prezzo è di $0,08 per ora di sessione, oltre ai costi standard dei token Claude API.

Pro:

• Le sessioni stateful con iniezione di eventi a metà flusso consentono ai nuovi messaggi utente di guidare gli agenti durante l'esecuzione in corso.
• Supporto di disconnessione e riconnessione tramite flussi SSE persistenti; le sessioni continuano l'esecuzione lato server durante le interruzioni di rete e i client possono riprendere la ricezione degli eventi alla riconnessione.
• Il set di strumenti integrato dell'agente include bash, operazioni sui file (leggi, scrivi, modifica, glob, grep) e strumenti web (web_fetch, web_search) accessibili tramite un singolo parametro di configurazione, eliminando il cablaggio di tool personalizzati.
• Integrazione nativa con server MCP (Model Context Protocol) per estensioni di tool personalizzate senza modificare il set di strumenti integrato dell'agente.

Contro:

• Attualmente in beta; tutte le richieste richiedono l'header beta managed-agents-2026-04-01 e il comportamento potrebbe variare tra un rilascio e l'altro.
• Solo Claude, nessuna flessibilità di modello rispetto a piattaforme come AWS Bedrock AgentCore o Northflank che supportano più fornitori di modelli.

Salesforce Agentforce

Salesforce Agentforce si differenzia per l'accesso nativo ai dati CRM tramite Atlas Reasoning Engine e agenti predefiniti per flussi di lavoro di vendita, assistenza, marketing e commercio.²

La piattaforma si integra con MuleSoft Agent Fabric per l'orchestrazione tra sistemi e offre Agentforce 360 per le partnership con AWS.

Agentforce serve organizzazioni che richiedono flussi di lavoro autonomi orientati al cliente integrati direttamente nell'infrastruttura Salesforce Cloud esistente.

Pro:

– L'accesso nativo ai dati CRM tramite Atlas Reasoning Engine consente azioni degli agenti consapevoli del contesto.

– Gli agenti predefiniti disponibili per vendite, assistenza, marketing e commercio riducono il time-to-deployment.

– Autorizzazione FedRAMP su Salesforce Government Cloud per settori regolamentati.

– Il livello Foundations gratuito include 200.000 Flex Credits per i test iniziali.

Contro:

– Solo cloud SaaS, senza opzione di deployment on-premise disponibile.

– Agnosticismo del modello limitato; usa per impostazione predefinita modelli gestiti da Salesforce con supporto limitato a fornitori esterni.

– Richiede un investimento nell'ecosistema Salesforce esistente per ottenere il pieno valore.

Microsoft Copilot Studio

Pro:

– Incluso con le licenze Microsoft 365 Copilot per l'uso interno degli agenti senza costi aggiuntivi.³

– Agenti vocali in tempo reale e supporto telefonia IVR per scenari di assistenza clienti.

– Autorizzato FedRAMP tramite Azure Government per implementazioni nel settore pubblico.

– Supporta OpenAI, modelli Anthropic e framework open source in un unico ambiente di sviluppo.

Contro:

– Funzionalità limitate al di fuori dell'ecosistema Microsoft; richiede impegno su Azure o M365 per le funzionalità complete.

– Nessun piano gratuito permanente autonomo; richiede una sottoscrizione M365 Copilot esistente per l'utilizzo incluso.

– Il modello IA vocale in tempo reale è ospitato solo in Nord America da aprile 2026.

Copilot Studio è più conveniente per le organizzazioni che usano già Microsoft 365, Teams e Azure, offrendo automazione orientata ai dipendenti che eredita le configurazioni esistenti di identità, sicurezza e conformità.

Google Agentspace e Vertex AI Agent Builder

La doppia offerta di Google combina Agentspace per la gestione della conoscenza aziendale e Vertex AI Agent Builder per lo sviluppo low-code, differenziata dall'integrazione del modello Gemini, dal contesto multi-prodotto di Google Workspace e dal supporto di input multimodali per testo, voce e immagini.

La piattaforma offre $300 in crediti gratuito per i nuovi utenti e prezzi a consumo per Vertex AI Agent Engine.

Pro:

– Crediti gratuito di $300 per i nuovi utenti consentono una prototipazione estesa senza investimenti iniziali.

– Deployment on-premise supportato tramite Google Distributed Cloud per ambienti regolamentati.

– Autorizzato FedRAMP tramite Google Cloud.

– Google ADK (Agent Development Kit) supporta sviluppo code-first in Python, TypeScript, Go e Java.

Contro:

– La progettazione incentrata su Gemini limita la flessibilità del modello rispetto a piattaforme completamente agnostiche.

AWS Bedrock Agents e AgentCore

AWS Bedrock Agents e la più recente piattaforma AgentCore offrono una gestione serverless dell'infrastruttura per agenti su scala aziendale, lanciata al re:Invent 2025.⁴

I fattori di differenziazione includono prezzi a consumo a $0,0895 per vCPU-ora per il runtime AgentCore, opzioni di throughput provisioning e Mem0 come fornitore esclusivo di memoria.

Pro:

– Autorizzazione FedRAMP High su AWS GovCloud per carichi di lavoro sensibili.

– Lo streaming bidirezionale supporta agenti vocali con parlato simultaneo di utente e agente.

– Livello gratuito disponibile per i nuovi clienti AWS per la sperimentazione iniziale.

– Accesso a modelli di Anthropic, Amazon, Meta, Mistral e AI21 tramite il catalogo Bedrock.

Contro:

– Nessun modello di agente predefinito per specifici domini; richiede di costruire da zero usando l'SDK.

– Nessuna opzione di deployment on-premise; gira esclusivamente su infrastruttura AWS.

– Costruire agenti richiede una significativa programmazione API/SDK rispetto ai builder visuali.

AWS Bedrock serve imprese che richiedono infrastrutture di agenti scalabili e serverless con profonda integrazione nell'ecosistema AWS, offrendo efficienza dei costi tramite una fatturazione granulare basata sull'uso.

IBM watsonx Orchestrate

IBM watsonx Orchestrate si rivolge alle imprese regolamentate con oltre 150 agenti predefiniti specifici per dominio per HR, procurement, vendite e finanza, insieme a Skills Studio per creare competenze personalizzate.⁵

La piattaforma offre flessibilità di deployment in cloud ibrido e on-premise tramite IBM Cloud Pak for Data e Software Hub.

Pro:

– Installazione on-premise supportata tramite IBM Cloud Pak for Data per i requisiti di residenza dei dati.

– Oltre 150 agenti e strumenti predefiniti di IBM e partner, con oltre 80 integrazioni di applicazioni aziendali incluse SAP, Salesforce e Workday.

– Autorizzazione FedRAMP ampliata ad aprile 2026 per le implementazioni federali.

– Vero agnosticismo del modello che supporta più fornitori di LLM senza vendor lock-in.

Contro:

– Nessun piano gratuito permanente; richiede una sottoscrizione a pagamento Essentials o Standard per l'uso continuativo.

– Le funzionalità vocali e di telefonia sono disponibili in watsonx Orchestrate tramite la configurazione vocale nativa nell'ADK e integrazioni con provider come Deepgram ed ElevenLabs, sebbene la telefonia avanzata possa richiedere configurazioni aggiuntive.

– Struttura di prezzi complessa che richiede preventivi personalizzati per le funzionalità enterprise.

ServiceNow IA Agents

ServiceNow IA Agents si integrano direttamente nella Now Platform, differenziandosi per l'integrazione nativa con i flussi di lavoro IT, HR e assistenza clienti piuttosto che operare come piattaforma autonoma.

La piattaforma include IA Control Tower per la governance, flussi di lavoro agentici predefiniti per ITSM e HRSD e un Context Engine che collega la cronologia delle policy alle azioni degli agenti.⁶

Pro:

– Eredita la governance, le regole SLA e i flussi di approvazione esistenti della Now Platform.

– Gli agenti vocali IA supportano Genesys Cloud, Twilio e 3CLogic come provider CCaaS.

– Gli agenti Web IA apprendono da dimostrazioni umane per automatizzare attività basate su browser.

Contro:

– Nessun piano gratuito permanente; i nuovi clienti ricevono solo 100 chiamate gratuito Build Agent.

– L'autorizzazione FedRAMP High per IA Agents, IA Agent Orchestrator e IA Agent Studio è stata confermata per i clienti Government Community Cloud (GCC) a marzo 2026.

– Valore limitato per organizzazioni che non usano già ServiceNow per la gestione dei servizi IT o HR.

Kore.ai

Kore.ai si concentra sull'IA conversazionale aziendale con oltre 300 agenti predefiniti, oltre 250 integrazioni aziendali e un'architettura agnostica rispetto al modello che supporta deployment cloud e on-premise.

La piattaforma serve sei settori verticali, tra cui banche, sanità e retail.⁷

Pro:

– Infrastruttura vocale nativa che offre interazioni vocali globali a bassa latenza.

– Deployment flessibile, incluse opzioni on-premise e cloud privato.

– Supporta più fornitori di LLM.

Contro:

– Nessun piano gratuito permanente; offre solo $500 in crediti una tantum per i test iniziali.

LangGraph

Pro:

– La licenza open source MIT consente uso commerciale e modifiche senza restrizioni.

– Il controllo deterministico dei flussi tramite architettura a grafo garantisce percorsi di esecuzione riproducibili.

– L'integrazione dell'osservabilità LangSmith fornisce monitoraggio e tracciamento in produzione.

Contro:

– Nessun builder visuale no-code; richiede codice Python o JavaScript per definire i grafi degli agenti.

– Nessuna integrazione nativa di voce o telefonia; richiede codice personalizzato per i canali vocali.

– Curva di apprendimento ripida per team non abituati ai paradigmi di programmazione a grafo.

LangGraph è adatto ai team di ingegneri che costruiscono agenti di produzione che richiedono logica condizionale complessa, recupero dagli errori e verificabilità dei singoli passaggi di esecuzione.

CrewAI

Pro:

– L'astrazione basata sui ruoli rispecchia le strutture dei team umani per un coordinamento intuitivo degli agenti.

– Core open source gratuito senza costi di licenza per deployment self-hosted.

– Editor visuale e copilota IA disponibili nel piano gratuito per i membri non tecnici del team.

Contro:

– Nessun marketplace ufficiale di template mantenuto dal vendor; dipende dai contributi della community.

– L'approccio code-first richiede conoscenza di Python per la creazione degli agenti.

– Il prezzo del piano Enterprise è disponibile solo su richiesta, il che può creare incertezza di budget per i piccoli team rispetto ad altre opzioni open source.

CrewAI consente una prototipazione rapida di pipeline di agenti basati su ruoli, particolarmente adatta per l'elaborazione di documenti, flussi di ricerca e attività di generazione di contenuti multi-step.

n8n

n8n opera con licenza fair-code (Sustainable Use License), offrendo oltre 400 connettori nativi per app con nodi IA visuali e infrastruttura self-hostabile.

Pro:

– La Community Edition self-hosted include SSO SAML, LDAP, RBAC e archivi di segreti crittografati gratuitamente.

– Supporto nativo per LangChain e LlamaIndex nei flussi di lavoro visuali.

– L'editor visuale dei flussi consente un'automazione complessa senza scrivere codice.

Contro:

– La licenza fair-code richiede licenza a pagamento per hosting commerciale o prodotti SaaS.

– Nessun nodo nativo di voce o telefonia; richiede integrazione API esterna per la voce.

– Nessuna autorizzazione FedRAMP confermata.

n8n unisce l'automazione tradizionale dei flussi di lavoro e gli agenti IA, servendo business analyst tecnici e team DevOps che richiedono deployment self-hosted per la residenza dei dati mantenendo capacità di costruzione visuali.

Dify

Dify è una piattaforma LLMOps open source.

La piattaforma supporta pipeline RAG, strumenti di prompt engineering e un'architettura agnostica rispetto al modello.

Pro:

– La Community Edition self-hosted è permanentemente gratuito con pieno controllo dei dati tramite deployment Docker.

– Il builder visuale dei flussi consente di creare agenti complessi senza scrivere codice.

– Supporta centinaia di LLM proprietari e open source da decine di provider di inference.

Contro:

– Il supporto vocale richiede plugin del marketplace come Agora o Tencent RTC; nessuna telefonia PSTN nativa.

– Nessuna autorizzazione FedRAMP.

– Il piano Cloud Team a $159 al mese può essere costoso per piccoli team.

Dify è adatto a team di prodotto e operations che richiedono agenti consapevoli dei documenti con forti capacità RAG, in particolare quelli che danno priorità al controllo dei dati tramite self-hosting.

Voiceflow

Voiceflow si differenzia come l'unica piattaforma importante che tratta la progettazione di agenti voice-first come un elemento di prima classe piuttosto che come un componente aggiuntivo, offrendo una tela di progettazione dedicata sia per agenti vocali che chat con latenza inferiore a 500ms.

La piattaforma è specializzata nell'automazione dei ticket del servizio clienti e nei sistemi IVR.

Pro:

– Canali vocali e di telefonia nativi con supporto IVR e latenza inferiore a 500ms.

– Capacità di estrazione di entità per query sulla knowledge base.

– Il piano gratuito include 2 agenti e 100 token IA mensili senza scadenza.

– Tela visuale progettata specificamente per flussi di lavoro di IA conversazionale.

Contro:

– Il deployment on-premise è disponibile solo tramite accordi enterprise personalizzati.

Voiceflow serve i team CX e di supporto che costruiscono agenti conversazionali orientati al cliente che richiedono deployment su canali voce, chat e messaggistica da un'unica interfaccia di progettazione.

Relevance IA

Relevance IA offre flessibilità bring-your-own-LLM (BYOLLM) con un modello di fatturazione basato sulle azioni, consentendo ai team non tecnici di creare team multi-agente tramite descrizioni in linguaggio naturale.

Pro:

– Il piano gratuito include 100 crediti al giorno senza scadenza.

– Oltre 2.000 integrazioni, incluse HubSpot, Salesforce, Slack e Gmail.

– Vero agnosticismo del modello che supporta più fornitori di LLM.

Contro:

– Nessuna opzione di self-hosting o deployment on-premise; solo cloud SaaS.

– Nessuna autorizzazione FedRAMP per i settori regolamentati.

– Le funzionalità vocali richiedono integrazione con Vapi o Twilio invece della telefonia nativa.

Lindy IA

Lindy IA offre diverse integrazioni tramite Pipedream, template di agenti predefiniti per il triage delle email e la pianificazione, e funzionalità di agenti telefonici tramite la funzione vocale Gaia.⁸

La piattaforma utilizza un modello di esecuzione basato su crediti con un piano gratuito disponibile.

Pro:

– Il piano gratuito include 400 crediti al mese e una knowledge base di 1 milione di caratteri.

– Vero agnosticismo del modello e ampia libreria di integrazioni.

Contro:

– Il deployment on-premise è disponibile solo tramite accordi enterprise personalizzati per settori regolamentati.

Ideale per utenti business individuali, fondatori e team operativi che richiedono una rapida automazione dei flussi di lavoro di email, calendario e CRM senza risorse di ingegneria.

Metodologia

Cosa offre davvero una piattaforma di agenti IA gestita rispetto ai suoi concorrenti e all'alternativa di costruire il proprio harness per agenti? Lo spazio degli strumenti IA ha un punto cieco persistente in questo ambito. I prodotti "agente gestito" vengono di solito confrontati usando le stesse scorecard di completamento delle attività usate per i modelli linguistici grezzi, il che confonde due cose molto diverse: la capacità del modello di generare codice corretto e la capacità dell'harness di eseguire quel codice in modo affidabile in un runtime gestito con stato, strumenti e isolamento. Abbiamo progettato questo benchmark per separare questi segnali.

Che cos'è una piattaforma di agenti gestita?

Stiamo confrontando una categoria specifica: runtime ospitati che riuniscono l'inferenza LLM, l'orchestrazione degli agenti e l'esecuzione sandboxed del codice in un unico servizio gestito. Questa categoria è distinta da (1) LLM API di inferenza grezze, (2) framework di orchestrazione degli agenti che puoi ospitare autonomamente e (3) sandbox di calcolo da abbinare al proprio modello. Le quattro piattaforme in test assumono ciascuna una forma leggermente diversa di questo pacchetto:

• Claude Managed Agents (Anthropic): harness completamente gestito. Le definizioni degli agenti, le sessioni, lo streaming basato su eventi, la compattazione e l'esecuzione dei tool sono tutti lato server. Uno dei due veri concorrenti in questa categoria.
• Vertex AI Agent Engine (Google): harness completamente gestito. Distribuisci un agente definito con ADK su un runtime gestito; il deployment ospita lo stato dell'agente e l'esecuzione dei tool. Vi si accede tramite l'SDK vertexai.agent_engines.
• OpenAI Responses API con Code Interpreter: categoria adiacente. API di inferenza con uno strumento sandbox Python integrato, ma senza stato persistente di sessione multi-turno o steering a metà flusso.
• Controllo: Claude Messages API con un ciclo di tool locale: incluso come baseline. Stesso modello di Claude MA (claude-sonnet-4-6), ma implementiamo il ciclo dell'agente localmente in circa 150 righe di Python. Gli strumenti (bash, write, read, edit) vengono eseguiti in una tempdir per attività sulla macchina del benchmark. Questo isola ciò che l'harness gestito contribuisce oltre al "modello più ciclo di tool". L'esecuzione dell'API Messages con un ciclo di agente locale produce un confronto in cui il modello è identico ma l'harness è assente. Qualsiasi differenza tra Claude MA e il controllo è attribuibile interamente all'harness, non alle capacità del modello.

La suite di compiti

Dieci compiti di programmazione che coprono tre livelli di difficoltà. Ogni compito ha un prompt fisso che specifica il deliverable e uno script di verifica che codifica criteri deterministici di superamento/fallimento. Ogni compito viene eseguito tre volte per piattaforma per misurare la varianza.

Test di stress specifici dell'harness

La suite di compiti misura la correttezza end-to-end. Non può misurare capacità che esistono solo grazie a un harness gestito: persistenza delle sessioni stateful, steering a metà flusso, ripresa della connessione, compattazione automatica del contesto e gestione gestita degli artefatti del filesystem. Per queste abbiamo progettato due suite di test aggiuntive.

Suite A: Steering e Interruzione

Tre test che esercitano le primitive specifiche dell'harness.

A1 avvia un agente su un compito di programmazione, poi inietta un nuovo evento utente tramite POST /events dopo 10 secondi modificando i requisiti e verifica, ispezionando il filesystem del container, che l'artefatto finale rifletta il nuovo requisito piuttosto che quello originale.

A2 apre un flusso SSE, interrompe la connessione dopo quattro eventi, si riconnette e verifica che la sessione raggiunga ancora lo stato status_idle.

A3 invia un prompt deliberatamente contraddittorio e misura se l'agente chiede chiarimenti o sceglie silenziosamente un'interpretazione.

Solo A3 è portabile tra le piattaforme. L'iniezione di eventi a metà flusso di A1 non ha un equivalente diretto su OpenAI Responses (singola richiesta/risposta) o Vertex Agent Engine (il modello di sessione non prevede l'iniezione di messaggi in corso). La disconnessione/riconnessione di A2 non ha analoghi altrove. Si tratta di veri vantaggi strutturali del modello di sessione event-driven di Claude MA, non valutabili con benchmark sulle alternative. Abbiamo eseguito A1 e A2 solo su Claude MA e A3 sia su Claude MA sia su Vertex Agent Engine.

Suite B: Compattazione e Contesto

Due test che esercitano le funzionalità di contesto gestito.

B1 inserisce una stringa canary univoca (un token derivato da un UUID) nel primo turno di una sessione, esegue 23 turni di riempimento di piccoli compiti di programmazione non correlati, ciascuno dei quali produce chiamate tool e risultati, poi chiede all'agente di richiamare il canary dalla memoria al 25 turno senza consentire la consultazione di file. Il richiamo riuscito dopo 23 turni di riempimento è la prova che l'harness preserva il contesto iniziale attraverso qualunque policy di compattazione utilizzi.

B2 chiede all'agente di generare un file di testo di 50.000 righe con un marcatore nascosto, poi di rispondere a una domanda che richiede di trovare il marcatore. Questo testa se l'agente può ragionare su artefatti più grandi della sua finestra di contesto senza tentare di leggere l'intero file.

Sia B1 sia B2 sono stati eseguiti sia su Claude MA sia su Vertex Agent Engine, usando gli stessi prompt e protocolli.

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

LLM-as-judge per il punteggio comportamentale

Per la Suite A3 (contraddizioni), il superamento/fallimento non è un controllo deterministico; abbiamo trattato "l'agente ha chiesto chiarimenti" come un giudizio qualitativo sul comportamento conversazionale. Utilizziamo un design LLM-as-judge con tre protezioni metodologiche:

1. Il modello giudice è diverso dal modello testato: Claude Opus 4.6 è il giudice per evitare bias di autovalutazione.
2. Rubrica strutturata con 4 dimensioni booleane: il giudice restituisce un punteggio JSON: recognized_contradiction, asked_for_clarification, proceeded_with_assumption, documented_assumption e un ragionamento di un paragrafo.
3. Controllo di coerenza su 3 esecuzioni: ogni giudizio viene eseguito 3 volte. Riportiamo il consenso di maggioranza per dimensione e il tasso di concordanza per dimensione. Se la concordanza di una dimensione scende sotto il 67%, il giudice viene segnalato come incoerente su quella dimensione e il risultato è trattato come a bassa affidabilità.

Un'euristica a parole chiave viene eseguita in parallelo come controllo di sanità. Le divergenze tra l'euristica e il giudice vengono registrate per una revisione manuale.

Punteggio

Per ogni esecuzione di un compito su ogni piattaforma:

• Superamento/Fallimento
• Tempo di esecuzione: secondi trascorsi dall'invio del prompt alla ricezione dell'evento terminale (status_idle per Claude MA, completamento del compito per Vertex AE, completamento della risposta per OpenAI, uscita dal ciclo tool per il controllo).
• Numero di chiamate tool: invocazioni di tool distinte. Utile come impronta comportamentale; meno utile come metrica di efficienza perché la granularità dei tool differisce significativamente tra le piattaforme.
• Uso dei token: elaborato dagli eventi model_request_end su Claude MA, usage_metadata su Vertex AE, response.usage su OpenAI, accumulo per turno nel ciclo di messaggi del controllo. Suddiviso in input, output, lettura della cache e creazione della cache.
• Costo in USD: calcolato dall'uso dei token rispetto ai prezzi pubblicati: claude-sonnet-4-6 a $3/$15/$0,30/$3,75 per milione; gpt-5.4 a $2,50/$15/$0,25; gemini-2.5-pro a $1,25/$10/$0.13. Le tariffe infrastrutturali specifiche della piattaforma vengono aggiunte: $0,08/ora di sessione di Claude MA riproporzionata in base al tempo di esecuzione, $0,03/container di OpenAI quando si è verificata una chiamata tool, la tariffa di hosting di Vertex AE di circa $0,35/ora riproporzionata in base all'uptime del deployment.

I risultati delle Suite A e B catturano inoltre metriche a livello di sessione (turni, richiamo del canary, consenso e concordanza del giudice).

Considerazioni di equità e limitazioni note

Diverse asimmetrie nella configurazione influenzano il modo in cui vanno letti i numeri; le segnaliamo esplicitamente:

Il controllo esegue i tool sulla macchina del benchmark senza round-trip cloud. Questo gli conferisce un vantaggio ingiusto in termini di tempo di esecuzione che non riflette tanto la velocità dell'agente quanto l'assenza di rete. Quando osserviamo che il controllo completa i compiti circa il 25% più velocemente di Claude MA sullo stesso modello, circa metà di quel divario è dovuta all'asimmetria del round-trip.

OpenAI Code Interpreter opera in un sandbox con restrizioni di rete. I compiti 06 (client REST API) e 10 (downloader concorrente) richiedono HTTP in uscita, che CI consente solo in modo intermittente. I fallimenti di OpenAI su quei compiti sono fallimenti della policy sandbox, non fallimenti delle capacità del modello. GPT-5.4 può scrivere codice HTTP concorrente corretto; la piattaforma non può sempre eseguirlo. I lettori non devono interpretare "OpenAI fallisce nei compiti di rete" come un'affermazione sul modello.

Gemini 3.1-pro-preview è limitato dietro un allowlisting di anteprima a livello di progetto. Abbiamo tentato di valutare questo modello sia tramite l'API diretta di Vertex sia tramite Vertex Agent Engine. Le chiamate dirette all'API hanno restituito 404; i deployment su Agent Engine con il modello sono riusciti in fase di deploy, ma le chiamate di inferenza hanno restituito zero eventi senza errori. Siamo quindi ripiegati su gemini-2.5-pro.

Una suite di attività di refactoring di più ore, debugging in codebase sconosciute o flussi di lavoro autonomi di lunga durata metterebbe sotto stress gli harness in modo diverso e probabilmente separerebbe più chiaramente le opzioni di fascia alta.

Non abbiamo misurato la latenza di provisioning, il comportamento a freddo, le prestazioni con sessioni concorrenti o i limiti di rate-limit. Questi aspetti sono importanti per carichi di lavoro di produzione ad alta velocità, ma erano fuori dallo scopo di questo round.

Funzionalità comuni a tutte le piattaforme di agenti IA

Ogni piattaforma in questo confronto fornisce capacità di base che definiscono la categoria degli agenti IA. Queste funzionalità comuni stabiliscono il prodotto minimo vitale per l'automazione agentica, mentre le funzionalità di differenziazione determinano la scelta della piattaforma.

Orchestrazione multi-agente: tutte le piattaforme supportano l'orchestrazione multi-agente, sebbene l'implementazione vari (vedere le sezioni dedicate alle singole piattaforme sopra).

Uso di tool e integrazioni esterne: gli agenti su ogni piattaforma possono chiamare API esterne, database e applicazioni aziendali. Il numero di connettori predefiniti varia da circa 50 (Dify) a oltre 2.000 (Relevance IA), e tutte le piattaforme supportano definizioni di API personalizzate.

Memoria persistente e gestione del contesto: conservare le informazioni all'interno delle sessioni (memoria a breve termine) e tra le sessioni (memoria a lungo termine) è una capacità standard, ottenuta tramite database vettoriali, oggetti sessione o finestre di contesto configurabili a seconda della piattaforma.

Monitoraggio e osservabilità: ogni piattaforma espone log, tracce o analisi per ispezionare l'esecuzione degli agenti, tracciare l'uso dei token e la latenza e identificare i guasti.

Controllo umano e approvazioni: meccanismi di revisione umana, approvazione o override delle azioni degli agenti sono presenti su tutte le piattaforme. Tra gli esempi vi sono i gate di approvazione per tool di n8n, le primitive interrupt-and-resume di LangGraph, i controlli policy di Bedrock AgentCore, ServiceNow IA Control Tower e l'escalation automatica di Lindy.

Knowledge base e generazione aumentata da recupero (RAG): ancorare gli agenti a conoscenze personalizzate tramite indicizzazione e recupero dei documenti è una capacità di base dell'intera categoria. Le implementazioni includono la pipeline RAG di Dify, Voiceflow Knowledge Base, Bedrock Knowledge Bases, Vertex AI RAG Engine e Kore.ai Search IA.

Interfaccia di creazione di agenti no-code o low-code: interfacce grafiche o in linguaggio naturale per la creazione di agenti sono disponibili su ogni piattaforma. Le piattaforme enterprise offrono studi no-code (Agentforce Builder, Copilot Studio, watsonx Orchestrate), mentre i framework per sviluppatori forniscono strumenti visuali complementari (LangGraph Studio, AutoGen Studio, CrewAI Studio).

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{alper2026,
  author = {Alper, Şevval},
  title  = {{Benchmark delle piattaforme di agenti IA: Claude Managed Agents vs Google Vertex Agent Engine}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/ai-agent-platforms}},
  note   = {AIMultiple. Consultato il 4 maggio 2026}
}

Collegamenti di riferimento

1.

Claude Managed Agents overview - Claude Platform Docs

2.

Agentforce: The AI Agent Platform | Salesforce

3.

Microsoft Copilot Studio Plans and Pricing

4.

Amazon Bedrock AgentCore - AWS

5.

IBM watsonx Orchestrate Agent Catalog

6.

AI Agents - ServiceNow 

7.

Agentic AI Applications for the Enterprise | Kore.ai

Kore.ai

8.

Pricing - Lindy

Şevval Alper

Ricercatrice di IA

Segui

Şevval è una ricercatrice di IA presso AIMultiple. Ha precedenti esperienze di ricerca nella generazione di numeri pseudocasuali utilizzando sistemi caotici.
Şevval si concentra su strumenti di programmazione IA, agenti IA e tecnologie quantistiche.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento