Yapay Zeka Ajan Platformları Benchmark: Claude Managed Agents ve Google Vertex Agent Engine

4 yapay zeka ajan platformunu 3 boyutta benchmark ettik: görev tamamlama (10 kodlama görevi × 3 çalıştırma), harness'e özgü yetenekler (yönlendirme, yeniden bağlanma, uzun konuşma hatırlama, büyük dosya işleme) ve maliyet.

Yapay zeka ajan platformları benchmark sonuçları

Claude Managed Agents ve Vertex AI Agent Engine, görev paketinde her ikisi de %100 geçme oranı elde ediyor; maliyette Vertex kazanıyor ($1,45 vs $2,50). Yalnızca yönetilen platformlarda bulunan akış ortası yönlendirme, bağlantı kesme/yeniden bağlanma, uzun konuşma sıkıştırma gibi harness'e özgü özelliklerde Claude Managed Agents en yetenekli olandır; ancak Vertex Agent Engine taşınabilir testlerde (sıkıştırma, büyük dosya işleme) onunla eşleşir.

Görev benchmark'ından önemli bulgular

1. Claude MA ve Vertex AE, 30/30 (%100) geçme oranıyla berabere kaldı. Her ikisi de OpenAI’yi zorlayan ağ görevleri (06, 10) dahil tüm görev türlerini yerine getiriyor.
2. OpenAI’nin başarısızlıkları sandbox politikasından kaynaklanıyor. Görevler 06 (REST API) ve 10 (eşzamanlı indirici) dışa giden HTTP gerektiriyor. Code Interpreter’ın sandbox'ı bunu kısıtlıyor ve her ikisi sırasıyla 2/3 ve 1/3 oranında başarısız oldu. GPT-5.4’ün kodu yazabildiğini gördük, ancak sandbox bunu güvenilir şekilde çalıştırmıyor.
3. Vertex AE toplamda $1,45 ile en ucuzudur. Claude MA $2,50 ile en pahalısıdır. Aynı görev paketinde ve aynı geçme oranıyla Vertex’ten %72 daha fazladır.
4. Vertex AE en yavaştır. Yönetilen ADK orkestrasyonu ek yük getirir.

Harness'e özgü yetenekler

İki platform, yalnızca yönetilen bir harness olduğu için var olan özellikler açısından bire bir karşılaştırılıyor.

Aşağıdaki benchmark metodolojisine bakın.

Yapay zeka ajan platformları

Claude Managed Agents

Anthropic’in Claude Managed Agents, durum bilgisi olan oturumları, yerleşik araç yürütmeyi, olay tabanlı akışı ve uzun süreli otonom iş yükleri için otomatik sıkıştırmayı bir araya getiren barındırılan bir ajan çalışma zamanı sağlar. Platform, akış ortası kullanıcı olayı enjeksiyonu ile uçuş sırasında yönlendirme, bağlantı kesme/yeniden bağlanma için sürdürülebilir SSE akışları ve yerel MCP sunucu entegrasyonu gibi karşılaştırılabilir tekliflerde bulunmayan benzersiz ilkellerle farklılaşır. Bunların tümü, geliştiricilerin sağlaması gereken hiçbir altyapı olmadan tam yönetilen bir hizmet olarak sunulur.¹

Fiyatlandırma, standart Claude API token maliyetlerine ek olarak oturum saati başına $0,08’dir.

Artılar:

• Akış ortası olay enjeksiyonlu durum bilgisi olan oturumlar, yeni kullanıcı mesajlarının yürütme sırasında ajanları yönlendirmesine olanak tanır.
• Kalıcı SSE akışları aracılığıyla bağlantı kesme ve yeniden bağlanma desteği; oturumlar ağ kesintileri boyunca sunucu tarafında çalışmaya devam eder ve istemciler yeniden bağlandığında olay tüketimini sürdürebilir.
• Yerleşik ajan araç seti, bash, dosya işlemleri (read, write, edit, glob, grep) ve web araçlarını (web_fetch, web_search) tek bir yapılandırma parametresiyle erişilebilir kılar; özel araç bağlantısını ortadan kaldırır.
• Özel araç uzantıları için ajanın yerleşik araç setini değiştirmeden yerel MCP (Model Context Protocol) sunucu entegrasyonu.

Eksiler:

• Şu anda beta aşamasında; tüm istekler managed-agents-2026-04-01 beta başlığını gerektiriyor ve davranış sürümler arasında iyileşebilir.
• Yalnızca Claude, birden fazla model sağlayıcısını destekleyen AWS Bedrock AgentCore veya Northflank gibi platformlara kıyasla model esnekliği yok.

Salesforce Agentforce

Salesforce Agentforce, Atlas Reasoning Engine aracılığıyla yerel CRM veri erişimi ve satış, hizmet, pazarlama ve ticaret iş akışları için önceden oluşturulmuş ajanlarla farklılaşır.²

Platform, sistemler arası orkestrasyon için MuleSoft Agent Fabric ile entegre olur ve AWS ortaklıkları için Agentforce 360 sunar.

Agentforce, mevcut Salesforce Cloud altyapısına doğrudan gömülü otonom müşteriye dönük iş akışları gerektiren kuruluşlara hizmet eder.

Artılar:

– Atlas Reasoning Engine aracılığıyla yerel CRM veri erişimi, bağlama duyarlı ajan eylemlerini mümkün kılar.

– Satış, hizmet, pazarlama ve ticaret için hazır ajanlar dağıtım süresini azaltır.

– Düzenlemeye tabi sektörler için Salesforce Government Cloud üzerinde FedRAMP yetkilidir.

– Foundations ücretsiz katmanı, ilk testler için 200.000 Flex Kredisi içerir.

Eksiler:

– Yalnızca bulut SaaS; şirket içi dağıtım seçeneği yok.

– Sınırlı model bağımsızlığı; varsayılan olarak Salesforce tarafından yönetilen model'leri kullanır ve harici sağlayıcı desteği kısıtlıdır.

– Tam değer elde etmek için mevcut Salesforce ekosistem yatırımı gerektirir.

Microsoft Copilot Studio

Artılar:

– Dahili ajan kullanımı için ek ücret olmadan Microsoft 365 Copilot lisanslarına dahildir.³

– Müşteri hizmetleri senaryoları için gerçek zamanlı ses ajanları ve IVR telefon desteği.

– Kamu sektörü dağıtımları için Azure Government aracılığıyla FedRAMP yetkilidir.

– Tek bir geliştirme ortamında OpenAI, Anthropic model'lerini ve açık kaynaklı framework'leri destekler.

Eksiler:

– Microsoft ekosistemi dışında sınırlı işlevsellik; tam yetenekler için Azure veya M365 taahhüdü gerektirir.

– Bağımsız kalıcı ücretsiz katman yok; dahil edilen kullanım için mevcut M365 Copilot aboneliği gerektirir.

– Gerçek zamanlı ses yapay zeka modeli Nisan 2026 itibarıyla yalnızca Kuzey Amerika'da barındırılıyor.

Copilot Studio, halihazırda Microsoft 365, Teams ve Azure kullanan kuruluşlar için en uygun maliyetlidir; mevcut kimlik, güvenlik ve uyumluluk yapılandırmalarını devralan çalışan odaklı otomasyon sunar.

Google Agentspace ve Vertex AI Agent Builder

Google’ın ikili teklifi, kurumsal bilgi yönetimi için Agentspace ile az kodlu geliştirme için Vertex AI Agent Builder’ı birleştirir; Gemini model entegrasyonu, Google Workspace ürünler arası bağlam ve metin, ses ve görüntüler için çok modlu giriş desteği ile farklılaşır.

Platform, yeni kullanıcılar için $300 ücretsiz kredi ve Vertex AI Agent Engine için kullandıkça öde fiyatlandırması sağlar.

Artılar:

– Yeni kullanıcılar için $300 ücretsiz kredi, ön yatırım olmadan kapsamlı prototipleme sağlar.

– Düzenlemeye tabi ortamlar için Google Distributed Cloud aracılığıyla şirket içi dağıtım desteklenir.

– Google Cloud aracılığıyla FedRAMP yetkilidir.

– Google ADK (Agent Development Kit), Python, TypeScript, Go ve Java'da önce kod geliştirmeyi destekler.

Eksiler:

– Gemini öncelikli tasarım, tamamen bağımsız platformlara kıyasla model esnekliğini sınırlar.

AWS Bedrock Agents and AgentCore

AWS Bedrock Agents ve daha yeni AgentCore platformu, kurumsal ölçekli ajanlar için sunucusuz altyapı yönetimi sağlar; re:Invent 2025'te tanıtıldı.⁴

Farklılaştırıcılar arasında AgentCore çalışma zamanı için vCPU saati başına $0,0895 kullandıkça öde fiyatlandırması, sağlanan aktarım hızı seçenekleri ve özel bellek sağlayıcısı olarak Mem0 bulunur.

Artılar:

– Hassas iş yükleri için AWS GovCloud üzerinde FedRAMP High yetkilidir.

– Çift yönlü akış, kullanıcı ve ajanın aynı anda konuştuğu ses ajanlarını destekler.

– İlk denemeler için yeni AWS müşterilerine ücretsiz katman sunulur.

– Bedrock kataloğu aracılığıyla Anthropic, Amazon, Meta, Mistral ve AI21 model'lerine erişim.

Eksiler:

– Önceden oluşturulmuş alana özgü ajan şablonları yok; SDK kullanarak sıfırdan oluşturmayı gerektirir.

– Şirket içi dağıtım seçeneği yok; yalnızca AWS altyapısında çalışır.

– Ajan oluşturmak, görsel oluşturuculara kıyasla önemli miktarda API/SDK kodlaması gerektirir.

AWS Bedrock, AWS ekosistemine derin entegrasyonlu ölçeklenebilir, sunucusuz ajan altyapısı gerektiren kuruluşlara hizmet eder ve ayrıntılı kullanıma dayalı faturalandırma ile maliyet verimliliği sunar.

IBM watsonx Orchestrate

IBM watsonx Orchestrate, İK, satın alma, satış ve finans için 150'den fazla önceden oluşturulmuş alana özgü ajanla ve özel beceriler oluşturmak için Skills Studio ile düzenlemeye tabi kuruluşları hedefler.⁵

Platform, IBM Cloud Pak for Data ve Software Hub aracılığıyla hibrit bulut ve şirket içi dağıtım esnekliği sunar.

Artılar:

– Veri ikameti gereksinimleri için IBM Cloud Pak for Data aracılığıyla şirket içi kurulum desteklenir.

– IBM ve iş ortaklarından 150'den fazla önceden oluşturulmuş ajan ve araç; SAP, Salesforce ve Workday dahil 80'den fazla kurumsal uygulama entegrasyonu.

– Federal dağıtımlar için FedRAMP yetkisi Nisan 2026'da genişletildi.

– Satıcıya bağımlılık olmadan birden fazla LLM sağlayıcısını destekleyen gerçek model bağımsızlığı.

Eksiler:

– Kalıcı ücretsiz katman yok; sürekli kullanım için ücretli Essentials veya Standard aboneliği gerektirir.

– Ses ve telefon yetenekleri, ADK'daki yerel ses yapılandırması ve Deepgram ve ElevenLabs gibi sağlayıcılarla entegrasyonlar aracılığıyla watsonx Orchestrate içinde kullanılabilir, ancak gelişmiş telefon için ek yapılandırma gerekebilir.

– Kurumsal özellikler için özel fiyat teklifi gerektiren karmaşık fiyatlandırma yapısı.

ServiceNow AI Agents

ServiceNow AI Agents, bağımsız bir platform olarak çalışmak yerine BT, İK ve müşteri hizmetleri iş akışlarıyla yerel entegrasyon aracılığıyla farklılaşarak doğrudan Now Platformu'na gömülür.

Platform, yönetişim için AI Control Tower, ITSM ve HRSD için önceden oluşturulmuş ajan iş akışları ve politika geçmişini ajan eylemlerine bağlayan bir Context Engine içerir.⁶

Artılar:

– Mevcut Now Platform yönetişimini, SLA kurallarını ve onay iş akışlarını devralır.

– AI Voice Agents, CCaaS sağlayıcıları olarak Genesys Cloud, Twilio ve 3CLogic'i destekler.

– AI Web Agents, tarayıcı tabanlı görevleri otomatikleştirmek için insan gösterimlerinden öğrenir.

Eksiler:

– Kalıcı ücretsiz katman yok; yeni müşteriler yalnızca 100 ücretsiz Build Agent çağrısı alır.

– AI Agents, AI Agent Orchestrator ve AI Agent Studio için FedRAMP High yetkisi, Mart 2026 itibarıyla Government Community Cloud (GCC) müşterileri için onaylandı.

– BT veya İK hizmet yönetimi için halihazırda ServiceNow kullanmayan kuruluşlar için sınırlı değer.

Kore.ai

Kore.ai, 300'den fazla önceden oluşturulmuş ajan, 250'den fazla kurumsal entegrasyon ve bulut ile şirket içi dağıtımları destekleyen modelden bağımsız bir mimari ile kurumsal konuşmalı yapay zekaya odaklanır.

Platform, bankacılık, sağlık ve perakende dahil altı dikey sektöre hizmet eder.⁷

Artılar:

– Düşük gecikmeli küresel ses etkileşimleri sağlayan yerel ses altyapısı.

– Şirket içi ve özel bulut seçenekleri dahil esnek dağıtım.

– Birden fazla LLM sağlayıcısını destekler.

Eksiler:

– Kalıcı ücretsiz katman yok; yalnızca ilk test için bir defaya mahsus $500 kredi sunar.

LangGraph

Artılar:

– MIT açık kaynak lisansı, sınırsız ticari kullanım ve değişiklik yapmaya izin verir.

– Grafik mimarisi aracılığıyla deterministik iş akışı kontrolü, tekrarlanabilir yürütme yolları sağlar.

– LangSmith gözlemlenebilirlik entegrasyonu, üretim izleme ve izleme sağlar.

Eksiler:

– Görsel no-code oluşturucu yok; ajan grafiklerini tanımlamak için Python veya JavaScript kodlaması gerektirir.

– Yerel ses veya telefon entegrasyonu yok; ses kanalları için özel kodlama gerektirir.

– Grafik tabanlı programlama paradigmalarına aşina olmayan ekipler için dik öğrenme eğrisi.

LangGraph, karmaşık koşullu mantık, hata kurtarma ve bireysel yürütme adımlarının denetlenebilirliğini gerektiren üretim kalitesinde ajanlar oluşturan mühendislik ekipleri için uygundur.

CrewAI

Artılar:

– Rol tabanlı soyutlama, sezgisel ajan koordinasyonu için insan ekip yapılarını yansıtır.

– Kendi kendine barındırılan dağıtımlar için lisans ücreti olmayan ücretsiz açık kaynak çekirdek.

– Teknik olmayan ekip üyeleri için ücretsiz katmanda görsel editör ve yapay zeka yardımcı pilot mevcuttur.

Eksiler:

– Satıcı tarafından sağlanan resmi şablon pazar yeri yok; topluluk katkılarına dayanır.

– Önce kod yaklaşımı, ajan oluşturmak için Python bilgisi gerektirir.

– Kurumsal plan fiyatlandırması yalnızca talep üzerine alınabilir; bu, diğer açık kaynak seçeneklere kıyasla küçük ekipler için bütçe belirsizliği yaratabilir.

CrewAI, özellikle belge işleme, araştırma iş akışları ve çok adımlı içerik üretim görevleri için uygun olan rol tabanlı ajan pipeline'larının hızlı prototiplenmesini sağlar.

n8n

n8n, adil kod lisansı (Sustainable Use License) altında çalışır; 400'den fazla yerel uygulama bağlayıcısı, görsel yapay zeka düğümleri ve kendi kendine barındırılabilir altyapı sunar.

Artılar:

– Kendi kendine barındırılan Community Edition, ücretsiz olarak SSO SAML, LDAP, RBAC ve şifreli gizli dizi depolarını içerir.

– Görsel iş akışları içinde LangChain ve LlamaIndex için yerel destek.

– Görsel iş akışı editörü, kodlama olmadan karmaşık otomasyon sağlar.

Eksiler:

– Adil kod lisansı, ticari barındırma veya SaaS ürünleri için ücretli lisans gerektirir.

– Yerel ses veya telefon düğümü yok; ses için harici API entegrasyonu gerektirir.

– Onaylanmış FedRAMP yetkisi yok.

n8n, geleneksel iş akışı otomasyonu ile yapay zeka ajanları arasında köprü kurar; veri ikameti için kendi kendine barındırılan dağıtım gerektirirken görsel oluşturma yeteneklerini koruyan teknik iş analistlerine ve DevOps ekiplerine hizmet eder.

Dify

Dify açık kaynaklı bir LLMOps platformudur.

Platform, RAG pipeline'ları, prompt engineering araçlarını ve modelden bağımsız mimariyi destekler.

Artılar:

– Kendi kendine barındırılan Community Edition, Docker dağıtımı ile tam veri kontrolüyle kalıcı olarak ücretsiz’dir.

– Görsel iş akışı oluşturucu, kodlama olmadan karmaşık ajan oluşturmayı sağlar.

– Düzinelerce inference sağlayıcısından yüzlerce özel ve açık kaynaklı LLM'i destekler.

Eksiler:

– Ses desteği Agora veya Tencent RTC gibi pazar yeri eklentileri gerektirir; yerel PSTN telefon yok.

– FedRAMP yetkisi yok.

– Aylık $159 Cloud Team planı küçük ekipler için maliyetli olabilir.

Dify, özellikle kendi kendine barındırma yoluyla veri kontrolüne öncelik veren ekipler için güçlü RAG yeteneklerine sahip belgeye duyarlı ajanlar gerektiren ürün ve operasyon ekipleri için uygundur.

Voiceflow

Voiceflow, ses öncelikli ajan tasarımını bir eklenti değil birinci sınıf vatandaş olarak ele alan tek büyük platform olarak farklılaşır; hem ses hem de sohbet ajanları için özel olarak tasarlanmış bir tasarım tuvali ve 500ms'nin altında gecikme sunar.

Platform, müşteri hizmetleri bilet otomasyonu ve IVR sistemlerinde uzmanlaşmıştır.

Artılar:

– IVR destekli yerel ses ve telefon kanalları ve 500ms'nin altında gecikme.

– Bilgi tabanı sorguları için varlık çıkarma yetenekleri.

– Ücretsiz plan 2 ajan ve süresi dolmayan aylık 100 yapay zeka token'ı içerir.

– Konuşmalı yapay zeka iş akışları için özel olarak tasarlanmış görsel tuval.

Eksiler:

– Şirket içi dağıtım yalnızca özel kurumsal anlaşmalarla mümkündür.

Voiceflow, tek bir tasarım arayüzünden ses, sohbet ve mesajlaşma kanallarında dağıtım gerektiren müşteriye dönük konuşma ajanları oluşturan CX ve destek ekiplerine hizmet eder.

Relevance AI

Relevance AI, teknik olmayan ekiplerin doğal dil açıklamalarıyla çok ajanlı ekipler oluşturmasına olanak tanıyan kendi LLM'ini getir (BYOLLM) esnekliği ve eylem tabanlı faturalandırma modeli sunar.

Artılar:

– Ücretsiz katman, süresi dolmayan günlük 100 kredi içerir.

– HubSpot, Salesforce, Slack ve Gmail dahil 2.000'den fazla entegrasyon.

– Birden fazla LLM sağlayıcısını destekleyen gerçek model bağımsızlığı.

Eksiler:

– Kendi kendine barındırma veya şirket içi dağıtım seçeneği yok; yalnızca bulut SaaS.

– Düzenlemeye tabi sektörler için FedRAMP yetkisi yok.

– Ses yetenekleri yerel telefon yerine Vapi veya Twilio ile entegrasyon gerektirir.

Lindy AI

Lindy AI, Pipedream aracılığıyla çeşitli entegrasyonlar, e-posta triyajı ve planlama için önceden oluşturulmuş ajan şablonları ve Gaia ses özelliği aracılığıyla telefon görüşmesi ajan yetenekleri sağlar.⁸

Platform, ücretsiz katmanı bulunan kredi tabanlı bir yürütme modeli kullanır.

Artılar:

– Ücretsiz katman aylık 400 kredi ve 1 milyon karakterlik bilgi tabanı içerir.

– Gerçek model bağımsızlığı ve kapsamlı entegrasyon kütüphanesi.

Eksiler:

– Düzenlemeye tabi sektörler için şirket içi dağıtım yalnızca özel kurumsal anlaşmalarla mümkündür.

Mühendislik kaynakları olmadan e-posta, takvim ve CRM iş akışlarının hızlı otomasyonunu gerektiren bireysel iş kullanıcıları, kurucular ve operasyon ekipleri için en iyisidir.

Metodoloji

Yönetilen bir yapay zeka ajan platformu, rakiplerine ve kendi ajan harness'inizi oluşturma alternatifine kıyasla gerçekte ne sağlar? Yapay zeka araç alanının burada kalıcı bir kör noktası var. “Yönetilen ajan” ürünleri, ham dil model'leri için kullanılan aynı görev tamamlama puan kartlarıyla rutin olarak karşılaştırılıyor; bu da çok farklı iki şeyi birbirine karıştırıyor: model'in doğru kod üretme yeteneği ile harness'in bu kodu durum, araçlar ve izolasyonla yönetilen bir çalışma zamanında güvenilir şekilde çalıştırma yeteneği. Bu benchmark'ı bu sinyalleri ayırmak için tasarladık.

Yönetilen ajan platformu nedir?

Belirli bir kategoriyi benchmark ediyoruz: LLM inference, ajan orkestrasyonu ve sandbox'lı kod yürütmeyi tek bir yönetilen hizmette birleştiren barındırılan çalışma zamanları. Bu, (1) ham LLM inference API'lerinden, (2) kendi barındırdığınız ajan orkestrasyon framework'lerinden ve (3) kendi model'inizle eşleştirdiğiniz hesaplama sandbox'larından farklıdır. Test edilen dört platform, bu paketin her biri biraz farklı bir şeklini alır:

• Claude Managed Agents (Anthropic): Tam yönetilen harness. Ajan tanımları, oturumlar, olay tabanlı akış, sıkıştırma ve araç yürütme tamamen sunucu tarafındadır. Bu kategorideki iki gerçek rakipten biri.
• Vertex AI Agent Engine (Google): Tam yönetilen harness. ADK tanımlı bir ajanı yönetilen bir çalışma zamanına dağıtın; dağıtım, ajan durumunu ve araç yürütmeyi barındırır. vertexai.agent_engines SDK üzerinden erişilir.
• OpenAI Responses API with Code Interpreter: Bitişik kategori. Yerleşik bir Python sandbox aracı içeren inference API, ancak kalıcı çok turlu oturum durumu veya akış ortası yönlendirme yok.
• Kontrol: Claude Messages API with a local tool loop: Temel olarak dahil edildi. Claude MA ile aynı model (claude-sonnet-4-6), ancak ajan döngüsünü ~150 satır Python ile yerel olarak uyguluyoruz. Araçlar (bash, write, read, edit), benchmark makinesindeki görev başına geçici dizinde çalışır. Bu, yönetilen harness'in “model artı araç döngüsü”nün ötesinde ne kattığını izole eder. Messages API'yi yerel bir ajan döngüsüyle çalıştırmak, model'in aynı olduğu ancak harness'in bulunmadığı bir karşılaştırma üretir. Claude MA ile kontrol arasındaki herhangi bir fark tamamen harness'e atfedilebilir, model yeteneğine değil.

Görev paketi

Üç zorluk kademesini kapsayan on kodlama görevi. Her görev, teslim edilecek ürünü belirten sabit bir prompt'a ve deterministik geçme/kalma kriterlerini kodlayan bir doğrulama betiğine sahiptir. Her görev, varyansı ölçmek için platform başına üç kez çalıştırılır.

Harness'e özgü stres testleri

Görev paketi uçtan uca doğruluğu ölçer. Yalnızca yönetilen bir harness nedeniyle var olan yetenekleri ölçemez: durum bilgisi olan oturum kalıcılığı, akış ortası yönlendirme, bağlantı sürdürme, otomatik bağlam sıkıştırma ve yönetilen dosya sistemi yapıt işleme. Bunlar için iki ek test paketi tasarladık.

Paket A: Yönlendirme & Kesinti

Harness'e özgü ilkelleri çalıştıran üç test.

A1 bir ajanı bir kodlama görevinde başlatır, ardından 10 saniye sonra gereksinimleri değiştiren yeni bir kullanıcı olayını POST /events ile enjekte eder ve son yapıtın orijinal yerine yeni gereksinimi yansıttığını konteyner dosya sistemini inceleyerek doğrular.

A2 bir SSE akışı açar, dört olaydan sonra bağlantıyı düşürür, yeniden bağlanır ve oturumun hâlâ status_idle durumuna ulaştığını doğrular.

A3 kasıtlı olarak çelişkili bir prompt gönderir ve ajanın açıklama isteyip istemediğini veya sessizce bir yorum seçip seçmediğini ölçer.

Yalnızca A3 platformlar arasında taşınabilir. A1'in akış ortası olay enjeksiyonunun OpenAI Responses (tek istek/yanıt) veya Vertex Agent Engine (oturum modeli uçuş sırasında mesaj enjeksiyonundan yoksun) üzerinde doğrudan bir eşdeğeri yoktur. A2'nin bağlantı kesme/yeniden bağlanma özelliğinin de başka yerde eşdeğeri yoktur. Bunlar, Claude MA'nın olay güdümlü oturum modelinin gerçek yapısal avantajlarıdır ve alternatiflerde benchmark edilemez. A1 ve A2'yi yalnızca Claude MA üzerinde, A3'ü ise hem Claude MA hem de Vertex Agent Engine üzerinde çalıştırdık.

Paket B: Sıkıştırma & Bağlam

Yönetilen bağlam özelliklerini çalıştıran iki test.

B1 bir oturumun ilk turuna benzersiz bir kanarya dizesi (UUID türevi bir token) yerleştirir, her biri araç çağrıları ve araç sonuçları üreten ilgisiz küçük kodlama görevlerinden 23 dolgu turu çalıştırır, ardından ajanın 25. turda dosya araması yapmadan kanaryayı bellekten hatırlamasını ister. 23 dolgu turundan sonra başarılı hatırlama, harness'in kullandığı sıkıştırma politikası ne olursa olsun erken bağlamı koruduğunun kanıtıdır.

B2 ajanın gömülü bir işaretçi içeren 50.000 satırlık bir metin dosyası oluşturmasını, ardından işaretçiyi bulmayı gerektiren bir soruyu yanıtlamasını ister. Bu, ajanın tüm dosyayı okumaya çalışmadan bağlam penceresinden daha büyük yapıtlar hakkında akıl yürütüp yürütemediğini test eder.

Hem B1 hem de B2, aynı prompt ve protokoller kullanılarak hem Claude MA hem de Vertex Agent Engine üzerinde çalıştırıldı.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

LLM-as-judge for behavioral scoring

A3 paketi (çelişkiler) için geçme/kalma deterministik bir kontrol değildir; “ajan açıklama istedi mi” sorusunu konuşma davranışı hakkında nitel bir yargı olarak ele aldık. Üç metodolojik korumalı bir LLM-as-judge tasarımı kullanıyoruz:

1. Yargıç model test edilen model'den farklıdır: Kendi kendini değerlendirme yanlılığını önlemek için yargıç Claude Opus 4.6'dır.
2. 4 boolean boyutlu yapılandırılmış rubrik: Yargıç JSON puanlaması döndürür: recognized_contradiction, asked_for_clarification, proceeded_with_assumption, documented_assumption ve bir paragraflık gerekçe.
3. 3 çalıştırmalık tutarlılık kontrolü: Her yargı 3 kez çalıştırılır. Boyut başına çoğunluk konsensüsünü ve boyut başına uyum oranını raporluyoruz. Herhangi bir boyutun uyumu %67'nin altına düşerse, yargıç o boyutta tutarsız olarak işaretlenir ve sonuç düşük güvenilirlikli olarak ele alınır.

Bir anahtar kelime sezgiseli, sağlık kontrolü olarak paralelde çalışır. Sezgisel ile yargıç arasındaki sapma manuel inceleme için günlüğe kaydedilir.

Puanlama

Her platformdaki her görev çalıştırması için:

• Geçti/Kaldı
• Geçen süre: prompt'un gönderilmesinden terminal olayın alınmasına kadar geçen saniyeler (Claude MA için status_idle, Vertex AE için görev tamamlama, OpenAI için yanıt tamamlama, kontrol için araç döngüsü çıkışı).
• Araç çağrısı sayısı: Farklı araç çağrıları. Davranışsal parmak izi olarak yararlıdır; araç ayrıntı düzeyi platformlar arasında önemli ölçüde farklılık gösterdiğinden verimlilik metriği olarak daha az yararlıdır.
• Token kullanımı: Claude MA'da model_request_end olaylarından, Vertex AE'de usage_metadata'dan, OpenAI'da response.usage'dan, kontrolün mesaj döngüsünde tur başına birikimden ayrıştırılır. Girdi, çıktı, önbellek okuma ve önbellek oluşturma olarak ayrıştırılır.
• USD cinsinden maliyet: Yayınlanan fiyatlandırmaya göre token kullanımından hesaplanır: claude-sonnet-4-6 milyon başına $3/$15/$0,30/$3,75; gpt-5.4 $2,50/$15/$0,25; gemini-2.5-pro $1,25/$10/$0.13. Platforma özgü altyapı ücretleri eklenir: Claude MA'nın geçen süreye orantılı $0,08/oturum saati ücreti, herhangi bir araç çağrısı gerçekleştiğinde OpenAI'nin konteyner başına $0,03 ücreti, Vertex AE'nin dağıtım çalışma süresine orantılı yaklaşık $0,35/saat barındırma ücreti.

Paket A ve B sonuçları ayrıca oturum düzeyinde metrikleri yakalar (turlar, kanarya hatırlama, yargıç konsensüsü ve uyumu).

Adillik hususları ve bilinen sınırlamalar

Kurulumdaki birkaç asimetri, sayıların nasıl okunması gerektiğini etkiler; bunları açıkça belirtiyoruz:

Kontrol, araç yürütmeyi bulut gidiş-dönüşü olmadan benchmark makinesinde çalıştırır. Bu, ajan hızından çok ağ atlamasını yansıtan haksız bir geçen süre avantajı sağlar. Kontrolün aynı model'de görevleri Claude MA'dan ~%25 daha hızlı tamamladığını gözlemlediğimizde, bu farkın kabaca yarısı gidiş-dönüş asimetrisidir.

OpenAI Code Interpreter ağ kısıtlı bir sandbox'ta çalışır. Görevler 06 (REST API) ve 10 (eşzamanlı indirici), CI'nın yalnızca aralıklı olarak izin verdiği dışa giden HTTP gerektirir. OpenAI'nin bu görevlerdeki başarısızlıkları sandbox politika başarısızlıklarıdır, model yetenek başarısızlıkları değildir. GPT-5.4 doğru eşzamanlı HTTP kodu yazabilir; platform bunu her zaman çalıştıramaz. Okuyucular “OpenAI ağ görevlerinde başarısız oluyor” ifadesini model hakkında bir ifade olarak yorumlamamalıdır.

Gemini 3.1-pro-preview, proje düzeyinde önizleme izin listesinin arkasında kapılıdır. Bu model'i hem doğrudan Vertex API hem de Vertex Agent Engine üzerinde benchmark etmeye çalıştık. Doğrudan API çağrıları 404 döndürdü; model içeren Agent Engine dağıtımları dağıtım sırasında başarılı oldu, ancak inference çağrıları hata olmadan sıfır olay döndürdü. gemini-2.5-pro'ya geri döndük.

Çok saatlik yeniden düzenleme görevleri, alışılmadık kod tabanlarında hata ayıklama veya uzun süreli otonom iş akışları harness'leri farklı şekilde zorlar ve muhtemelen en üst düzey seçenekleri daha net ayırır.

Tedarik gecikmesini, soğuk başlatma davranışını, eşzamanlı oturum performansını veya hız sınırı tavanlarını ölçmedik. Bunlar yüksek verimli üretim iş yükleri için önemlidir ancak bu turda kapsam dışındaydı.

Tüm yapay zeka ajan platformlarında ortak özellikler

Bu karşılaştırmadaki her platform, yapay zeka ajan kategorisini tanımlayan temel yetenekleri sağlar. Bu ortak özellikler, ajanik otomasyon için minimum uygulanabilir ürünü oluştururken, farklılaştırıcı özellikler platform seçimini belirler.

Çok ajanlı orkestrasyon: Tüm platformlar çok ajanlı orkestrasyonu destekler, ancak uygulama değişir (yukarıdaki bireysel platform bölümlerine bakın).

Araç kullanımı ve harici entegrasyonlar: Her platformdaki ajanlar harici API'leri, veritabanlarını ve iş uygulamalarını çağırabilir. Önceden oluşturulmuş bağlayıcı sayıları yaklaşık 50 (Dify) ile 2.000+ (Relevance AI) arasında değişir ve tüm platformlar özel API tanımlarını destekler.

Kalıcı bellek ve bağlam yönetimi: Oturumlar içinde bilgi tutma (kısa süreli bellek) ve oturumlar arasında bilgi tutma (uzun süreli bellek), platforma bağlı olarak vektör veritabanları, oturum nesneleri veya yapılandırılabilir bağlam pencereleri aracılığıyla elde edilen standart bir yetenektir.

İzleme ve gözlemlenebilirlik: Her platform, ajan yürütmeyi incelemek, token kullanımını ve gecikmeyi izlemek ve hataları belirlemek için günlükler, izler veya analitikler sunar.

İnsan gözetimi ve onay kontrolleri: Ajan eylemlerinin insan tarafından incelenmesi, onaylanması veya geçersiz kılınmasına yönelik mekanizmalar her platformda mevcuttur. Örnekler arasında n8n'in araç başına onay kapıları, LangGraph kesme-ve-devam etme ilkelleri, Bedrock AgentCore politika kontrolleri, ServiceNow AI Control Tower ve Lindy'nin otomatik eskalasyonu bulunur.

Bilgi tabanı ve retrieval-augmented generation (RAG): Belgeleri indeksleme ve retrieval yoluyla ajanları özel bilgiyle temellendirme, kategori genelinde temel bir yetenektir. Uygulamalar arasında Dify RAG pipeline'ı, Voiceflow Knowledge Base, Bedrock Knowledge Bases, Vertex AI RAG Engine ve Kore.ai Search AI bulunur.

No-code veya az kodlu ajan oluşturucu arayüzü: Ajan oluşturmak için grafiksel veya doğal dil arayüzleri her platformda mevcuttur. Kurumsal platformlar no-code stüdyolar sunar (Agentforce Builder, Copilot Studio, watsonx Orchestrate), geliştirici framework'leri ise eşlik eden görsel araçlar sağlar (LangGraph Studio, AutoGen Studio, CrewAI Studio).

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{alper2026,
  author = {Alper, Şevval},
  title  = {{Yapay Zeka Ajan Platformları Benchmark: Claude Managed Agents ve Google Vertex Agent Engine}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/ai-agent-platforms}},
  note   = {AIMultiple. Erişim tarihi: 4 Mayıs 2026}
}

Referans Linkleri

1.

Claude Managed Agents overview - Claude Platform Docs

2.

Agentforce: The AI Agent Platform | Salesforce

3.

Microsoft Copilot Studio Plans and Pricing

4.

Amazon Bedrock AgentCore - AWS

5.

IBM watsonx Orchestrate Agent Catalog

6.

AI Agents - ServiceNow 

7.

Agentic AI Applications for the Enterprise | Kore.ai

Kore.ai

8.

Pricing - Lindy

Şevval Alper

Yapay Zeka Araştırmacısı

Takip Et

Şevval, AIMultiple'da bir yapay zeka araştırmacısıdır. Kaotik sistemler kullanarak sözde rastgele sayı üretimi konusunda daha önce araştırma deneyimine sahiptir.
Şevval, yapay zeka kodlama araçları, yapay zeka ajanları ve kuantum teknolojilerine odaklanmaktadır.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder