En İyi 13 Açık Kaynak Agentic AI Framework'leri

smolagents grafikte yer almıyor. Ortalama 20.55 sn ve $4,52 1.000 çalıştırma başına ile açık ara en yüksek süre ve maliyete sahipti; onu dahil etmek diğer framework'ler arasındaki farkları okunamaz hale getirdi. Nedenini aşağıda açıklıyoruz.

• En ucuz üç framework Agno ($1,41), CAMEL ($1,45) ve Google ADK'dır ($1,48). Bu üçü araçları art arda çalıştırır ve araçların birbirini beklememesinden kaynaklanan hatalarla hiç karşılaşmaz. LangChain ($1,49) ve LangGraph ($1,50) araçları aynı anda çalıştırır ancak maliyetleri yaklaşık aynıdır çünkü en kısa araç tanımlarından bazılarını yazar.
• Microsoft Agent Framework hızlıdır (7.57 sn) ancak grafikteki en pahalı framework'tür ($1,88). Araçları aynı anda çalıştırır; bu nedenle çalıştırmaların %64'ü hata alır ve adımları tekrarlar, ayrıca uzun araç tanımları yazar.
• Grafikteki 12 framework arasındaki maliyet farkı küçüktür: en fazla $0,47 1.000 çalıştırma başına.
• Sürenin %98 ila %99'u modeli beklemeye gider. Framework'ün kendi kodunun süre üzerinde neredeyse hiç etkisi yoktur.

Bu benchmark'ı ilk olarak Şubat 2026'da GPT-5.2 üzerinde dört framework ile çalıştırdık: LangChain, LangGraph, AutoGen ve CrewAI. CrewAI o sırada diğer üçünden yaklaşık iki kat daha uzun sürdü (ortalama 52.7 sn, diğerlerinde 27.5-29.6 sn) ve en ağır framework, en hafifinden %64 daha fazla token kullandı. Güncel sürümlerde dört framework ortalama 8.20-8.39 sn sürüyor ve token farkı %26.

Testleri nasıl çalıştırdığımız ve sonuçları nasıl analiz ettiğimizle ilgili ayrıntılar için benchmark metodolojimize bakın.

Paralel ve sıralı araç yürütme

Model bazen aynı anda birden fazla araç ister. Agno, CAMEL ve Google ADK bu araçları art arda çalıştırır: bir sonraki, önceki bitince başlar. Diğer on framework varsayılan olarak hepsini aynı anda başlatır. Araçlar birbirine bağımlı olduğunda, bunları birlikte başlatmak sorunlara yol açar çünkü ikinci araç ilk aracın bitmesini beklemez. Gerçek bir uygulamada bu, bir aracın veritabanı kaydı yazarken başka bir aracın aynı kaydı okumaya çalışması gibidir.

Sıralı davranış, kullandığımız senkron çağrılar için geçerlidir. Agno'nun arun(), CAMEL'in astep() ve Google ADK'daki asenkron araçları çağrıları aynı anda çalıştırır.

Bunu üç görevde gördük:

• Görev 1 (veriyi yükle, sonra hesapla):
  • Model her iki adımı birlikte istedi. Araçları aynı anda çalıştıran framework'lerde hesaplama, veri yüklenmeden önce başladı ve başarısız oldu, ardından model bunu tekrar istedi.
  • Bu, fazladan bir LLM çağrısıdır. Görev, 2.5-3 sn ve $0,48-0.64 1.000 çalıştırma başına Agno, Google ADK ve CAMEL'de sürdü; araçları aynı anda çalıştıran on framework'te ise 3.5-5.2 sn ve $0,74-1.05 sürdü.
• Görev 3 (iki filtreyi art arda uygula, sonra hesapla):
  • Model üç adımın tümünü birlikte istedi. Hesaplama, ikinci filtre tamamlanmadan önce çalıştı; bu nedenle 1.483 müşteriyi 592 yerine kullandı.
  • Benchmark'daki 10 başarısız çalıştırma, 13 başarısız çalıştırmanın içinde bundan kaynaklanır: LangChain ve LangGraph'de 3'er yanlış yanıt, Microsoft Agent Framework'te 1 ve bir araç hatası nedeniyle duran 3 CrewAI çalıştırması. Yanlış yanıtların 6'sında model, sayı vermek yerine sonucun güvenilir olmadığını söyledi.
  • Model çoğu zaman tutarsızlığı fark etti ve adımları tekrarladı. Microsoft Agent Framework, çalıştırmaların %59'inde adımları tekrarladı ve smolagents'tan sonra bu görevdeki en pahalı framework oldu (1.000 çalıştırma başına $1,96). Google ADK hiç adım tekrarlamadı ve en hızlısıydı (8.05 sn).
• Görev 5 (JSON ve metin sütunlarını tanı ve her birini doğru araçla işle):
  • Burada framework'ler farklılık göstermedi. Tüm 1.300 çalıştırmada model, sütunları işlemeden önce her ikisini de inceledi ve doğru aracı seçti.
  • Fark yine paralel yürütmeden geldi. CrewAI çalıştırmalarının %85'inde ve Microsoft Agent Framework çalıştırmalarının %69'unda, araç verisi hazır olmadan önce çalıştı ve adımlar tekrarlandı.
  • Yanıtlar doğruydu ancak CrewAI, smolagents'tan sonra bu görevdeki en pahalı framework oldu (1.000 çalıştırma başına $2,08).

Her framework'ün varsayılan ayarını kullandık. Araçları aynı anda çalıştırmak yalnızca araçlar yavaş olduğunda zaman kazandırır; örneğin her biri saniyeler süren API çağrıları gibi. Bizim araçlarımız milisaniyeler içinde biter; dolayısıyla burada yukarıdaki hatalara yol açtı ve hız kazancı sağlamadı. Araçlarınız yavaş ve bağımsızsa varsayılanı koruyun. Veri paylaşıyorlarsa iki seçenek vardır:

• Framework'ü araçları teker çalıştıracak şekilde yapılandırın. Strands Agents'taki SequentialToolExecutor ve smolagents'taki max_tool_threads=1 bunu yapar. LlamaIndex'te allow_parallel_tool_calls=False, modelin yanıt başına bir araç istemesini sağlar.
• Birbirine bağımlı olmayan araçlar yazın; örneğin "filtrele" ve "hesapla"yı tek bir araçta birleştirerek.

Talimatlar ve geçmiş modele nasıl ulaşır

Çoğu framework talimatlarımızı olduğu gibi gönderir ve önceki adımları standart araç mesajları olarak gönderir. smolagents talimatlarımızı kendi 6.780 karakterlik şablonunun içine yerleştirir ve önceki adımları düz metin olarak yeniden gönderir. Bu fark üç yerde ortaya çıktı:

• İlk istek daha büyüktür: smolagents'ta ortalama 4.428 token; diğer framework'lerde 1.917-2.822.
• Model daha fazla düşündü: aynı model smolagents'ta çalıştırma başına ortalama 1.050 muhakeme token'ı üretirken, diğer framework'lerde 122-228 üretti. Muhakeme token'ları çıktı olarak faturalanır ve üretilmesi zaman alır. Agentic orchestration benchmark'ımızda da model her smolagents çalıştırmasında düşündü.
• Daha fazla LLM çağrısı vardır: smolagents'ta çalıştırma başına ortalama 6.52, diğerlerinde 3.73-4.78. Bunun çoğu, Görev 4'teki (aşağıda) farklı davranışından kaynaklanır.

Fark, daha fazla adım içeren görevlerde büyür. Görev 2, ajandan iki grubu hesaplamasını ve karşılaştırmasını istedi: teknik destek alan ve almayan müşterilerden kaybedilen gelir. Ajan her grubu ayrı ayrı filtreler ve hesaplar; bu nedenle görev birkaç adım sürer ve şablon ile geçmiş her adımda yeniden gönderilir.

• smolagents bu görevde çalıştırma başına ortalama 31.200 token gönderdi; diğer framework'ler 9.244 ile 14.161 arasında gönderdi.
• smolagents görevi 24.34 sn'de ve $4,38 1.000 çalıştırma başına ile tamamladı; bu, diğer framework'lerin 2-3 katıdır. İki smolagents çalıştırması yanıt alamadan LLM çağrı sınırına takıldı.
• Diğer framework'lerin çoğu 10-12 sn'de tamamladı. Google ADK, 3.39 LLM çağrısıyla 7.58 sn ile en hızlısıydı ve CAMEL $1,34 ile en ucuzuydu.

smolagents'ın varsayılan şablonunu kullandık. prompt_templates parametresiyle daha kısa bir tane iletebilirsiniz.

Bir araç hata verdiğinde davranış

Görev 4, bir araç bozuk olduğunda ajanın ne yaptığını test etti. Ödeme yöntemine göre churn oranını hesaplayan araç ilk üç çağrıda başarısız olur (bağlantı hatası, zaman aşımı, hız sınırı) ve dördüncüde çalışır. Her hata mesajı "yeniden dene" der. Ajanın iki seçeneği vardır: aracı yeniden denemek veya her ödeme yöntemini ayrı ayrı filtreleyip hesaplamak.

• On iki framework'te model, her hatadan sonra çalıştırmaların %97 ila %100'inde aracı yeniden denedi ve dördüncü denemede sonucu aldı. Görev ortalama 5.7-7.1 LLM çağrısı ve 7.9-10.4 sn sürdü.
• smolagents'ta aynı model, çalıştırmaların %96'inde ikinci veya üçüncü hatadan sonra araçtan vazgeçti ve dört ödeme yöntemini tek hesapladı. Görev ortalama 13.76 LLM çağrısı ve 41.07 sn sürdü ve 1.000 çalıştırma başına $9,96 tuttu; diğer framework'lerde $1,90-2.75 idi.
• Hata mesajı her framework'te aynıydı. smolagents'ta farklı olan, hatayı ve önceki adımları kendi şablonunun içinde düz metin olarak göstermesidir. Davranış farkının bundan kaynaklandığını düşünüyoruz ancak bunu ayrıca test etmedik.

Bu davranışı model de etkiler: GPT-5.2 ve framework başına bir çalıştırma ile yapılan bir kontrolde, 13 framework'ün 6'sı araçtan vazgeçti ve diğer yolu seçti.

Hataları modele olduğu gibi gösterdik. Bağlantı hataları, zaman aşımları ve hız sınırları gibi geçici hatalar araç içinde yeniden denenirse model bunları hiç görmez ve davranış artık framework'e bağlı olmaz.

Araç tanımları model için nasıl yazılır

Her framework'e aynı açıklamalara sahip aynı Python fonksiyonlarını verdik. Her framework bunları, modelin okuduğu araç tanımlarına kendi yöntemiyle dönüştürür. Bu, ilk isteğin boyutunu değiştirdi: Agno'da ortalama 1.917 token, AutoGen'de 2.754. Farkın çoğu araç tanımlarından gelir:

• Agno, LangChain ve LangGraph, araç açıklaması olarak yalnızca fonksiyon açıklamasının ilk cümlesini kullanır ve parametre açıklamalarını parametrelere koyar. Tanımları en kısadır.
• AutoGen, Microsoft Agent Framework, CrewAI ve Google ADK; parametre ve dönüş açıklamaları dahil olmak üzere tam fonksiyon açıklamasını gönderir.
• LlamaIndex ayrıca başlangıca fonksiyon imzasını ekler.
• Pydantic AI açıklamayı XML etiketleri içinde yazar ve dönüş açıklamasını ekler.

İki framework talimatlara metin ekler. CrewAI talimatları rol, arka plan hikayesi ve hedef şablonuna yerleştirir ve Google ADK sona "You are an agent" ile başlayan bir satır ekler. Bu eklemeler, araç tanımlarındaki farklılıklardan daha küçüktür.

Araç tanımları her istekle yeniden gönderilir; bu nedenle fark her adımda maliyet ekler. Agno ve AutoGen çalıştırma başına neredeyse aynı sayıda LLM çağrısı yaptı (4.40 ve 4.45); yine de AutoGen modele ortalama %37 daha fazla token gönderdi (14.932, 10.899'a karşı).

Her framework'e aynı fonksiyonları ve açıklamaları verdik. Fonksiyon açıklamalarını kısa tutmak veya framework'e ayrı bir araç açıklaması vermek bu farkı azaltır. CrewAI'de talimatlara eklenen metin system_template ve prompt_template ile değiştirilebilir.

Framework kod ek yükü

Framework'ün kendi kodu bir çalıştırmaya ortalama 0.04-0.14 sn ekler; bu, toplam sürenin %2'sinden azdır.

Başlangıç, Google ADK'da yaklaşık 1 sn, CAMEL'de 0.6 sn ve diğerlerinde 0.35 sn'nin altındadır. Başlangıç süresi benchmark sonuçlarına dahil edilmez.

Her istek için sıfırdan başlayan sunucusuz fonksiyonlar gibi sistemlerde, başlangıç süresi her isteğe eklenir. Uygulama başlarken framework'ü bir kez yüklemek ve süreci çalışır durumda tutmak bunu ortadan kaldırır.

Agentic Framework'ler vs Yapay Zeka Kodlama Ajanları

Bir framework'ün yapay zeka kodlama ajanına kıyasla neyi değiştirdiğini görmek için beş görevi açık kaynaklı bir yapay zeka kodlama ajanı olan OpenCode'da 100'er kez çalıştırdık. Onu genel bir ajan olarak kullandık: aynı model, talimatlar ve araçlar, kendi kodlama araçları kapalı olarak.

Fark küçüktü. OpenCode tüm 500 çalıştırmayı doğru yanıtladı; ortalama süresi (6.42 sn) en hızlı framework'lerle uyumluydu ve maliyeti (1.000 çalıştırma başına $1,78) framework'lerin üst yarısındaydı ($1,41 ile $1,88 arası). Farklar, framework'leri birbirinden ayıran aynı tercihlerden kaynaklandı:

• Araçları aynı anda çalıştırmak: OpenCode da bunu yapar; bu nedenle Görev 1'de hesaplama çoğunlukla veri yüklenmeden önce çalıştı ve fazladan bir LLM çağrısı gerektirdi.
• İstek boyutu: İlk isteği ortalama 2.980 token'dı; framework'lerde ise 1.917 ile 2.822 arasındaydı; çünkü araçlar tam açıklamalarıyla MCP üzerinden ulaşıyordu. Bu, Görev 1 ve 4'te en pahalı olmasına neden oldu.

Çoklu ajan desteği

Bu benchmark tek bir ajan kullandı; ancak 13 framework'ün tümü birden fazla ajanı birlikte çalıştırmayı destekler. Bu bölümdeki ve sonraki üç bölümdeki bilgileri, test ettiğimiz sürümlerin kaynak koduyla karşılaştırdık. Yaklaşımlar üç gruba ayrılır:

• Akış olarak tanımlanan: LangGraph (düğümler ve kenarlar), Microsoft Agent Framework (WorkflowBuilder), Google ADK (SequentialAgent, ParallelAgent, LoopAgent), Strands Agents (Graph ve Swarm) ve LlamaIndex (ajanlar arasında devirler içeren AgentWorkflow).
• Ekip olarak tanımlanan: CrewAI (sıralı bir Crew veya yönetici ajanlı bir Crew), AutoGen (RoundRobinGroupChat, SelectorGroupChat, Swarm), Agno (Team) ve CAMEL (Workforce, RolePlaying).
• İşi başka bir ajana devretme: OpenAI Agents SDK (handoffs), smolagents (managed_agents), Pydantic AI ve LangChain (bir ajanı başka bir ajana araç olarak verme).

Bu framework'lerin beş ajanlı bir akışı nasıl ele aldığını agentic orchestration benchmark'ımızda.

MCP desteği

MCP (Model Context Protocol), ajanlara harici araçlara ve veri kaynaklarına bağlanmak için standart bir yol sunar. 13 framework'ün tümü MCP sunucularından araç kullanabilir.

Framework'ün kendi paketine dahil edilen MCP istemcisi:

• Agno
• CAMEL
• CrewAI
• Google ADK
• LangChain (ek bağımlılık: langchain[mcp])
• Microsoft Agent Framework
• OpenAI Agents SDK
• Pydantic AI
• smolagents (ek bağımlılık: smolagents[mcp])
• Strands Agents

Ayrı paket gerekir:

• AutoGen: autogen-ext
• LangGraph: kendi MCP istemcisi yoktur; LangChain'in MCP desteğini veya langchain-mcp-adapters'yi kullanır
• LlamaIndex: llama-index-tools-mcp

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

İnsan onayı (human-in-the-loop)

E-posta göndermek veya bir kaydı silmek gibi bazı eylemler, bir kişinin onayı olmadan gerçekleşmemelidir. Framework'ler bunu üç şekilde destekler.

Araç çalışmadan önce onay isteme:

• Agno: requires_confirmation
• Google ADK: require_confirmation
• LangChain: HumanInTheLoopMiddleware
• Microsoft Agent Framework: approval_mode
• OpenAI Agents SDK: needs_approval
• Pydantic AI: requires_approval

Akışı duraklatma ve kişinin yanıtını bekleme:

• LangGraph: interrupt
• LlamaIndex: insan girdisini bekleyen olaylar
• Strands Agents: kesintiler

Bir kişiyi ajan veya araç olarak bağlama:

• AutoGen: UserProxyAgent
• CAMEL: HumanToolkit
• CrewAI: görev sonunda human_input aracılığıyla geri bildirim
• smolagents: UserInputTool

Bellek

Her framework, bir görev içindeki geçmişi tutar. Fark, görevler ve konuşmalar arasındaki kalıcı bellekte ortaya çıkar.

Yerleşik kalıcı bellek:

• Agno: MemoryManager
• AutoGen: Memory
• CAMEL: LongtermAgentMemory
• CrewAI: bir Crew üzerindeki bellek ayarı
• Google ADK: bellek hizmetleri
• LangChain: checkpointers ve stores
• LangGraph: checkpointers ve stores
• LlamaIndex: Memory
• Microsoft Agent Framework: bağlam ve geçmiş sağlayıcıları
• OpenAI Agents SDK: oturumlar
• Strands Agents: oturum yöneticileri

Yerleşik kalıcı bellek yok (uygulama geçmişi saklar ve sonraki çalıştırmada ajana iletir):

• Pydantic AI
• smolagents

En iyi agentic framework'ler

LangGraph

Bir ajanı düğümler ve kenarlardan oluşan bir graf olarak tanımlar ve geliştirici, adımlar arasında geçirilen durumu açıkça yönetir. Python ve JavaScript sürümleri vardır ve çalıştırmalar LangChain'in LangSmith platformunda izlenebilir.

Görev 3'teki en uzun LangGraph çalıştırması doğru yanıta ulaşmadan önce 25 araç çağrısı yaptı ve bunların 16'sı tekrardı. smolagents dışında, diğer herhangi bir framework'teki en uzun çalıştırma 21 araç çağrısında durdu.

LangChain

LangChain ekibinin LLM uygulamaları için genel amaçlı framework'ü. 1.0 sürümünden bu yana ajanlar create_agent ile oluşturulur ve LangGraph çalışma zamanında çalışır. Middleware ajan döngüsünü değiştirebilir ve hazır middleware'ler uzun geçmişleri özetleme, kişisel verileri maskeleme, hata sonrası yeniden deneme ve başka bir modele geçmeyi kapsar.

create_agent LangGraph üzerinde çalıştığı için modele LangGraph ile aynı talimatları ve araç tanımlarını gönderdi; iki framework neredeyse aynı süre ve maliyetle sonuçlandı.

CrewAI

Ajanları rol, hedef ve arka plan hikayesiyle tanımlar ve onları görevlerle bir ekip (crew) olarak çalıştırır. Crew'ların üzerine Flows, adımları olaylar aracılığıyla bağlar ve şirket ayrıca ücretli bir kurumsal platform sunar.

Görev 4'teki en hızlı framework'tü (7.85 sn) ve orada en az LLM çağrısı yaptı (ortalama 5.68).

AutoGen

Microsoft Research'in, ajanların birbirine mesaj göndererek çalıştığı framework'ü. Katmanlı bir tasarıma (Core, AgentChat ve Extensions) sahiptir ve no-code arayüzü AutoGen Studio ayrı bir paket olarak gelir. Microsoft, yeni projeler için Microsoft Agent Framework'ü önerir.

Varsayılan olarak AssistantAgent, bir tur araç çağrısından sonra durur ve araç sonucunu yanıt olarak döndürür (max_tool_iterations=1). Çok adımlı görevler daha yüksek bir değer gerektirir ve biz de bu değeri artırdık.

Microsoft Agent Framework

Microsoft'un AutoGen ve Semantic Kernel'ı bir araya getiren framework'ü. Python ve .NET'i destekler. Ajan çağrıları için OpenTelemetry izleme ve middleware sunar; DevUI adlı geliştirme arayüzü ayrı bir paket olarak gelir.

Sık sık adım tekrarlasa da Görev 5'teki en hızlı framework'tü (6.50 sn).

OpenAI Agents SDK

OpenAI'nin Swarm'ın halefi olan framework'ü; ajanlar, araçlar, handoffs ve guardrails etrafında kurulmuştur. Python ve TypeScript sürümleri vardır. Varsayılan olarak her çalıştırmanın izini OpenAI'nin izleme paneline gönderir (benchmark için bunu kapattık). Sesli ve gerçek zamanlı ajanlar için ayrı modüller içerir. Varsayılan olarak OpenAI'nin Responses API'sini kullanır; bu nedenle diğer sağlayıcılardan gelen modellerin Chat Completions model sınıfına ihtiyacı vardır.

Google ADK

Gemini ile doğrudan, diğer modellerle ise kullandığımız LiteLLM aracılığıyla çalışır. Yerel bir geliştirme arayüzü (adk web) ve bir değerlendirme aracı (adk eval) ile gelir; ajanlar komut satırından Vertex AI Agent Engine, Cloud Run veya GKE'ye dağıtılabilir.

Ortalama en hızlı framework'tü (6.79 sn) ve beş görevin tümünde en hızlı üç framework arasında yer aldı. Ayrıca çalıştırma başına en az LLM çağrısı yaptı (ortalama 3.73).

Agno

Çok sayıda hazır araç seti kataloğuyla birlikte gelir ve ajanları kendi altyapınızda bir API olarak sunmak ve yönetmek için bir çalışma zamanı olan AgentOS'u sunar.

Agno'da model, araç çağrılarının yanına neredeyse hiç yorum yazmadı: araç çağırma turlarının %0,2'sinde yazarken, diğer framework'lerde %3 ila %26 arasında yazdı. Bu yorumlar çıktı token'ları olarak faturalanır.

Pydantic AI

Araç argümanlarını ve ajan çıktısını Pydantic modelleriyle doğrular ve modelden geçersiz bir argümanı düzeltmesini ister. Tipli deps mekanizması, veritabanı bağlantıları gibi bağımlılıkları araçlara iletir. Çalıştırmalar Pydantic Logfire ile izlenebilir ve Temporal, DBOS veya Prefect ile kesintilere karşı dayanıklı hale getirilebilir.

smolagents

En bilinen yaklaşımı, JSON yerine Python kodu yazarak araçları çağıran ve bu kodu yerel olarak veya E2B, Docker veya Modal gibi izole ortamlarda çalıştıran CodeAgent'tir. Araçlar ve ajanlar Hugging Face Hub'da paylaşılabilir. JSON araç çağrıları yapan ToolCallingAgent'i test ettik; bu nedenle CodeAgent bu sonuçların bir parçası değildir.

Yanıtı ayrı bir final_answer aracı aracılığıyla döndürdüğü için çıktılarının %99,6'sı düz JSON idi. Diğer framework'lerde yanıtların %17 ila %41'i bir markdown kod bloğu içinde geldi.

LlamaIndex

Belgeleri yükleme, bölme, dizine ekleme ve sorgulama bileşenleri içerir ve bir sorgu motoru QueryEngineTool ile bir ajana araç olarak verilebilir. Ajanlar için FunctionAgent ve birden fazla ajanı bağlayan AgentWorkflow'u sunar. Python ve TypeScript sürümleri vardır.

Grafikte, en çok adıma sahip görevler olan Görev 2 ve Görev 4'teki en pahalı framework'tü (1.000 çalıştırma başına $1,91 ve $2,75). Uzun araç tanımları her adımda yeniden gönderilir; bu nedenle fark, adım sayısıyla birlikte büyür.

Strands Agents

Planlamayı ve araç seçimini modele bırakır ve ajan döngüsünü basit tutar. Model ayarlanmamışsa bir Claude modelini Amazon Bedrock üzerinde kullanır; Anthropic, OpenAI, Gemini, Mistral, Ollama ve LiteLLM için yerleşik sağlayıcıları vardır. Çalıştırmaları OpenTelemetry ile izler.

Tüm 100 Görev 1 çalıştırmasında model, veriyi yüklemeden önce hesaplama aracını çağırdı, hata aldı ve veriyi ayrı bir adımda yükledi. Bu ekstra adım nedeniyle Strands, Görev 1'de grafikteki en yavaş framework'tü (5.18 sn).

CAMEL

Çoklu ajan araştırmalarından doğan CAMEL-AI topluluğuna ait agentic bir framework; OWL bunun üzerine kuruludur. Hazır araç setlerinin yanı sıra sentetik veri üretimi ve benchmark'lar için modüller içerir; bu nedenle araştırma kullanımını da hedefler.

Grafikte Görev 3'teki en yavaş framework'tü (14.43 sn). Bu görevde model CAMEL'de çalıştırma başına ortalama 4.73 LLM çağrısı yaptı ve 598 muhakeme token'ı üretti; Google ADK'da ise 3.22 ve 207 idi.

Benchmark metodolojisi

Tüm görevler aynı verileri kullanır: 5.000 müşteri, IBM Telco müşteri churn veri setinden örneklenmiştir. Veri setine bir JSON sütunu (cihaz verileri) ve bir metin sütunu (destek notları) ekledik. Ajan önce verileri yükler, ardından araçlarla filtreler ve hesaplar, sonra yanıtı sabit bir JSON biçiminde döndürür.

• Görev 1, temel hesaplama: Sözleşme türüne göre churn oranı. Framework'ün en basit işe ne kadar ek yük eklediğini ölçer.
• Görev 2, iki grubun karşılaştırılması: Teknik destek alan ve almayan müşterilerden kaybedilen aylık gelir. İki ayrı sonucun adımlar boyunca doğru kalıp kalmadığını ölçer.
• Görev 3, eşikler: Ayda $70 üzerinde ödeme yapan, 1 yıldan az görev süresine sahip müşterilerin churn oranı. İfadeleri doğru sayılara dönüştürmeyi ve iki filtreyi art arda uygulamayı ölçer.
• Görev 4, bozuk araç: Ödeme yöntemine göre churn oranı. Gerekli araç üç kez başarısız olur ve dördüncüde çalışır. Bir araç başarısız olduğunda ajanın ne yaptığını ölçer.
• Görev 5, karışık veriler: Ayda $100 üzerinde ödeme yapan churn olmuş müşteriler için cihaz sayıları (JSON sütunundan) ve şikayet anahtar kelimeleri (metin sütunundan). Ajanın sütun türlerini tanıyıp doğru aracı seçip seçmediğini ölçer.

Kurulum

• Model: Claude Haiku 5.5, OpenRouter üzerinden Anthropic sağlayıcısıyla, orta düzeyde muhakeme çabası.
• Framework ve görev başına 100 çalıştırma, toplamda 6.500 çalıştırma. Tarih: 27 Ekim 2026.
• Çalıştırma başına sınırlar: Görev 1-3'te 15 LLM çağrısı, Görev 4-5'te 25 ve 420 sn.
• Her framework aynı talimatları, aynı görev metnini ve aynı araçları aldı. Her framework'ü standart şekilde kurduk ve varsayılan davranışını değiştirmedik. Yalnızca görevlerin tamamlanması için adım sınırlarını yeterince artırdık ve CrewAI, smolagents ve AutoGen'de Claude ile çalışabilmeleri için birer ayarı değiştirdik.
• Tüm istekler aynı loglama proxy'sinden geçti. Proxy, her isteğe aynı model ve muhakeme ayarını uyguladı ve bazı framework'lerin eklediği örnekleme ayarlarını kaldırdı; örneğin LlamaIndex'in gönderdiği 0.1 sıcaklığı gibi.
• Her çalıştırma, ölçülmeyen bir ısınma geçişinden sonra kendi sürecinde çalıştı. Çalıştırmalar, karıştırılmış sırayla aynı anda üçer çalıştı.
• Her yanıtı, aynı araçlarla hesaplanan doğru yanıtla karşılaştırdık.
• 5.000 müşterilik örneklemimiz için sonuçlar, veri setinin iyi bilinen genel sonuçlarından farklıdır; bu nedenle model bellekten yanıt veremez.
• Test edilen sürümler: LangGraph 1.2.17, LangChain 1.4.7, CrewAI 1.15.30, AutoGen AgentChat 0.7.5, Microsoft Agent Framework 1.23.0, OpenAI Agents SDK 0.24.0, Google ADK 2.13.0, Agno 3.1.10, Pydantic AI 2.61.0, smolagents 1.26.0, LlamaIndex 0.14.25, Strands Agents 1.62.0, CAMEL 0.2.90.

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Şipi, Nazlı},
  title  = {{En İyi 13 Açık Kaynak Agentic AI Framework'leri}},
  year   = {2026},
  month  = nov,
  howpublished    = {\url{https://aimultiple.com/agentic-frameworks}},
  note   = {AIMultiple. Erişim tarihi: 5 Kasım 2026}
}

Değişiklik günlüğü

10 güncelleme

Tümü10Genel9Metodoloji1

20262025

1. 2 Mar

   Agentic AI çerçeveleri karşılaştırma bölümündeki karşılaştırma sonuçları ve analizleri değiştirildi.

2. 22 Oca

   Görevlerin ajan tabanlı mimarilere nasıl entegre edildiğini açıklayan bir metodoloji değişikliği kaldırıldı.

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple bünyesinde baş analisttir. Cem'in AIMultiple'daki çalışmaları; Business Insider, Forbes, Morning Brew ve Washington Post gibi önde gelen küresel yayınlar, Deloitte ve HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslarüstü kuruluşlar tarafından alıntılanmıştır. [1], [2], [3], [4], [5] Kariyeri boyunca Cem; teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yaptı. On yılı aşkın süre boyunca McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararlarında danışmanlık yaptı. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayımladı. CEO'ya rapor verirken bir telekom şirketinin teknoloji stratejisini ve satın alma süreçlerini yönetti. Ayrıca 2 yıl içinde 0'dan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetti. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınları tarafından ele alındı. Cem, uluslararası teknoloji konferanslarında düzenli olarak konuşma yapmaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisi olarak mezun oldu ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Araştıran

Nazlı Şipi

Yapay Zeka Araştırmacısı

Takip Et

Nazlı, AIMultiple'da veri analistidir. Çeşitli sektörlerde veri analizi alanında önceki deneyime sahiptir; bu sektörlerde karmaşık dataset'leri uygulanabilir içgörülere dönüştürme üzerine çalışmıştır.

Tam Profili Görüntüle

Yorumlar 1

Düşüncelerinizi Paylaşın

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder

Chaitanya

Dec 19, 2025 at 01:47

Thank you for this informative and detailed article! It helped me get a reading on these frameworks.

Yanıtla