Anthropic, yapay zeka ajanlarının Model Bağlam Protokolü (MCP) sunucularıyla doğrudan araç çağrıları yapmak yerine yürütülebilir kod yazarak etkileşim kurduğu bir yöntem tanıttı. Ajan, araçları bilgisayardaki dosyalar olarak ele alır, ihtiyaç duyduğu şeyi bulur ve bunları doğrudan kodla kullanır; böylece ara verilerin modelin belleğinden geçmesi gerekmez. Bu yaklaşımın, aynı başarı oranını korurken belirteç maliyetini düşürüp düşürmediğini görmek için test ettik.
MCP ile kod yürütme ile normal MCP karşılaştırması
Metrik | Düzenli MCP | Kod Yürütme Özellikli MCP | Fark |
|---|---|---|---|
Başarı Oranı | %100 | %100 | Aynı |
Ortalama Gecikme | 9.66s | 10.37s | +7% |
Ortalama Giriş Tokenleri | 15.417 | 3.310 | -78.5% |
Ortalama Çıktı Tokenleri | 87 | 192 | +%120 |
Toplam Giriş Jetonları | 770.852 | 165.496 | -78.5% |
Toplam Çıktı Jetonları | 4.345 | 9.585 | +%120 |
Toplam Tüm Jetonlar | 775.197 | 175.081 | -77,4% |
MCP aracılığıyla harici araçlarla etkileşim kuran yapay zeka ajanları oluşturmaya yönelik iki yaklaşımı karşılaştırdık:
- Standart MCP : Tüm araç tanımlarının modelin bağlam penceresine yüklendiği geleneksel yaklaşım.
- Kod yürütme MCP : Modelin, ara verileri bağlam dışında tutarak araçları çağıran kod yazdığı yeni bir yaklaşım.
Temel bulgular
Giriş belirteci tasarrufu: Kod yürütme, %78,5 daha az giriş belirteci kullanır (165 bin vs 771 bin):
- Düzenli yüklemelerde her çağrıda yaklaşık 15.400 araç tanımı belirteci kaydedilir.
- Kod yürütme, her çağrı için yalnızca ~3.300 belirteç gerektirir.
Daha yüksek çıktı belirteçleri: Kod yürütme yaklaşımı, modelin kod + açıklamalar yazması nedeniyle 2,2 kat daha fazla çıktı belirteci kullanır.
Net token tasarrufu: Toplam token miktarında %77,4 azalma (175.000'e karşı 775.000)
Maliyet etkisi:
- Giriş jetonları genellikle çıkış jetonlarından daha ucuzdur.
- Ancak %78'lik girdi tasarrufu, çıktıdaki 2 kat artışı fazlasıyla telafi ediyor.
- Kod yürütme ile tahmini %70 maliyet düşüşü
Her ikisi de GPT-4.1 ile bu sorgularda %100 başarı oranına ulaştı.
Kod yürütme yaklaşımı, Anthropic'in, aracı yeteneğini korurken bağlam penceresi kullanımını azaltmak için MCP ile kod yürütme kullanımına ilişkin yazısından esinlenilmiştir. 1
MCP karşılaştırmasıyla kod yürütme metodolojisi
Görevler
Her bir yaklaşım için her görevi 50 kez çalıştırıyoruz:
- https://aimultiple.com/open-source-embedding-models adresine gidin ve bana en iyi 5 performans gösteren modeli (yani, en iyi 5 modelde %100 doğruluk oranına sahip modelleri) söyleyin.
- https://aimultiple.com/open-source-embedding-models adresine gidin ve hangi modelin en yüksek gecikme süresine sahip olduğunu söyleyin.
Karşılaştırma kurulumu
Tarayıcı MCP kıyaslamamızda en yüksek doğruluğa sahip olduğu için Bright Data'in profesyonel mod etkinleştirilmiş MCP sunucusunu kullandık.
Bright Data MCP sunucusu: Yapay zeka için web entegrasyon araçları.
Web Sitesini Ziyaret EtGeniş bağlam penceresi nedeniyle LLM olarak GPT-4.1'i kullandık.
Ortam Kurulumu: Önbelleğe alınmış tüm verileri temizledik ve her çalıştırma için yeni bir MCP sunucu bağlantısı sağladık. Her sorgu ayrı bir alt işlem olarak yürütülür.
Mimari karşılaştırma
Düzenli MCP mimarisi
Standart MCP yaklaşımında, aracı basit bir akış izler: Kullanıcı sorgusu, bağlam penceresinde 63 araç tanımının tamamına erişimi olan bir LangGraph ReAct Aracısına girer. Aracı, MCP İstemci Oturumu aracılığıyla araçları seçer ve çağırır ve araç sonuçları, aracının bir sonraki eylemini bilgilendirmek için bağlam penceresinden geri akar.
Kod yürütme MCP mimarisi
Kod yürütme yaklaşımı, ara bir katman ekler: kullanıcı sorgusu, kompakt bir bağlamla (yalnızca araç adları, tam şemalar değil) bir Kod Yürütme Aracısına gider. Aracı, araçları çağıran Python kodu yazar. Bu kod, MCP İstemci Oturumu ile iletişim kuran, korumalı bir Kod Yürütücü ortamında çalışır. Aracının bağlamına yalnızca nihai sonuçlar veya özetler geri döner, ham ara veriler değil.
Kod yürütme uygulaması, aşamalı açıklama yöntemini kullanır. Sistem isteminde yalnızca araç adları ve kısaltılmış açıklamalar (60 karakter) yer alır. Model bir aracı kullanmaya ihtiyaç duyduğunda, yürütme ortamında sağlanan async call_tool() fonksiyonunu çağıran Python kodu yazar.
Yaklaşımımızın sınırlılıkları
- Sorgu çeşitliliği: Yalnızca 2 sorgu türü test edilmiştir; diğer görev türleri için sonuçlar farklılık gösterebilir.
- Tek model: Yalnızca GPT-4.1 ile test edilmiştir; diğer modeller farklı desenler gösterebilir.
- Kod kalitesi: Kod yürütme başarısı, modelin kod üretme yeteneğine bağlıdır; bu durum, daha karmaşık görevlerde başarı oranlarında düşüşe neden olabilir.
Geleneksel MCP'nin kaynakları neden israf ettiği
Problem 1: Araç tanımları gereğinden fazla bağlam tüketiyor.
Her araç, modelin belleğinde talimatlara ihtiyaç duyar. Basit bir örnek:
gdrive.getDocument
Google sürücüsünden bir dosya alıyor.
Gerekli bilgiler: belge kimliği
Dönüş değeri: dosya içeriği
Örnek: Her birinde 20 araç bulunan 50 sunucuya bağlı bir aracı, 1.000 araç tanımı anlamına gelir. Tanım başına yaklaşık 150 token hesaplarsak, aracı ilk isteğinizi okumadan önce 150.000 token tüketilir.
Problem 2: Veriler birden fazla kez işleniyor.
Görev: “Google Drive'dan toplantı notlarımı al ve Salesforce'e ekle.”
Ne oluyor:
- Temsilci belgeyi alıyor (50.000 token)
- Model bunu okuyor.
- Aracı bunu Salesforce adresine gönderiyor (50.000 token daha).
Bu model, verileri bir yerden başka yere taşımak için 100.000'den fazla belirteç (token) işliyor; bu, birinin koca bir kitabı yüksek sesle okuyup başka birine vermesi gibi bir şey.
MCP ile kod yürütme ne zaman kullanılır?
MCP ile kod yürütme, geleneksel MCP uygulamalarındaki iki temel verimsizliği giderir:
- Araç tanımları artık bağlam penceresini kalabalıklaştırmıyor.
- Ara verilerin modelden gereksiz yere akışı duruyor.
Bu yaklaşım şu durumlarda en iyi sonucu verir:
- Birçok MCP aracınız bağlı durumda.
- İş akışlarınız çok adımlı veri işleme içeriyor.
- Büyük belgeler veya veri kümeleri araçlar arasında taşınıyor.
- Bağlam penceresi sınırları aracılarınızı etkiler
Altyapı gereksinimleri, bunun tüm kullanım durumları için otomatik olarak daha iyi olmadığı anlamına gelir. Az sayıda araç içeren küçük ölçekli dağıtımlar, operasyonel karmaşıklığı haklı çıkarmayabilir.
Hali hazırda kapsamlı MCP araç kataloglarına sahip ajanlar kullanan kuruluşlar için, %98'den fazla token azaltımı ve buna bağlı maliyet tasarrufu potansiyeli, bu yaklaşımı araştırmaya değer kılıyor.
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.