A-CODE-CLI Bench: Agentic CLI Karşılaştırması

Agentic CLI araçları, tüm projenin kodlamasını oluşturabilen, dosya silebilen, komut çalıştırabilen, planlayabilen ve yürütebilen yapay zeka kodlama araçlarıdır. Önde gelen araçları 10 gerçek dünya web geliştirme senaryosunda karşılaştırdık, her ajan için ~600 atomik doğrulama kontrolü ve arka uç mantığı, ön uç işlevselliği ve çoklu çalıştırma tutarlılık doğrulaması dahil olmak üzere toplam ~5.000'den fazla otomatik test yürütmesi gerçekleştirdik.

Agentic CLI karşılaştırma sonuçları

Agentic CLI araçlarının performans içgörüleri

Arka uç doğruluğu sıralamayı belirler; birleşik puan, arka ucu 0.7, ön ucu ise 0.3 ağırlıklandırır.

• Dokuz temiz çalışan ajanın tümü aynı Sonnet 4.6 kullanır, ancak arka uç Opencode'un 77.3%'ünden Goose'un 55.4%'üne kadar değişir. Bu 22 puanlık fark tamamen orkestrasyondan kaynaklanır.
• Güçlü bir arka uç, güçlü bir bitişi garanti etmez: Cline (arka uçta 4., %69.5) ve Forge (5., %67.2) arka uçta üst sıralarda yer alır ancak ön uçta ciddi şekilde geride kalır, Cline'ın %52.5'i alandaki en zayıfıdır, bu yüzden her ikisi de birleşik sıralamada geriler.
• Codex, mükemmel bir 100% ön uca rağmen arka uçta 10. sıradadır (%52.1). Ortak modele ulaşmak için burada bir proxy üzerinden çalışır, bu da yeteneklerini olumsuz etkileyebilir, bu nedenle bu muhtemelen bir alt sınırdır, ajanın gerçek arka ucu değildir.¹ Gemini de bir proxy üzerinden çalıştırılmıştır, aynı şekilde sınırlıdır.
• Derleme sıralaması davranışı öngörmez: burada lider olan ajan sıkıştırma sonrası hiçbir şey saklamazken, orta sıralardaki bir ajan her şeyi saklar.

Hız, token kullanımı ve maliyet-puan karşılaştırması

Çalışma zamanı verimliliğini, her biri birleşik doğruluk puanına karşı çizilen ortalama yürütme süresi (saniye), efektif token kullanımı (girdi + çıktı) ve görev başına maliyet (USD) kullanarak değerlendirdik:

Bir ajanın ne kadar hızlı, ucuz veya token açısından hafif olduğu, ne kadar iyi puan aldığını öngörmez.

• Opencode üçünde de aynı anda kazanır: en yüksek birleşik puan (%81.6), yetenekli herhangi bir ajan arasında en düşük maliyet (görev başına $1.03), en az token'lar arasında ve en hızlı çalışmalar. Olağan doğruluk-maliyet takasını tersine çevirir.
• Maliyet yaklaşık 40 kat değişir, Forge $0.18'den Junie $7.58'e kadar, sıralamayla bağlantısı yoktur. Forge en ucuzdur çünkü en azını yapar: arka ucu bilet oluşturmayı başaramaz. Junie'nin $7.58'i orta sıralarda bir %74.7 satın alır ve şişirilmiş bir üst sınırdır.
• Goose en az için en çok öder: $3.23 ile ikinci en pahalıdır, ancak alandaki en düşük temiz puana sahiptir (%62.5). Puanda ilk üç ucuz kalır (Opencode $1.03, Claude Code $1.83, Grok $2.03).
• Ne en hızlı ne de en yavaş ajan kazanır: Kiro (439sn) ve Gemini (1.158sn, proxy ek yükü) her ikisi de orta sıralarda yer alır. Ekstra harcama yeniden denemeler ve yeniden doğrulama satın alır, problem çözme derinliği değil.
• Token sayıları çoğunlukla önbellekleme ile ilgilidir. Codex, Claude Code, Cline, Opencode, Gemini ve Grok girdilerinin 86–%98'ini önbelleğe alır, bu nedenle Claude Code'un 4.18M brüt token'ı efektif olarak 115k'ye düşer. Junie, Goose, Kiro, Forge ve Aider önbelleğe almaz, bu yüzden yeniden gönderdikleri her token için ödeme yaparlar; Junie'nin 2.36M'si bu yüzden alandaki en yüksektir.
• Rakamlarla ilgili üç çekince: önbelleğe almayan beş ajan için, efektif girdi gönderdikleri her şeydir, bu yüzden bir üst sınır olarak okuyun; Kiro'nun $1.72'si bir alt sınırdır (kredi faturalandırmalı, $2.23'e daha yakındır); Cline'ın 64.%4'ü bir ön uç göndermeden önce hata sınırına ulaştığı dört görevi içerir, her biri 0 puan almıştır.

Metodolojimizi aşağıda görebilirsiniz.

Agentic CLI araçları nasıl çalışır?

Agentic CLI araçları, terminal içinde çalışan otonom ajanlardır. Çoğu kullanıcı bunları kodlama görevleri için kullansa da, kabuk komutları aracılığıyla gerçekleştirilebilecek her türlü iş akışını yürütebilirler.

Bu ajanlar tipik olarak üç aşamadan oluşan bir döngü içinde çalışır:

1. Bağlam toplama
2. Eylem gerçekleştirme
3. Sonuçları doğrulama

Doğrulamanın ardından, ajan güncellenmiş bağlamı toplar ve görevi tamamlayana veya bir durdurma koşuluna ulaşana kadar döngüyü tekrarlar.

Döngü iki kaynaktan etkilenir:

• İlk görevi sağlayan ve yürütmeyi kesebilen insan kullanıcı
• Planlama, akıl yürütme ve eylem seçimi gerçekleştiren model

Ajan framework'ü, modelin etrafında yapı sağlar. Modelin nasıl planlaması gerektiğini, ne zaman komut yürütmesi gerektiğini, sonuçları nasıl doğrulaması gerektiğini ve hangi araçların mevcut olduğunu tanımlar. Bu araçlar kabuk yürütme, dosya sistemi erişimi, tarayıcı kontrolü, bilgisayar kullanımı, MCP entegrasyonları veya yeniden kullanılabilir "yetenekler" içerebilir.

Farklı ajan mimarileri, farklı planlama stratejileri, yeniden deneme politikaları ve doğrulama mantığı dayatır. Bazı ajanlar daha yüksek token kullanımı ve gecikme pahasına hassasiyete ve daha derin akıl yürütmeye öncelik verir. Diğerleri azaltılmış davranışsal sağlamlıkla hıza ve daha düşük maliyete öncelik verir.

Model zekası vs ajan mimarisi

Agentic CLI araçları arasındaki performans farklılıkları tek bir kaynaktan gelmez. İki katmandan ortaya çıkarlar: temel model ve onu saran orkestrasyon framework'ü.

Bu karşılaştırma her iki ajanı da aynı temel model üzerinde test eder: Claude Sonnet 4.6. Puandaki herhangi bir fark bu nedenle orkestrasyondaki bir farktır: CLI'nin bağlamı nasıl topladığı, ne zaman komut yürüttüğü, çıktıyı nasıl doğruladığı ve başarısızlıktan sonra yeniden deneyip denemediği.

Opencode ve Claude Code'un her ikisi de doğrudan Sonnet 4.6 kullanır. Opencode arka uçta 77.%3 puan alır; Claude Code %74.9 puan alır. İki ajan, aynı model, arka uç doğruluğunda 2.4 yüzde puanı fark. Kiro ve Opencode'un her ikisi de Sonnet 4.6 kullanır. Kiro arka uçta %64.2 puan alır; Opencode 77.%3 puan alır. 13 puanlık fark CLI'nin katkısıdır.

Aşağıdaki iki gözlemsel karşılaştırma bunu daha da ileriye taşır. Aynı ortak model testini web araştırması ve bağlam sıkıştırma üzerinde çalıştırırlar; burada farklar 13 puan değil, doğru cevabı bulmakla yanlış bir cevap uydurmak arasındaki farktır.

Web araştırması temellendirmesi

Her ajandan framework dokümantasyonunu denetlemesini istedik: bir özelliği hangi sürümün tanıttığı, mevcut durumunun ne olduğu ve yakın zamanda neyin değiştiği. Her cevap bir resmi kaynağa atıfta bulunmak zorundaydı. İncelemeyi iki kez çalıştırdık, bir kez Unity üzerinde ve bir kez de Next.js/React üzerinde. Gerçekler, doğru cevap yalnızca güncel, yayınlanmış bir sayfada var olacak şekilde seçildi. Eğitim verilerinden cevap vermek kendinden emin, yanlış bir cevap üretir. Tek bir şeyi kontrol ettik: ajan, atıfta bulunduğu sayfayı gerçekten getirdi mi?

Dört ajanın yerleşik web araması vardır. Bunlardan üçü (Codex, Gemini, Grok) kendi Sonnet olmayan yerel modellerinde çalıştı; diğer sekizi, Claude Code dahil, Sonnet 4.6 üzerinde çalıştı.

Dört örüntü ortaya çıktı.

• Gerçek canlı arama Codex, Claude Code, Gemini ve Grok güncel sayfaları getirir ve son değişiklikleri yakalar. En zor gerçeklerin bulunduğu geliştirici forumuna ulaşan tek ajan Codex oldu.
• Arama yapar, ancak eski sayfalara ulaşır Cline iki düzine gerçek dokümantasyon sayfası getirdi ve yine de değiştirilmiş bir sürümü bildirdi. Getirmeler gerçekti; sayfalar güncel değildi.
• Arama yok, eğitimden cevap verir Aider tarama yapmaz ve bunu söyler. Bu dürüst cevaptır.
• Uydurma kaynaklar Forge çalışan hiçbir şey getirmedi, ancak Next.js incelemesinde 31 kaynak gösterdi. Atıfta bulunulan sayfalar mevcut değil. Kapanış ifadesi: "her hücre bu oturum sırasında gerçekten getirilmiş bir sayfadan kaynaklanmıştır."

Next.js incelemesinde, diğer tüm tarama yapan ajanlar atıflarının neredeyse tamamını gerçekten getirdikleri sayfalara dayandırdı. Forge hiçbirini dayandırmadı. Grafik, her ajanın dayanaklı atıflarını uydurma olanlarla karşılaştırır, böylece dürüst ajanlar tam yeşil çubuklar olarak ve Forge tek bir kırmızı çubuk olarak okunur. Grafik, doğrulanabilir URL başına getirme günlüğü olan sekiz ajanı kapsar. Grok (sunucu tarafı arama), Gemini (kesilmiş çalıştırma) ve Aider (atıf yok) yukarıdaki tabloda görünür ancak burada hariç tutulmuştur.

Cline ve Claude Code'un her ikisi de bu testte Sonnet 4.6 üzerinde çalıştı. Claude Code doğru cevabı içeren sayfayı buldu ve açtı. Cline açmadı. Aynı model, farklı sonuç.

Her cevabı olgusal doğruluk açısından puanladık, ancak bu puanlar şu anda inceleme altında olan bir cevap anahtarına bağlıdır. Anahtar kesinleşene kadar doğruluk tablolarını yayınlamıyoruz.

Bağlam sıkıştırma

Bir oturum uzadığında, ajan bağlamını sıkıştırır: ayrıntılı geçmişi kısa bir özetle değiştirir ve orijinalleri atar. Özetin önemli olanı saklayıp saklamadığını test ettik.

Her ajana, içine 13 uydurma gerçek gömülü yaklaşık 112.000 token'lık belgeler verdik: bir nöbetçi PIN'i, bir bulut bölgesi, bir derleme etiketi ve on tane daha. Uydurma, değerlerin eğitim verilerinde hiçbir varlığı olmayan benzersiz dizeler olduğu anlamına gelir. Ajan belgeleri okudu ve sıkıştırdı. Ardından kaynak dosyaları sildik ve tüm 13 gerçeği sorduk. Dosyalar silinmişken, tek olası kaynak sıkıştırma özetidir.

Dört ajan her gerçeği sakladı. Üçü hiçbirini saklamadı. Bellekten 0 puan alan üçü, dosyaları hala yeniden okuyabildikleri sırada 13 / 13 cevaplamıştı. Her sorguda yeniden okuyorlardı. Dosyalar gidince, tahmin etmek yerine "bilinmiyor" yazdılar.

Goose, Forge, Opencode ve Kiro'nun hepsi Sonnet 4.6 çalıştırır. Kiro tüm 13'ü sakladı. Diğer üçü hiçbirini saklamadı. Aynı model, zıt sonuç.

Opencode derleme karşılaştırmasında birinci sırada yer alır ve sıkıştırmada hiçbir şey saklamaz. Kiro derleme karşılaştırmasında yedinci sırada yer alır ve sıkıştırmada her şeyi saklar. Güçlü derleme performansı ve güçlü sıkıştırma bağımsız özelliklerdir.

Dört ajan, her biri somut bir nedenle bu testin kapsamı dışında kaldı. Cline sıkıştırma eşiğine sürüklenemedi. 863.000 token'lık bir belge seti oluşturduk ve her dosyayı okuttuk, ancak cline her araç çıktısını yaklaşık 2.000 karaktere kısaltır, bu nedenle belgeler kısa önizlemelere dönüştü. Bağlamı, bir milyon token'lık penceresinin %21'i olan 214.000 token'da durakladı ve sıkıştırma asla tetiklenmedi. Cline'ı bir sayı tahmin etmek yerine bu protokol altında ölçülemez olarak raporluyoruz. Grok'un bir sıkıştırma komutu vardır, ancak belgelerimizi tam olarak yüklemek yerine parçalar halinde okudu, bu nedenle sıkıştırması için hiçbir zaman tam bir bağlam olmadı. Aider'in özetleyicisi, gerçeklerin bulunduğu dosyaların içeriklerini değil, sohbet dönüşlerini sıkıştırır. Junie'nin sıkıştırma özelliği yoktur.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Görev 6'da ajan davranışları

Ajanları 10 görevde değerlendirdik. Aşağıda, tümü aynı model üzerinde çalışırken farklı CLI mimarilerinin aynı kısıtlamalar altında nasıl davrandığını göstermek için Görev 6'nın ayrıntılı bir dökümü bulunmaktadır.

Görev 6: Yardım masası bilet sistemi (Web)

Görev 6, aşağıdakileri içeren bir full-stack yardım masası bilet sistemi oluşturmayı gerektiriyordu:

• İki kullanıcı rolü (müşteri ve temsilci)
• JWT tabanlı kimlik doğrulama
• Katı durum iş akışı geçişleri
• Veri izolasyonu (çapraz kullanıcı erişimi için 403 yerine 404)
• FastAPI arka ucu
• React/Vue/Svelte + Vite ön ucu
• Deterministik çalıştırma komutları

Duman testi şunları doğruladı:

• Sağlık kontrolü
• Çift roller kimlik doğrulama
• Bilet CRUD işlemleri
• Atama ve yanıtlar
• Durum geçişleri
• Rol uygulaması
• Veri izolasyonu
• UI giriş ve giriş sonrası davranış

Bu görev, durum yönetimi, kimlik doğrulama doğruluğu, REST sözleşme disiplini ve ön uç-arka uç entegrasyonunu zorlar. Görev ayrıntılarını görmek için GitHub'ı ziyaret edin.

Tek bir model üzerinde, alan üç gruba ayrıldı.

• %60 arka uç, yedi ajan (codex, claude-code, cline, grok, goose, junie, opencode): üç yeniden çalıştırmanın tamamında aynı altı başarısız adım. Kimlik doğrulama, bilet CRUD, yanıtlar ve veri izolasyonu geçti; her iki başarısızlık da /tickets/{id}/assign ve /tickets/{id}/status üzerindeydi, burada spesifikasyonun ayrı rotaları yerine birleşik bir PATCH /tickets/{id} oluşturdular. İş mantığı doğru, REST sözleşmesi yanlış. Gemini 3 Pro üzerindeki önceki yerel çalıştırmada, Opencode ayrı endpoint'leri oluşturdu ve 93.%3 puan aldı; Sonnet 4.6'da diğerleri gibi birleşik tasarımı seçti.
• 13.%3, üç ajan (aider, forge, gemini-cli): kimlik doğrulama çalıştı, ancak bilet oluşturmanın kendisi başarısız oldu, bu yüzden bağımlı her adım zincirleme başarısız oldu.
• 24.%4, Kiro: istikrarsızlık, tek bir başarısızlık modu değil. Birinci çalıştırmada dokuz adımı geçti, ikinci çalıştırmada iki, üçüncü çalıştırmada ise arka uç hiç başlamadı (sağlık kontrolü başarısız oldu). Diğer on ajan her yeniden çalıştırmada aynı şekilde tekrarladı.
• %60 kümesi içindeki UI: claude-code ve cline aynı CORS hatasında girişte başarısız oldu, ön uç arka uca 127.0.0.1 kaynağından localhost:8000 üzerinde çağrı yaptı ve tarayıcı bunu engelledi, bu yüzden her ikisi de %75 puan aldı; diğer beşi temiz bir şekilde render edildi ve 100% ile giriş yaptı.
• Çıkarım yakınsamadır: aynı model üzerinde yedi farklı CLI aynı REST-sözleşme hatasını yaptı, bu yüzden burada model baskındır ve orkestrasyon neredeyse hiç önemli değildir, aşağıdaki gözlemsel karşılaştırmaların tersi.

Codex

Kurulum

Şununla global olarak kurun:

• npm install -g @openai/codex

Alternatif olarak, Homebrew ile global olarak kurun (macOS/Linux)

• brew install –cask codex

Kimlik Doğrulama

Codex'i kurduktan sonra, ChatGPT Hesabınızla veya OpenAI API Anahtarınızla devam edebilirsiniz. Sağlayıcı seçeneği yok.

Görev Raporu

Codex 454 saniyede çalışan bir sistem oluşturdu ve %60 kümesinde yer aldı. İş mantığı doğruydu; alanın geri kalanı gibi atama ve durumda REST sözleşmesini kaçırdı.

Arka Uç Davranışı

Kimlik doğrulama, bilet CRUD, yanıtlar ve veri izolasyonu geçti. Altı başarısızlık, `/tickets/{id}/assign` ve `/tickets/{id}/status`'ü hedefleyen atama ve durum geçişi adımlarıydı. Codex her ikisini de birleşik bir güncelleme endpoint'i üzerinden yönlendirdi, bu yüzden bu çağrılar 404 döndü. Üç yeniden çalıştırmanın tamamında istikrarlı.

UI Davranışı

Ön uç sekiz doğrulama adımının tamamını geçti. Giriş ve giriş sonrası durum doğru davrandı. 100% UI.

Junie

Kurulum

Junie, JetBrains Toolbox aracılığıyla veya bağımsız bir CLI olarak kullanılabilir:

• curl -fsSL https://junie.jetbrains.com/install | bash

Kimlik Doğrulama

JetBrains hesabınızla devam edin veya junie.jetbrains.com/cli adresinden bir JUNIE_API_KEY oluşturun ya da Anthropic, OpenAI, Google veya diğer desteklenen sağlayıcılardan kendi API anahtarınızı dışa aktarın. Birden fazla sağlayıcı seçeneği mevcut.

Görev Raporu

Junie 444 saniyede eksiksiz bir full-stack sistem üretti ve ana kümede %60 arka uç puanı aldı. Bu görevdeki efektif girdisi, bilinen bir önbellekleme-muhasebe hatasından etkilenen önbelleğe alınmamış bir üst sınır olan 1.52M ile alandaki en yüksektir (sonuç tablosu notuna bakın).

Arka Uç Davranışı

On altı adımdan dokuzu geçti: kimlik doğrulama, bilet CRUD, yanıtlar ve veri izolasyonu. Altı başarısızlık atama ve durum geçişi adımlarıydı. Junie, durum ve atamayı birleşik bir güncelleme endpoint'i üzerinden ele aldı, bu yüzden spesifikasyonun `/tickets/{id}/assign` ve `/tickets/{id}/status` rotaları 404 döndü. Geçiş mantığının kendisi doğruydu. Üç yeniden çalıştırmanın tamamında istikrarlı.

UI Davranışı

Ön uç sekiz doğrulama adımının tamamını geçti. 100% UI.

Kiro CLI

Kurulum

macOS/Linux/WSL için:

• curl -fsSL https://cli.kiro.dev/install | bash

Alternatif Linux AppImage (taşınabilir seçenek):

• İndir: https://desktop-release.q.us-east-1.amazonaws.com/latest/kiro-cli.appimage

Ardından çalıştırın:

• chmod +x kiro-cli.appimage && ./kiro-cli.appimage

Kimlik Doğrulama

Kiro-Code planınızla devam edebilirsiniz. Sağlayıcı seçeneği yok.

Görev Raporu

Kiro, puanı tek bir tasarım seçiminden ziyade istikrarsızlığı yansıtan tek ajandır. 24.%4 arka ucu, üç farklı sonuç üreten üç yeniden çalıştırmanın ortalamasıdır. Çalıştığında derlemenin kendisi sağlamdı; sorun aynı şekilde iki kez çalışmamasıydı.

Arka Uç Davranışı

İlk çalıştırmada, Kiro on altı adımdan dokuzunu geçti, %60 kümesiyle aynı profil, yalnızca atama ve durum rotalarında başarısız oldu. İkinci çalıştırmada iki adımı geçti. Üçüncüde arka uç hiç gelmedi ve sağlık kontrolü bile başarısız oldu. Ortalaması alındığında, bu 24.%4'tür. Kiro'yu buradaki kümeden ayıran, endpoint tasarımı değil, istikrarsızlıktır.

UI Davranışı

Arka uç çalışırken, ön uç sekiz doğrulama adımının tamamını geçti. 100% UI. Bu, giriş formunun bağlamada bir 422'de render edilemediği önceki çalıştırmaya göre bir değişikliktir.

Claude Code

Kurulum

macOS/Linux/WSL için, tercih ettiğiniz paket yöneticisini göz önünde bulundurarak, Claude Code'u şunlardan biriyle kurabilirsiniz:

• curl -fsSL https://claude.ai/install.sh | bash
• npm install -g @anthropic-ai/claude-code

Kimlik Doğrulama

Claude Code'u kurduktan sonra, Claude Hesabınızla devam edebilirsiniz. Sağlayıcı seçeneği yok.

Görev Raporu

Claude Code ana kümede 379 saniyede %60 arka uç puanı aldı. Bu, bir JWT doğrulama hatasının her kimlik doğrulamalı rotada 401 döndürdüğü ve 16 adımın 13'ünde başarısız olduğu önceki çalıştırmaya göre belirgin bir iyileşmedir. Bu çalıştırmada arka uç çalıştı; kayıp UI'daydı.

Arka Uç Davranışı

Kimlik doğrulama, bilet CRUD, yanıtlar ve veri izolasyonu geçti. Altı başarısızlık, spesifikasyonun ayrı yolları yerine birleşik bir güncelleme endpoint'i üzerinden yönlendirilen atama ve durum geçişi adımlarıydı. Üç yeniden çalıştırmanın tamamında istikrarlı.

UI Davranışı

Giriş adımı başarısız oldu. Ön uç, sayfa bir 127.0.0.1 kaynağından sunulurken arka uca localhost:8000 üzerinde çağrı yaptı ve tarayıcı giriş isteğini CORS politikası altında engelledi. Beş adım geçti, biri başarısız oldu, ikisi engellendi. %75 UI. Cline aynı şekilde başarısız oldu.

Aider

Kurulum

Zaten python 3.8-3.13 yüklüyse, önce aider'ı kurun:

• python -m pip install aider-install
• aider-install

Kimlik Doğrulama

OpenRouter hesabınıza giriş yapın ve yetkilendirin veya ortamınızda API Anahtarınızı şununla dışa aktarın:

• export OPENROUTER_API_KEY="sk-or-v1-…"

Görev Raporu

Aider 236 saniye ile en hızlı ajan ve 1.3k girdi ve 18k çıktı token'ı ile en hafifiydi. Ayrıca 13.%3 arka uç puanı aldı. Kimlik doğrulama çalıştı, ancak bilet oluşturma başarısız oldu ve mevcut bir bilet gerektiren her adım onunla birlikte başarısız oldu.

Arka Uç Davranışı

İki adım geçti. Derleme bilet oluşturmada kırıldı, bu yüzden müşteri ve temsilci bilet listeleri, yanıtlar, atama, durum geçişleri ve rol kontrollerinin tümü zincirleme başarısızlığa uğradı. Üç yeniden çalıştırmanın tamamında istikrarlı. Bu, biletleri doğru şekilde oluşturan ve yalnızca atama ve durum rotalarını kaçıran %60 kümesinden farklı bir başarısızlık sınıfıdır.

UI Davranışı

Giriş adımı, claude-code ve cline'da görülen aynı CORS kaynak uyuşmazlığı altında başarısız oldu. Beş adım geçti, biri başarısız oldu, ikisi engellendi. %75 UI.

OpenCode

Kurulum

macOS/Linux/WSL için:

• curl -fsSL https://opencode.ai/install | bash

Şununla global olarak kurun:

• npm i -g opencode-ai

macOS/Linux için, tercih ettiğiniz paket yöneticisini göz önünde bulundurarak:

• bun add -g opencode-ai
• brew install anomalyco/tap/opencode
• paru -S opencode

Kimlik Doğrulama

Çok sayıda sağlayıcı seçeneği vardır, istediğiniz sağlayıcıyı seçin ve /connect ile kimlik doğrulaması yapın

Görev Raporu

Opencode genel karşılaştırmada liderdir, ancak Görev 6'da ana kümede 542 saniyede %60 arka uç puanı aldı. Bu, makaledeki en net model kanıtıdır. Gemini 3 Pro Preview üzerindeki önceki yerel model çalıştırmasında, Opencode spesifikasyonun ayrı endpoint'lerini oluşturdu ve burada 93.%3 puan aldı. Aynı CLI Sonnet 4.6'da birleşik endpoint'i seçti ve %60'a düştü. Araç değişmedi; model değişti.

Arka Uç Davranışı

Kimlik doğrulama, bilet CRUD, yanıtlar ve veri izolasyonu geçti. Altı başarısızlık, birleşik bir güncelleme endpoint'i üzerinden yönlendirilen atama ve durum geçişi adımlarıydı. Üç yeniden çalıştırmanın tamamında istikrarlı.

UI Davranışı

Ön uç sekiz doğrulama adımının tamamını geçti. 100% UI.

Grok Derleme

Kurulum

macOS/Linux için:

• curl -fsSL https://x.ai/cli/install.sh | bash

Kimlik Doğrulama

İlk başlatmada xAI hesabınızla oturum açın veya headless kullanım için bir API anahtarı ayarlayın:

• export XAI_API_KEY="xai-…"

Görev Raporu

Grok derleme karşılaştırmasında 75.%4 arka uç ile genel olarak ikinci oldu. Görev 6'da ana kümede 433 saniyede %60 arka uç puanı aldı. Bu çalıştırmada Grok, Sonnet 4.6'ya OpenRouter üzerinden ulaştı.

Arka Uç Davranışı

On altı adımdan dokuzu geçti: kimlik doğrulama, bilet CRUD, yanıtlar ve veri izolasyonu. Altı başarısızlık, /tickets/{id}/assign ve /tickets/{id}/status'ü hedefleyen atama ve durum geçişi adımlarıydı. Grok her ikisini de birleşik bir güncelleme endpoint'i üzerinden yönlendirdi, bu yüzden bu çağrılar ve bunlara bağlı rol kontrolleri 404 döndü. Üç yeniden çalıştırmanın tamamında istikrarlı.

UI Davranışı

Ön uç sekiz doğrulama adımının tamamını geçti. Giriş ve giriş sonrası durum doğru davrandı. 100% UI.

Forge

Kurulum

macOS/Linux/WSL için:

• curl -fsSL https://forgecode.dev/cli | sh

Kimlik Doğrulama

Sağlayıcı kimlik bilgilerinizi şununla etkileşimli olarak yapılandırın:

• forge provider login

Ve sağlayıcınızı seçin.

Görev Raporu

Forge 844 saniyede 13.%3 arka uç puanı aldı. Çıktı token sayısı 1.6k ile alandaki en düşüktür, bu da sığ bir uygulamaya işaret eder. Önceki çalıştırmada olduğu gibi, derleme bilet oluşturmada kırıldı ve zincirleme başarısız oldu.

Arka Uç Davranışı

İki adım geçti. Bilet oluşturma başarısız oldu, bu yüzden bilet listeleri, yanıtlar, atama, durum geçişleri ve rol kontrollerinin tümü onunla birlikte başarısız oldu. Üç yeniden çalıştırmanın tamamında istikrarlı, aider ve gemini-cli ile aynı 13.%3 profili.

UI Davranışı

Giriş adımı, claude-code, cline ve aider'da görülen aynı CORS kaynak uyuşmazlığı altında başarısız oldu. Beş adım geçti, biri başarısız oldu, ikisi engellendi. %75 UI.

Gemini CLI

Kurulum

Anında çalıştırın:

• npx @google/gemini-cli

Veya global olarak kurun:

• npm install -g @google/gemini-cli
• brew install gemini-cli

Kimlik Doğrulama

Seçenek 1 (Google OAuth): GOOGLE_CLOUD_PROJECT="YOUR_PROJECT_ID" dışa aktarın, ardından gemini başlatın.
Seçenek 2 (API anahtarı): GEMINI_API_KEY="YOUR_API_KEY" dışa aktarın, ardından gemini başlatın.
Seçenek 3 (Vertex AI): GOOGLE_API_KEY + GOOGLE_GENAI_USE_VERTEXAI=true dışa aktarın.

Görev Raporu

Gemini CLI, alandaki en yavaş iki ajandan biri olarak 926 saniyede 13.%3 arka uç puanı aldı. Kimlik doğrulama çalıştı, ancak bilet oluşturma başarısız oldu ve zincirleme başarısız oldu. Önceki çalıştırmada bir Node 18 ve Vite 7 uyumsuzluğu nedeniyle tamamen başarısız olan ön ucu, bu sefer her adımı geçti.

Arka Uç Davranışı

İki adım geçti. Bilet oluşturma başarısız oldu, bu yüzden tüm bağımlı adımlar başarısız oldu. Üç yeniden çalıştırmanın tamamında istikrarlı, aider ve forge ile aynı 13.%3 profili.

UI Davranışı

Ön uç sekiz doğrulama adımının tamamını geçti. 100% UI, önceki çalıştırmadaki %0'dan yükseldi. Kimlik doğrulamalı bir çağrıda konsolda bir 401 göründü, ancak render edilen akışı engellemedi.

Cline

Kurulum

Şununla global olarak kurun:

• npm install -g cline

Kimlik Doğrulama

`cline auth` yazarak Cline hesabınızı seçebilir veya istediğiniz sağlayıcıyla devam edebilirsiniz.

Görev Raporu

Cline ana kümede 648 saniyede %60 arka uç puanı aldı. Bu, sekiz hata sınırının derlemeyi erken sonlandırdığı ve boş bir ön uç bıraktığı önceki çalıştırmaya göre büyük bir değişikliktir. Burada full stack'i tamamladı.

Arka Uç Davranışı

Kimlik doğrulama, bilet CRUD, yanıtlar ve veri izolasyonu geçti. Altı başarısızlık, birleşik bir güncelleme endpoint'i üzerinden yönlendirilen atama ve durum geçişi adımlarıydı. Üç yeniden çalıştırmanın tamamında istikrarlı.

UI Davranışı

Giriş adımı, claude-code'da görülen aynı CORS kaynak uyuşmazlığı altında, bir 127.0.0.1 sayfasının bir localhost arka ucunu çağırmasında başarısız oldu. Beş adım geçti, biri başarısız oldu, ikisi engellendi. %75 UI.

Goose

Kurulum

macOS/Linux/WSL için:

• curl -fsSL https://github.com/block/goose/releases/download/stable/download_cli.sh | bash

Görev Raporu

Goose ana kümede 553 saniyede %60 arka uç puanı aldı, ancak oraya ulaşmak için 1.06M girdi token'ı tüketti. Bu sefer full stack'i tamamladı, önceki çalıştırmada ön uç dizininin boş bırakıldığı duruma göre bir değişiklik.

Arka Uç Davranışı

Kimlik doğrulama, bilet CRUD, yanıtlar ve veri izolasyonu geçti. Altı başarısızlık, birleşik bir güncelleme endpoint'i üzerinden yönlendirilen atama ve durum geçişi adımlarıydı. Üç yeniden çalıştırmanın tamamında istikrarlı.

UI Davranışı

Ön uç sekiz doğrulama adımının tamamını geçti. 100% UI, önceki çalıştırmadaki %0'dan yükseldi.

Yapay zeka kodlama araçları

Yapay zeka kodlama araçları üç kategoriye ayrılabilir:

• Agentic CLI: Terminal tabanlı geliştirme iş akışları için araçlar, prompt'lar ve komut satırı etkileşimleri aracılığıyla kod üretir, düzenler ve yeniden yapılandırır.
  •  Örnekler: Aider, Junie, Opencode, Claude Code, Codex

• Yapay zeka kod düzenleyicileri: Ajan tabanlı IDE'ler olarak da bilinir, bu araçlar VS Code'a benzer bir GUI sağlar (çoğu VS Code üzerine inşa edilmiştir).
  • Örnekler: Antigravity, Cursor, Kiro Code, Windsurf

• Prompt'tan uygulamaya oluşturucular: Doğal dil prompt'ları ve görsel iş akışları kullanarak uygulamalar oluşturmak için düşük kodlu/kodsuz platformlar.
  • Örnekler: Bolt, Lovable, v0.dev, Firebase Studio, Dazl

Yapay zeka kod inceleme araçları

Yapay zeka tarafından üretilen kod daha yaygın hale geldikçe, kod inceleme araçları hataları ve güvenlik açıklarını yakalamak için gereklidir. RevEval karşılaştırmamızda en iyi araçları 309 PR üzerinde değerlendirdik.

Agentic CLI araçları ne yapabilir?

Codex, Junie, Kiro ve Claude Code gibi araçlar genelinde, ortak yetenekler şunları içerir:

• Uçtan uca kod çalışması: Dosya oluşturma ve değiştirme, hataları düzeltme, kodu yeniden yapılandırma ve doğrudan terminalden testler veya linter'lar çalıştırma.
• Ajan tabanlı iş akışları: Görev zincirleme, sorun giderme, arama ve yinelemeli hata ayıklama gibi çok adımlı görevleri gerçekleştirme.
• Git ve proje yönetimi: Geçmişi inceleme, birleştirmeleri çözme, dalları yönetme ve commit'ler veya pull request'ler oluşturma.
• Command yürütme ve otomasyon: Kabuk komutları çalıştırma, analizleri otomatikleştirme ve doğal dili karmaşık CLI işlemlerine dönüştürme.
• Derin bağlam yönetimi: Bağımlılıklar ve proje yapısı farkındalığıyla tam depolar üzerinde çalışma.
• Model esnekliği: Birden fazla bulut ve bazı durumlarda yerel modeli destekleme; bazı araçlar kendi API anahtarınızı kullanmanıza veya planlar arasında seçim yapmanıza izin verir.
• Korumalı alan veya kontrollü erişim: Salt okunurdan tam otomasyona kadar değişen modlar sunar, genellikle güvenlik için izole edilmiş ortamlarla.

Metodoloji

A-CODE-CLI Karşılaştırması

Ajanları, insan müdahalesi olmadan otonom yeteneği ölçmek için tek seferlik yürütme kurulumu altında değerlendirdik. Ajanlar daha sonra altyapı hazırlığını ve davranışsal doğruluğu ölçmek için arka uç ve ön uç duman testleri kullanılarak değerlendirildi.

Model yapılandırması. 11 ajanın tümü Claude Sonnet 4.6 (akıl yürütmesiz) üzerinde çalıştı. İki ajan bu modele ulaşmak için bir proxy gerektirdi:

• Codex (OpenAI CLI) yerel olarak Anthropic modellerine yönlendirilemez. Bir LiteLLM gateway üzerinden OpenRouter/Anthropic'e yönlendirildi ve prompt önbelleğe almayı geri yükleyen bir önbellek şimi ile. Proxy, akıl yürütme token'larını çıkarır (yetenek maliyeti) ve gecikme ekler.
• Gemini CLI yerel olarak Anthropic modellerini çağıramaz. Bir SSE şimi ve LiteLLM gateway üzerinden yönlendirildi. Yardımcı model çağrıları (döngü tespiti, bozuk araç onarımı, bağlam sıkıştırma) proxy üzerinden başarısız olur veya geçersiz içerik döndürür, bu yüzden kendi güvenlik ağları olmadan çalıştı.

Forge, Forge'un zorla etkinleştirdiği ve geri yankılandığında 400 hatasına neden olan genişletilmiş düşünme bloklarını yanıtlardan çıkarmak için ayrı bir proxy gerektirdi. Diğer tüm ajanlar Sonnet 4.6'yı doğrudan kendi yerel sağlayıcı yapılandırmaları veya OpenRouter aracılığıyla kullandı.

Proxy yalnızca codex ve gemini-cli'yi dezavantajlı hale getirebilir, asla şişiremez. Puanları muhafazakardır.

Junie, Sonnet 4.6 birincil ile birlikte geçersiz kılınamayan bir GPT-4.1-mini yardımcıyı birlikte çalıştırır. Derleme sırasında ikinci bir modeli aktif olan tek ajandır. Puanları çok modelli bir yıldız işareti taşır.

Claude Code kullanıcı aboneliği (OAuth) üzerinden çalıştı. Kiro, Kiro tarafından barındırılan krediler üzerinde çalıştı (Bedrock destekli, 1.3x çarpan).

Hiçbir ajanın sıcaklık, yeniden deneme veya akıl yürütme parametreleri ayarlanmadı. Her biri varsayılan yapılandırmasında çalıştı.

Puanlama. Arka uç: işlevsel duman (adaptive_avg_step_pass_rate). Ön uç: Playwright aracılığıyla UI dumanı. Birleşik: 0.7 × arka uç + 0.3 × ön uç (tam UI verisine sahip ajanlar için). Arka uç puanı birincil sıralama eksenidir. Ön uç performansı alan genelinde doygunluğa ulaşır.

Aider t-3 ve t-4. Her iki görev de başlangıçta çöken arka uçlar üretti. İki yeni derlemede doğrulandı (aynı hatalar: t-3'te class Card üzerinde TypeError, t-4'te User.auctions üzerinde AmbiguousForeignKeysError). Hariç tutulmadı, bir backend_never_ready bayrağı ile 0 puan aldı.

Değerlendirme metodolojisi için ziyaret edin: Yapay zeka kodlama karşılaştırma metodolojisi

CLI sürümleri (Haziran 2026 karşılaştırma çalıştırması)

Sürümler karşılaştırma VPS kutularından okunmuştur. Derleme çalıştırması 5-8 Haziran 2026'da yürütüldü.

• Claude Code: 2.1.165
• Cline: 3.0.27
• Codex: 0.140.0
• Aider: 0.86.2
• Gemini CLI: 0.26.0
• Forge: 2.13.11
• Goose: 1.37.0
• Grok: 0.2.54
• Junie: 26.06.01 (derleme 1831.35)
• Kiro CLI: 2.6.1
• Opencode: 1.17.7

Web araştırması temellendirme metodolojisi

İki inceleme: bir Unity geçiş denetimi (inceleme 2) ve bir Next.js/React sürüm denetimi (inceleme 3). Her biri ajandan belirtilen framework özellikleri için sürüm, durum ve zaman çizelgesi bildirmesini ve iddia başına bir resmi URL göstermesini istedi.

Puanlama iki paralel yöntem kullandı. Doğruluk-temelli kapılama: bir iddia yalnızca gösterilen URL ajanın gerçek getirme günlüğünde görünüyorsa VE getirilen sayfa doğrulanmış bir cevap anahtarına karşı ölçülen gerçeği içeriyorsa puan alır. Davranışsal sınıflandırma: bir LLM yargıcı her ajanın tam transkriptini okudu ve onu dört davranışsal kategoriden birine atadı. Davranışsal sınıflandırma birincil çıktıdır; puanlanmış doğruluk tabloları, cevap anahtarı insan çapa incelemesini tamamladıktan sonra yayınlanacaktır.

Yerleşik araması olan ajanlar (Codex, Gemini, Grok), görev yerleşik arama yeteneklerini gerektirdiği için kendi yerel modellerinde çalıştı. Kalan sekizi Claude Sonnet 4.6 üzerinde çalıştı. N=1.

Bağlam sıkıştırma metodolojisi

Ajanlar, 13 uydurma altyapı gerçeği içeren yaklaşık 112.000 token'lık dolgu belgeleri aldı. Ajan belgeleri okuyup bağlamını sıkıştırdıktan sonra, herhangi bir soru sormadan önce kaynak dosyaları sildik. Puanlama: 13 uydurma değere karşı tam eşleşme, gerçek başına bir regex ile bir puanlama betiği tarafından otomatikleştirildi. N=3.

Dosyalar mevcutken 13/13 ve dosyalar silinmişken 0/13 puan alan ajanlar yeniden okuyucu olarak sınıflandırılır. Dosyalar silinmişken 13/13 puan alan ajanlar gerçek saklayıcı olarak sınıflandırılır. Dosya silme yeniden okumayı dışlar; uydurma gerçekler eğitim verisi hatırlamasını dışlar.

Codex (GPT-5.5) ve Gemini (Gemini 2.5 Pro) hariç tüm ajanlar Sonnet 4.6 üzerinde çalıştı. Ajan başına kullanılan model sonuç tablosunda listelenmiştir.

Daha fazlasını okuyun

Ajan tabanlı geliştirici araçlarının daha geniş ekosistemini keşfedenler için, işte en son karşılaştırmalarımız:

• MCP karşılaştırması: Web erişimi için en iyi MCP sunucularının bir karşılaştırması.
• Uzak tarayıcılar: Gelişmekte olan tarayıcı altyapısının yapay zeka ajanlarının web ile güvenli bir şekilde etkileşime girmesini nasıl sağladığı.

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{kaleliolu2026,
  author = {Kalelioğlu, Berk and Dilmegani, Cem},
  title  = {{A-CODE-CLI Bench: Agentic CLI Karşılaştırması}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/agentic-cli}},
  note   = {AIMultiple. Erişim tarihi: 29 Haziran 2026}
}

Referans Linkleri

1.

Integration with Codex CLI | OpenRouter | OpenRouter | Documentation

Berk Kalelioğlu

Yapay Zeka Araştırmacısı

Takip EtTam Profili Görüntüle

Teknik olarak inceleyen

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple'da baş analist olarak görev yapmaktadır. AIMultiple, her ay Fortune 500 şirketlerinin %55'i de dahil olmak üzere yüz binlerce işletmeye (benzer Web'e göre) bilgi sağlamaktadır. Cem'in çalışmaları, Business Insider, Forbes, Washington Post gibi önde gelen küresel yayınlar, Deloitte, HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslararası kuruluşlar tarafından alıntılanmıştır. AIMultiple'ı referans gösteren daha fazla saygın şirket ve kaynağı görebilirsiniz. Kariyeri boyunca Cem, teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yapmıştır. On yıldan fazla bir süre McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararları konusunda danışmanlık yapmıştır. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayınlamıştır. Bir telekom şirketinin CEO'suna bağlı olarak teknoloji stratejisi ve tedarikini yönetmiştir. Ayrıca, 2 yıl içinde sıfırdan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetmiştir. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınlarında yer aldı. Cem düzenli olarak uluslararası teknoloji konferanslarında konuşmacı olarak yer almaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisliği diplomasına ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder