Şevval Alper

İçgörü

14 Eki

Karşılaştırın GPT-5 Modelleri: Muhakeme, Hız ve Maliyet

OpenAI'ın GPT-5 ailesi (ör. GPT-5, GPT-5-mini ve GPT-5-nano) arasındaki farkları, benchmark performansını ve benchmark'ları çalıştırma maliyetlerini toplayarak inceliyoruz. Analizimizde GPT-5 ailesini kullandık. Muhakeme, kodlama, talimat takibi ve matematik dahil olmak üzere çeşitli alanlarda altı benchmark kullandık. Analizimiz şunları ortaya çıkardı: Üç model öncelikle muhakeme derinliği, hız ve maliyet açısından farklılık gösterir. Yeni özellikler tüm modellerde…

9 Eki

AIM-Code Bench: Ajan Tabanlı Kodlama Kıyaslaması

LLM'leri kodlama ajanı altyapıları olmadan değerlendirmek, pratikte nasıl kullanıldıklarını tam olarak yansıtmaz. Gerçek geliştirme aynı zamanda mevcut işi genişletmeyi, yabancı kodu devralmayı ve başkalarının üzerine inşa edebileceği uygulamalar bırakmayı da içerir. Modelleri, gelişen yazılım görevlerinde kodlama ajanı altyapılarıyla birlikte değerlendirmek için AIM-Code Bench'i sunuyoruz. Doğruluğun ötesinde kıyaslama; çalışma zamanı performansını, değişen gereksinimlere uyumu ve ajanların…

22 Eyl

Yapay Zeka Kod İnceleme Araçları Karşılaştırması

Yapay zeka kodlama araçlarının kullanımının artmasıyla kod tabanları güvenlik açıklarına daha yatkın hale geldi ve bu da etkili kod incelemelerine olan ihtiyacı artırdı. Bunu ele almak için, en iyi dört yapay zeka kod inceleme aracını farklı boyutlardaki depolardan gelen 309 çekme isteği üzerinde karşılaştıran ve 10 geliştiricinin girdisini ve bir LLM-as-a-judge kullanarak performanslarını değerlendiren RevEval…

21 Eyl

Ajan benchmark'ları

Ajan benchmark'ı

18 Eyl

Agentic IT: Yapay Zeka Ajanları Bir Benchmark Tasarlayabilir mi?

16 model'i text-to-SQL ve araç çağırma alanında bir benchmark tasarımında test ettik. Her model konu başına bir benchmark oluşturdu; toplam 32 gönderim oldu. Hiçbir gönderim tüm rubrik ölçütlerini geçemedi. Ajanlar testleri oluşturup çalıştırabildi ancak hiçbiri kendi puanlayıcısına ait hem boş-yanıt testini hem de doğru-yanıt testini gösteremedi. Text-to-SQL, sade bir dille yazılmış soruyu bir veritabanı sorgusuna…

16 Eyl

Yapay Zeka Kodlama Benchmark: Claude Code vs Cursor

Yapay zeka kodlamada pazar iki kategoriye ayrıldı: Ajanik CLI araçları ve IDE'lere gömülü yapay zeka kod editörleri. Her biri geliştirmeyi otomatikleştirdiğini iddia ediyor. Aynı iş yükleri altında nasıl farklılaştıklarını gösteren az sayıda karşılaştırma var. Her bir ajanı 10 tam yığın web geliştirme görevinde değerlendirdik; ajan başına ~600 atomik doğrulama kontrolü ve backend mantığı, ön yüz…

VELC-Bench: Uzun Bağlam Benchmark'ında Doğrulama

Modelin bağlam içinde belirli bir metriği bulma, değerini bir iddiayla karşılaştırma ve onaylama veya reddetme yeteneği. Bu, uzun bağlam koşullarında ince taneli değer eşleştirmeyi test eder. Model hem değeri almalı hem de hassas bir karşılaştırma yapmalıdır. Modeller aşağıdaki bağlam pencerelerinde test edilmiştir: claude-fable-5 EVET'i doğrulamada %90,0 ve HAYIR'ı doğrulamada %94,0 puan alır. Bu fark, aşağıda…

RELC-Bench: Uzun Bağlamda Erişim Benchmark'ı

RELC-Bench (RELC-Bench: Uzun Bağlamda Erişim Benchmark'ı), bir model'in bağlamındaki bir veya daha fazla belgeden belirli bir sayısal değeri bulma ve çıkarma becerisini ölçmeyi amaçlar. Modelin, girdide az önce gördüğü belirli bir olguyu hatırlayıp getirip getiremediğini test eder. claude-fable-5 %97,0 puan alır ve 100 doğrudan hatırlama maddesinde saman yığını konumlarına göre değişmez (başlangıçta %97,0, ortada %97,1,…

Kitle Simülasyonu: LLM'ler İnsan Davranışını Tahmin Edebilir mi?

Pazarlamada, LLM'lerin insan davranışını ne kadar doğru tahmin ettiğini değerlendirmek; kitle ihtiyaçlarını öngörme ve yanlış hizalama, etkisiz iletişim veya istenmeyen etki gibi riskleri tanıma konusundaki etkinliklerini değerlendirmek için kritik önem taşır. Kitle simülasyonu, LLM'lerle birlikte sanal kitlelerin modellenmesini sağlayarak kuruluşların maliyetli anketlere veya odak gruplarına başvurmadan içeriklere veya ürünlere verilecek tepkileri öngörmelerine yardımcı olur. Yapay…