Berk Kalelioğlu
Araştırma ilgi alanları
Berk, makine öğrenimi, etmen tabanlı yapay zeka araçları ve büyük ve küçük dil modelleri (LLM'ler ve SLM'ler) üzerine odaklanmaktadır.Kendisi, AIMultiple benchmark ekibinin bir parçasıdır; değerlendirmeler yapmakta ve okuyucuların yeni gelişen teknolojileri ve gerçek dünyadaki uygulamalarını anlamalarına yardımcı olacak içgörüler sunmaktadır.
Profesyonel deneyim
Kariyerine ODTU IVME-R'de Teknoloji Proje Lideri olarak başladı ve burada fiziksel kuantum ve sözde rastgele sayı üreteçleri geliştirme projesine liderlik etti.IVME-R'deki görevinden sonra bir oyun geliştirme şirketi kurdu ve Steam'de bir oyun yayımladı.
Daha sonra kariyerini yapay zekaya yöneltti ve AIMultiple'a Araştırmacı olarak katıldı.
Eğitim
Berk, Ankara Üniversitesi'nden matematik alanında lisans derecesine sahiptir.Berk Tarafından Son Makaleler
A-CODE-CLI Bench: Agentic CLI Benchmark
Ajan CLI araçları, dosya oluşturup silebilen, komut çalıştırabilen, plan yapabilen ve tüm projenin kodlamasını yürütebilen yapay zeka kodlama araçlarıdır. Önde gelen araçları 10 gerçek dünya web geliştirme senaryosunda kıyasladık; ajan başına ~600 atomik doğrulama kontrolü ve backend mantığı, frontend işlevselliği ve çoklu çalıştırma tutarlılık doğrulaması dahil toplamda ~5.000'den fazla otomatik test yürütmesi gerçekleştirdik. Backend doğruluğu…
Tablo Modelleri Benchmark'ı: 19 Veri Kümesi Üzerinde Performans
13 tablo öğrenme modelini, 19 gerçek dünya veri kümesi üzerinde, yaklaşık 272.000 örneği kapsayacak şekilde, veri kümesi boyutları 435 ile 48.800 satır arasında değişirken değerlendirdik. Her model, aynı bölümlemeler üzerinde 5 katlı çapraz doğrulamayla çalıştırıldı. Her veri kümesi, birincil metrik tarafından belirlenen, modeller arasında bire bir eşleşmelerden oluşan bir round-robin turnuvasıdır. Elo, model başına tüm…
MCP Ağ Geçidi Kıyaslaması: 6 Ağ Geçidinin Gecikme ve Güvenliği
Bir MCP ağ geçidi, bir yapay zeka ajanı ile çağırdığı araçlar arasında yer alır ve satıcılar onu bu trafiğin güvenlik katmanı olarak konumlandırır. Tek bir makinede altı MCP ağ geçidini tek bir enstrümante edilmiş arka uca karşı kıyasladık; eklenen gecikme, araç başına yetkilendirme, içerik koruma ve denetim eksiksizliğini ölçtük. Bir ürün, yalnızca bir kontrolü sunuyorsa…
AIM-Decision: Jev vs Kev vs LLM'ler
Karar modelleri, aynı zamanda System One modelleri olarak da bilinir, metin token üretmek yerine sabit bir seçenek kümesini puanlar. 22 karar modelini, bir güvenlik açığını veya ürün geri çağırmasını derecelendirme gibi 1.655 sınıflandırma sorusu üzerinde test ettik ve bunların 19 tanesini 50 tarayıcı görevinde çalıştırdık. Görev başına bir deneme; LLM'ler, API'lerinin düşük akıl yürütme…
Her Zaman Açık Ajanlar: Dots vs Grok Bot vs Muse
Her zaman açık ajanlar uygulamayı kapattıktan sonra çalışmaya devam eder. Her biri dosyalarını ve belleğini saklayan bir bilgisayarda çalışır, görevleri bir zamanlamaya göre ya da bir olay olduğunda başlatır ve karar gerektiğinde size mesaj atar. Bunlardan beşini karşılaştırdık: OpenAI Dots, Grok Bot, Meta Muse, Hermes Agent ve OpenClaw. *Nous Research ayrıca Hermes Agent'ı Hermes Cloud…
AIM Ajan Bazlı Web Benchmark'ı
Ajanlar web üzerindeki görevleri tamamlamak için web arayüzlerine güvenir. Web arayüzleri arasında görev tamamlamayı karşılaştırmak için AIM Ajan Bazlı Web Benchmark'ı oluşturduk ve 100 görevi 7 arayüz üzerinde, her birinde 5 kez olmak üzere, 3.500 puanlanmış sonuç için çalıştırdık. Bright Data CLI ve Bright Data MCP, 8.2 ve 8.4 daha fazla görevi, diğer beşinin en…
Agentic IT: Yapay Zeka Ajanları Bir Benchmark Tasarlayabilir mi?
16 model'i text-to-SQL ve araç çağırma alanında bir benchmark tasarımında test ettik. Her model konu başına bir benchmark oluşturdu; toplam 32 gönderim oldu. Hiçbir gönderim tüm rubrik ölçütlerini geçemedi. Ajanlar testleri oluşturup çalıştırabildi ancak hiçbiri kendi puanlayıcısına ait hem boş-yanıt testini hem de doğru-yanıt testini gösteremedi. Text-to-SQL, sade bir dille yazılmış soruyu bir veritabanı sorgusuna…
AIM Enterprise: Otonom Kurumsal Benchmark
Kuruluşlar düzenli görevleri için her gün LLM'ler kullanır. En maliyet etkin LLM'leri bulmak için, strateji, pazarlama, İK, satış ve operasyonları kapsayan 69 gerçek kurumsal görev kullandığımız etmen tabanlı bir kurumsal benchmark olan AIM Enterprise'ı tasarladık, İki hakem model, kontrolleri geçen her dosyayı puanladı. Bireysel puanların %32,7'sinde iki hakem ölçeğin dörtte birinden fazla farklılaştı ve bu…
Yapay Zekâ Derin Araştırma: Codex vs Claude vs Grok vs Exa
Bir derin araştırma aracı, bir soruyu bağlantı sayfası yerine yazılı bir raporla yanıtlar. Aynı 20 iş araştırması brifi üzerinde beş üretim yöntemi çalıştırdık ve derin araştırma için en iyi aracı bulmak amacıyla her raporu çalıştırmalardan önce yazılmış kurallara göre puanladık. Beş aracın dördü kodlama ajanıdır; yazılım işleri için üretilmiş, aynı zamanda web'de arama yapıp okuyabilen…
En İyi Sabit Ücretli LLM API Sağlayıcıları
Sabit ücretli LLM sağlayıcıları, token başına faturalandırma yerine aylık sabit bir fiyat karşılığında sınırsız model kullanımı sunar. Bu model, ajan tabanlı kodlama oturumları on milyonlarca token kullanabildiğinden, token başına faturanın tahmin edilmesi zor olduğu için yaygınlaştı. Gerçek bir sabit ücret sunan çok az sağlayıcı vardır; sabit olarak pazarlanan çoğu planın altında bir kullanım kotası yatar.…
AIMultiple Bülteni
Haftada 1 ücretsiz e-posta ile en son B2B teknoloji haberleri ve uzman içgörüler ile işletmenizi hızlandırın.