Berk Kalelioğlu
Araştırma ilgi alanları
Berk, makine öğrenimi, etmen tabanlı yapay zeka araçları ve büyük ve küçük dil modelleri (LLM'ler ve SLM'ler) üzerine odaklanmaktadır.Kendisi, AIMultiple benchmark ekibinin bir parçasıdır; değerlendirmeler yapmakta ve okuyucuların yeni gelişen teknolojileri ve gerçek dünyadaki uygulamalarını anlamalarına yardımcı olacak içgörüler sunmaktadır.
Profesyonel deneyim
Kariyerine ODTU IVME-R'de Teknoloji Proje Lideri olarak başladı ve burada fiziksel kuantum ve sözde rastgele sayı üreteçleri geliştirme projesine liderlik etti.IVME-R'deki görevinden sonra bir oyun geliştirme şirketi kurdu ve Steam'de bir oyun yayımladı.
Daha sonra kariyerini yapay zekaya yöneltti ve AIMultiple'a Araştırmacı olarak katıldı.
Eğitim
Berk, Ankara Üniversitesi'nden matematik alanında lisans derecesine sahiptir.Berk Tarafından Son Makaleler
Zaman Serisi Sınıflandırma Benchmark: Foundation Model'ler ve Klasik Yöntemler
13 zaman serisi sınıflandırma yöntemini, önceden eğitilmiş zaman serisi foundation model'lerden 22 özellikli bir temel çizgiye kadar, 33 UCR/UEA dataset'i üzerinde tek bir dondurulmuş protokol altında kıyasladık. Bu, 14.638 kayıtlı yöntem-dataset-yeniden örnekleme hücresi; bunların 11.874 tanesi puanlanmıştır. Grafik, her birinin tamamladığı 15 tek değişkenli dataset üzerinde 12 yöntemi karşılaştırır; her dataset aynı 5 eğitim/test bölmesinde…
AIM-Decision: Jev vs Clef vs LLM'ler
Karar modelleri, System One modelleri olarak da adlandırılır, token metin üretmek yerine sabit bir seçenek kümesini puanlar. 59 karar modelini 1.655 sınıflandırma sorusunda, örneğin bir güvenlik açığını veya ürün geri çağırmasını derecelendirme gibi, test ettik ve bunlardan 46 tanesini 50 tarayıcı görevi üzerinde çalıştırdık. Birleşik sonuçlar için AIM System One Index'e bakın. Görev başına…
Her Zaman Açık Ajanlar: Claude Duet vs Dots vs Grok Bot
Her zaman açık ajanlar, uygulamayı kapattıktan sonra çalışmaya devam eder. Her biri, dosyalarını ve belleğini saklayan bir bilgisayarda çalışır; bir zamanlamaya göre veya bir şey olduğunda görevleri başlatır ve bir karar gerektiğinde size mesaj gönderir. Bunlardan altısını karşılaştırdık: OpenAI Dots, Grok Bot, Meta Muse, Claude Duet, Hermes Agent ve OpenClaw. *Nous Research ayrıca Hermes Agent'ı…
MCP Ağ Geçidi Karşılaştırması: 6 Ağ Geçidinin Gecikme ve Güvenliği
Bir MCP ağ geçidi, bir yapay zeka ajanı ile çağırdığı araçlar arasında yer alır ve satıcılar onu bu trafiğin güvenlik katmanı olarak konumlandırır. Altı MCP ağ geçidini tek bir sunucuda enstrümante edilmiş bir arka uca karşı karşılaştırdık; ek gecikme, araç başına yetkilendirme, içerik koruması ve denetim eksiksizliğini ölçtük. Bir ürün, yalnızca ilgili kontrolü sağlıyorsa ve…
Tabular Modeller Karşılaştırması: 19 Veri Kümesi Genelinde Performans
13 tabular öğrenme modelini, 435 ila 48.800 satır arasında değişen yaklaşık 272.000 örnek içeren 19 gerçek dünya veri kümesinde değerlendirdik. Her model aynı bölünmeler üzerinde 5 katlı çapraz doğrulamayla çalıştı. Sonuçlar ayrıca, bu sonuçları herkese açık TabArena ve BeyondArena liderlik tablolarıyla birleştiren AIM Tabular Index akışını besler. Her veri kümesi, modeller arasında birincil metrik ile…
AIM Ajanik Web Benchmarkı
Ajanlar web görevlerini tamamlamak için web arayüzlerine güvenir. Web arayüzleri arasında görev tamamlamayı karşılaştırmak için AIM Ajanik Web Benchmarkı'nı oluşturduk ve 100 görevi, her biri 5 kez olmak üzere 8 arayüz üzerinden, 4.000 puanlanmış sonuç için çalıştırdık. Bright Data CLI ve Bright Data MCP, diğer altı arayüzün en iyisi olan Zenrows CLI ile karşılaştırıldığında 100…
AIM Ajan Tabanlı Pazarlama Benchmark
AIM Ajan Tabanlı Pazarlama benchmark'ını tanıtıyoruz; bu benchmark, ajan performansını üç pazarlama iş akışında ölçer: rekabet boşluğu analizi, ABM hedef listesi hazırlama ve kişiselleştirilmiş satış sunumu. Ayrıca ajanların AIMultiple’ın İngilizce içeriğini incelediği ve okuyucuların güvenini sarsabilecek olgusal doğruluk, alıntılar, tutarlılık, güncellik, işlevsellik, dil bilgisi ve biçimlendirme ile ilgili doğrulanabilir sorunları raporladığı ayrı bir web sitesi…
A-CODE-CLI Bench: Agentic CLI Benchmark
Ajan CLI araçları, dosya oluşturup silebilen, komut çalıştırabilen, plan yapabilen ve tüm projenin kodlamasını yürütebilen yapay zeka kodlama araçlarıdır. Önde gelen araçları 10 gerçek dünya web geliştirme senaryosunda kıyasladık; ajan başına ~600 atomik doğrulama kontrolü ve backend mantığı, frontend işlevselliği ve çoklu çalıştırma tutarlılık doğrulaması dahil toplamda ~5.000'den fazla otomatik test yürütmesi gerçekleştirdik. Backend doğruluğu…
Agentic IT: Yapay Zeka Ajanları Bir Benchmark Tasarlayabilir mi?
16 model'i text-to-SQL ve araç çağırma alanında bir benchmark tasarımında test ettik. Her model konu başına bir benchmark oluşturdu; toplam 32 gönderim oldu. Hiçbir gönderim tüm rubrik ölçütlerini geçemedi. Ajanlar testleri oluşturup çalıştırabildi ancak hiçbiri kendi puanlayıcısına ait hem boş-yanıt testini hem de doğru-yanıt testini gösteremedi. Text-to-SQL, sade bir dille yazılmış soruyu bir veritabanı sorgusuna…
AIM Enterprise: Otonom Kurumsal Benchmark
Kuruluşlar düzenli görevleri için her gün LLM'ler kullanır. En maliyet etkin LLM'leri bulmak için, strateji, pazarlama, İK, satış ve operasyonları kapsayan 69 gerçek kurumsal görev kullandığımız etmen tabanlı bir kurumsal benchmark olan AIM Enterprise'ı tasarladık, İki hakem model, kontrolleri geçen her dosyayı puanladı. Bireysel puanların %32,7'sinde iki hakem ölçeğin dörtte birinden fazla farklılaştı ve bu…
AIMultiple Bülteni
Haftada 1 ücretsiz e-posta ile en son B2B teknoloji haberleri ve uzman içgörüler ile işletmenizi hızlandırın.