Ekrem Sarı
Ekrem, AIMultiple'da Yapay Zeka Araştırmacısı ve Veri Bilimcidir. Yapay zeka ve LLM sistemleri için uygulamalı benchmark'lar tasarlar ve yürütür.
Profesyonel Deneyim
AIMultiple'da Ekrem, uçtan uca yapay zeka sistemlerini benchmark eder ve benchmark ve ürün metriklerini izlemek için kullanılan veri iş akışlarını ve panoları geliştirir. Onun benchmark'ları embedding ve reranker model'lerini, vektör ve grafik veritabanlarını, inference motorlarını, kuantizasyonu, GPU eşzamanlılığını ve çoklu-GPU ölçeklemesini, bulut GPU fiyatlandırmasını ve sağlayıcılarını, metinden-SQL'e dönüşümü ve RAG ile ajan bazlı RAG framework'lerini kapsar.
AIMultiple'dan önce Yandex'te Veri Bilimci olarak çalıştı; burada büyük dataset'leri SQL ile sorgulayıp analiz ederek arama ve sıralama kalitesini ayrıntılı yönergelere göre değerlendirdi.
Araştırma İlgi Alanı
Ekrem'in çalışmaları, LLM ve erişim sistemlerinin pratikte nasıl performans gösterdiğini ölçmeye odaklanır. Test düzeneğini tasarlar, iş yüklerini gerçek donanımda çalıştırır; embedding model'lerinden vektör veritabanlarına ve inference motorlarından GPU altyapısına kadar tüm yığında model'leri, framework'leri ve altyapıyı doğruluk, verim, gecikme, maliyet ve ölçeklenebilirlik açısından karşılaştırır. Yüksek lisans tezi, sistematik literatür taramalarını RAG tabanlı bir pipeline ile otomatikleştirir.
Eğitim
Ekrem, Başkent Üniversitesi'nden Yönetim Bilişim Sistemleri alanında yüksek lisans derecesine sahiptir; tezinde sistematik literatür taramalarını RAG tabanlı bir pipeline ile otomatikleştirmiştir ve Hacettepe Üniversitesi'nde Veri ve Bilgi Mühendisliği alanında ikinci yüksek lisansına devam etmektedir.
Ekrem Tarafından Son Makaleler
Finans Alanında 90+ LLM Benchmark'ı: Claude Opus 5.5 ve Gemini 4 Argon
Test seti, FinanceReasoning benchmark'ının (Tang ve diğerleri) zor alt kümesidir ve 238 soru içerir. Doğruluk, doğru yanıtlanan soruların yüzdesidir. Sayısal yanıtlar %0,2 göreli toleransa tabidir. Çıktı token'ları, 238 yanıt boyunca üretilen token'lardır. Girdi token'ları maliyet hesaplamasında ayrı olarak sayılır. Maliyet, maliyet analizimizde kaydedilen token sayıları ve oranları kullanılarak soru yanıtlama çalıştırması için hesaplanan USD harcamasıdır.…
AIM-Text-to-SQL Kıyaslaması: SQL Doğruluğu 70+ LLM'lerde
SQL doğruluğu, referans sonucunu döndüren puanlanan sorguların yüzdesidir. Yanlış yönlendirmeler ve bozuk olarak işaretlenen referanslar hariç tutulur. Referans sorgu, beklenen yanıt olarak sağlanan SQL sorgusudur. Her model, puanlama veritabanı seçimlerine bağlı olduğu için farklı bir SQL soru kümesine ulaşır. Bu alt kümelerdeki ve yürütme kurulumundaki farklılıklar karşılaştırmaları sınırlar. claude-opus-5.5 puanlanan 444 soruda, toplam 506 soru…
Bot Tespiti: 9 Anti-Bot Satıcı Karşılaştırıldı
İçerik alma başarısını, etiketlenmiş 3.800'den fazla alan adında üç ticari scraping hizmeti kullanarak ölçtük. Sonuçları, bu alan adlarında tespit edilen anti-bot şirketlerine göre grupladık. Cloudflare, etiketlenmiş 3.859 alan adının %73,3'ünde tespit edildi. Bu grubun engelleme oranı %6,7 oldu. Imperva, alan adlarının %3,7'sinde tespit edildi ve engelleme oranı %46,6 oldu. İki ölçüt, dokuz şirketi neredeyse birbirinin…
AIM-Agentic RAG Kıyaslaması: 11 SQL Veritabanı Arasında Yönlendirme
Yönlendirme doğruluğu, nihai yanıtında modelin doğru veritabanını açıkça belirttiği puanlanan soruların yüzdesidir. Ana sonuç, 184 zor olarak işaretlenen soruyu kullanır; bu işaretleme hem benzerlik testimiz hem de üç LLM'den oluşan jüri tarafından yapıldı. Açık bildirim içermeyen yanıtlar kredi almaz. gemini-4-argon, zor soruların 173/184'ünde doğru veritabanını seçti. claude-opus-5,5 %90,2 ile izledi (166/184). Muse Wonder %86,4 kaydetti…
En İyi 30+ AI Çip Üreticisi: NVIDIA ve Rakipleri
AIMultiple’ın bulut GPU kıyaslamasını 4 farklı senaryoda 10 farklı GPU modeliyle çalıştırma deneyimimize dayanarak, bunlar veri merkezi iş yükleri için en iyi AI donanım şirketleridir. *Seçili AI çipi, her satıcıyı en iyi temsil eden parça, platform veya duyurulan projedir. Bazı girişler tek bir çip yerine sistemler, hizmetler veya lisanslanabilir IP'dir. Sıralama kategoriye göredir. Satıcılar, ilk…
Ajanik Arama: Ajanlar için 8 Arama API'sini Kıyaslama
Ajanik arama, geleneksel arama motorları ile yapay zeka arama yetenekleri arasındaki boşluğu kapatmada çok önemli bir rol oynar. Arama API'leri, bir ajanik aracın ilk katmanıdır ve burada performans, aşağı akıştaki her şeyin kalitesini üst sınırlar. Gerçek dünyaya ait 100 yapay zeka/LLM sorgusunda 8 arama API'sini kıyasladık; 4.000 alınan sonucu, her birini alaka, kalite, gürültü ve…
Ücretsiz Bulut GPU'lar: Modeller, Limitler ve Erişim Gereksinimleri
Ücretsiz bulut GPU'lar Python notebook'ları, yapay zeka demo'ları ve aylık işlem kredileri aracılığıyla kullanılabilir. GPU donanımını, ücretsiz kullanım haklarını ve erişim gereksinimlerini karşılaştırın veya iş yükünüze uygun hizmetleri kontrol edin. İki T4, iki ayrı 16 GB bellek tahsisi sağlar. Her ikisinde bir model çalıştırmak, iş yükünü dağıtan bir yazılım gerektirir. Birleşik kapasite, her iki GPU'yu…
E-posta Arşivleme Yazılımı Benchmark
Bir Microsoft 365 kiracısı sağladık, onu 10.000 e-postalık sentetik derlem ve 8 dosya türü alt türünde 1.700 ek ile doldurduk, ardından aynı kiracı üzerinde NinjaOne SaaS Archiver, Barracuda Cloud Archiving Service, Acronis Cyber Protect Cloud Email Archiving ve MailPiler ürünlerini alım, arama, ek geri çağırma, dışa aktarma, değişmezlik, yasal bekletme, denetim, şifreleme, saklama ve satıcı…
Reranker Benchmark: En İyi 8 Model Karşılaştırması
8 reranker modelini ~145k İngilizce Amazon yorumu üzerinde değerlendirerek yeniden sıralama aşamasının yoğun getirmeyi ne kadar iyileştirdiğini ölçtük. multilingual-e5-base ile ilk 100 adayı getirdik, her modelle yeniden sıraladık ve ilk 10 sonucu, her biri kaynak yorumundaki somut ayrıntılara atıfta bulunan 300 sorguya göre değerlendirdik. En iyi reranker Hit@1'i %62,67'ten %83,00'e yükseltti (+20.33pp). Metrikler açıklandı: ΔHit@1…
RAG Değerlendirme Araçları: W&B Weave vs Ragas vs TruLens
Beş retrieval-augmented generation (RAG) değerlendirme aracını; her biri beş pasajla eşleştirilmiş 1.000+ çekişmeli soru üzerinde benchmark ettik. Karşılaştırma, bağlam alaka düzeyini GPT-4o ve araçların varsayılan değerlendirme prompt'larını kullanarak ölçer. W&B Weave, %94,5 ile en yüksek Top-1 doğruluğuna sahip oldu. TruLens, 0.932 ile NDCG@5 dahil olmak üzere sıralama metriklerinde öne çıktı. Konumları, özellikle bir değerlendiricinin ikili…
AIMultiple Bülteni
Haftada 1 ücretsiz e-posta ile en son B2B teknoloji haberleri ve uzman içgörüler ile işletmenizi hızlandırın.