Ekrem Sarı
Ekrem, AIMultiple'da bir Yapay Zeka Araştırmacısı ve Veri Analistidir. Yapay zeka ve LLM sistemleri için uygulamalı benchmark'lar tasarlar ve yürütür.
Profesyonel Deneyim
AIMultiple'da, Ekrem uçtan uca yapay zeka sistemlerini benchmark eder ve benchmark ve ürün metriklerini izlemek için kullanılan veri iş akışlarını ve panolarını oluşturur. Onun benchmark'ları; embedding ve reranker model'lerini, vektör ve graf veritabanlarını, inference motorlarını, kuantizasyonu, GPU eşzamanlılığını ve çoklu GPU ölçeklemesini, bulut GPU fiyatlandırmasını ve sağlayıcılarını, text-to-SQL, RAG ve agentic RAG framework'lerini kapsar.
AIMultiple'dan önce, Yandex'te Değerlendirici olarak çalıştı; burada arama kalitesini değerlendirdi ve sıralama ile model kalitesini desteklemek için ayrıntılı yönergelere göre büyük hacimli verileri etiketledi.
Araştırma İlgi Alanları
Ekrem'in çalışmaları MLOps ve LLMOps yaşam döngüsüne ve yapay zeka sistemlerinin performansının ölçülmesine odaklanmaktadır. Ekrem, doğruluk, verim, API maliyeti ve ölçeklenebilirlik gibi metrikler açısından embedding model'lerinden ve vektör veritabanlarından GPU ve bulut altyapısına kadar tüm yığın boyunca model'leri, framework'leri ve altyapıyı karşılaştırır. Yüksek lisans tezi, RAG tabanlı bir pipeline ile sistematik literatür taramalarını otomatikleştirmektedir.
Eğitim
Ekrem, Hacettepe Üniversitesi'nden lisans derecesine sahiptir ve Başkent Üniversitesi'nde yüksek lisans eğitimini tamamlamaktadır.
Ekrem Tarafından Son Makaleler
Açık Kaynak Embedding Models Benchmark RAG için
NVIDIA Llama-Embed-Nemotron-8B doğrulukta önde. Maliyete gelince, Google’ın EmbeddingGemma-300m modeli, küçük bir doğruluk kaybı pahasına Nemotron’dan yaklaşık 4x daha ucuz çalışıyor. nDCG@3: Kesme değeri 3 olan normalize edilmiş indirimli kümülatif kazanç. Sorgu başına tek ilgili belge olduğunda, altın belge ilk 3 içine girdiğinde 1 / log2(rank + 1), aksi durumda 0 olur. Sıra 1 1.000 puan…
Çok Modlu Embedding Modelleri: Apple vs Meta vs OpenAI
Çok modlu embedding modelleri nesneleri tanımada başarılıdır, ancak ilişkilerde zorlanır. Mevcut modeller “haritadaki telefon” ile “telefondaki harita”yı ayırt etmekte zorlanır. Bu spesifik sınırlılığı ölçmek için MS-COCO ve Winoground genelinde 7 önde gelen modeli benchmarkladık. Adil bir karşılaştırma sağlamak için her modeli aynı koşullar altında NVIDIA A40 donanımı ve bfloat16 hassasiyetiyle değerlendirdik. Bu deterministik kurulum, hangi…
Finans Alanında 40+ LLM Karşılaştırması: Claude Fable 5 ve GPT-5.6 Sol
Finans alanında 40+ LLM'i, hangi modellerin tablo analizi, tahminleme ve oran hesaplamaları gibi karmaşık finansal muhakeme görevlerinde üstün performans gösterdiğini belirlemek için FinanceReasoning karşılaştırma testindeki 238 zor soru üzerinde değerlendirdik. LLM'leri FinanceReasoning karşılaştırma testindeki (Tang ve diğerleri) 238 zor soru üzerinde değerlendirdik.1 Bu alt küme, finansal kavramları ve formülleri içeren karmaşık, çok adımlı nicel muhakemeyi…
Embedding Modelleri: OpenAI vs Gemini vs Voyage
15 İngilizce metin embedding modelini ve bir BM25 temel çizgisini, üç erişim alanında (hukuk sözleşmeleri (CUAD), müşteri desteği (IBM TechQA) ve sağlık hizmetleri (MedRAG PubMed)) 500'den fazla elle derlenmiş sorgu üzerinde kıyasladık. Voyage-3.5 genel sıralamada ilk sırada yer alıyor. Perplexity Embed V1 0.6b, kıyaslamamızdaki en düşük fiyat noktasında üst-orta seviyeye ulaşıyor. nDCG@3: Kesme noktası 3'te…
E-posta Arşivleme Yazılımı Benchmark
Bir Microsoft 365 kiracısı sağladık, onu 10.000 e-postalık sentetik derlem ve 8 dosya türü alt türünde 1.700 ek ile doldurduk, ardından aynı kiracı üzerinde NinjaOne SaaS Archiver, Barracuda Cloud Archiving Service, Acronis Cyber Protect Cloud Email Archiving ve MailPiler ürünlerini alım, arama, ek geri çağırma, dışa aktarma, değişmezlik, yasal bekletme, denetim, şifreleme, saklama ve satıcı…
E-Ticaret Scraper: 4 Sağlayıcı Kıyaslandı
Dört web veri sağlayıcısını 100 e-ticaret alan adında kıyasladık; her biri 5 ila 5.000 eşzamanlı istekle 65.000 ürün ve arama sayfası çekti. Eşzamanlılık seviyelerinin ortalamasında, Bright Data 16 saniyelik ortanca süreyle en yüksek başarı oranına (%76) ulaştı. Apify ise 46 saniye ile en yüksek ortanca yanıt süresini kaydetti. Yanıt süresi, tipik istek olan ortanca (P50)…
Olağanüstü Durum Kurtarma Karşılaştırması: Acronis vs Comet vs MSP360
Acronis Cyber Protect Cloud, Comet Backup ve MSP360 Managed Backup'ı olağanüstü durum kurtarma üzerinde test ettik. Her satıcı canlı bir Windows Server 2022 ve canlı bir Ubuntu 24.04 sunucusunu görüntüledi; sunucu aynı deterministik iş yükünü, bir web hizmetini, 10.000 satırlık bir veritabanını ve 50 dosyayı taşıyordu. Ardından fidye yazılımı tarzı bir felaket verileri şifreledikten sonra…
Graf Veritabanı Kıyaslaması: Neo4j vs FalkorDB vs Memgraph
Neo4j, FalkorDB ve Memgraph'i 120.000 Amazon ürün yorumlarından türetilen sentetik bir graf üzerinde kıyasladık (381K düğüm, 804K kenar). 12 sorgu şablonunu her biri 1.000 ölçümle çalıştırdık, 6 parti boyutunda veri alımını test ettik, 60 saniye boyunca 32 iş parçacığına kadar sürekli eşzamanlı yük uyguladık ve bellek, soğuk başlatma, karma iş yükü ve indeks etkisini ölçtük.…
Bot Tespiti: 9 Anti-Bot Satıcısı Kıyaslandı
Canlı web sitelerine karşı iki benchmark çalıştırdık, ardından her alan adının önündeki anti-bot şirketini belirledik ve her şirketin alan adlarının talep ettiğimiz içeriği ne sıklıkla döndürdüğünü ölçtük. Bu, 3.800 etiketli alan adını ve 50.000 isteği kapsıyor. İlk benchmark, 100 e-ticaret alan adında her biri 50 URL olmak üzere ürün ve arama sayfalarını getirdi. İkincisi, alan…
En İyi 30+ Yapay Zeka Çip Üreticisi: NVIDIA ve Rakipleri
AIMultiple'ın 10 farklı GPU modeliyle 4 farklı senaryoda yürüttüğü bulut GPU kıyaslaması deneyimimize dayanarak, bunlar veri merkezi iş yükleri için en iyi yapay zeka donanım şirketleridir. *Seçili ürün, her satıcıyı en iyi temsil eden parça, platform veya duyurulan projedir. Bazı girişler tek bir çip yerine sistemler, hizmetler veya lisanslanabilir IP'lerdir. **Broadcom markalı bir yapay zeka…
AIMultiple Bülteni
Haftada 1 ücretsiz e-posta ile en son B2B teknoloji haberleri ve uzman içgörüler ile işletmenizi hızlandırın.