Ekrem Sarı
Ekrem, AIMultiple'da bir Yapay Zeka Araştırmacısı ve Veri Analistidir. Yapay zeka ve LLM sistemleri için uygulamalı benchmark'lar tasarlar ve yürütür.
Profesyonel Deneyim
AIMultiple'da, Ekrem uçtan uca yapay zeka sistemlerini benchmark eder ve benchmark ve ürün metriklerini izlemek için kullanılan veri iş akışlarını ve panolarını oluşturur. Onun benchmark'ları; embedding ve reranker model'lerini, vektör ve graf veritabanlarını, inference motorlarını, kuantizasyonu, GPU eşzamanlılığını ve çoklu GPU ölçeklemesini, bulut GPU fiyatlandırmasını ve sağlayıcılarını, text-to-SQL, RAG ve agentic RAG framework'lerini kapsar.
AIMultiple'dan önce, Yandex'te Değerlendirici olarak çalıştı; burada arama kalitesini değerlendirdi ve sıralama ile model kalitesini desteklemek için ayrıntılı yönergelere göre büyük hacimli verileri etiketledi.
Araştırma İlgi Alanları
Ekrem'in çalışmaları MLOps ve LLMOps yaşam döngüsüne ve yapay zeka sistemlerinin performansının ölçülmesine odaklanmaktadır. Ekrem, doğruluk, verim, API maliyeti ve ölçeklenebilirlik gibi metrikler açısından embedding model'lerinden ve vektör veritabanlarından GPU ve bulut altyapısına kadar tüm yığın boyunca model'leri, framework'leri ve altyapıyı karşılaştırır. Yüksek lisans tezi, RAG tabanlı bir pipeline ile sistematik literatür taramalarını otomatikleştirmektedir.
Eğitim
Ekrem, Hacettepe Üniversitesi'nden lisans derecesine sahiptir ve Başkent Üniversitesi'nde yüksek lisans eğitimini tamamlamaktadır.
Ekrem Tarafından Son Makaleler
Agentic RAG Benchmark: Multi-Database Routing Across 36 LLM's
36 büyük dil modelini veritabanları arası yönlendirme konusunda kıyasladık. Her model, doğal dilde bir soru ve paragraf düzeyinde tanımlanmış 11 SQL veritabanı alıyor, ardından herhangi bir SQL yazmadan önce hangi veritabanının yanıtı içerdiğine karar vermesi gerekiyor. 11 veritabanı, 80 BIRD-SQL adayından, tanım embedding'lerini kümeleyerek seçildi; böylece adaylar anlamsal olarak birbirine yakın ve gerçek isimleri db_01…
En İyi 60+ Bulut GPU Sağlayıcıları
Bulut GPU sağlayıcıları üç katmana ayrılır. Hiperölçekleyiciler, GPU kiralamayı birçok ürün arasında bir ürün olarak sunan geniş bulut platformları işletir. Uzman neocloud'lar, temel ürün olarak GPU ve yapay zeka altyapısına odaklanır. Topluluk pazar yerleri, genellikle yayınlanan fiyat aralığının tabanında, birçok küçük operatörden envanter toplar. Takip ettiğimiz 71 bulut GPU sağlayıcısı ve 14 seçilmiş GPU model…
Metin-SQL: LLM Doğruluğu Karşılaştırması
36 büyük dil modelini BIRD-SQL veri kümesindeki 759 soru üzerinde çalıştırdık; her model, 11 aday arasından kendi belirlemesi gereken bir veritabanına karşı SQL yazdı. Çözümlenebilen her sorgu gerçek veritabanında yürütüldü ve sonuç kümesi BIRD'in altın sorgusunun sonuç kümesiyle karşılaştırıldı. Eksik, hatalı ve yürütme hatası veren sorgular isabetsiz olarak değerlendirildi. Tüm çalıştırmalar sıcaklık 0'da, sıfır atışla…
RAG Framework'leri: LangChain vs LangGraph vs LlamaIndex
5 RAG framework'ünü kıyasladık: LangChain, LangGraph, LlamaIndex, Haystack ve DSPy'yi, aynı etmen tabanlı RAG iş akışını standart bileşenlerle oluşturarak: aynı modeller (GPT-4.1-mini), gömme modeli (BGE-small), getirici (Qdrant) ve araçlar (Tavily web araması). Bu, her framework'ün gerçek yükünü ve token verimliliğini izole eder. Kıyaslama, 100 sorgudan oluştu ve her framework, kararlı ortalamalar sağlamak için tüm seti…
Yedekleme yazılımı kıyaslaması: Acronis vs NinjaOne vs Comet vs MSP360
NinjaOne Backup, Acronis Cyber Protect Cloud Backup, Comet Backup ve MSP360 Managed Backup'ı aynı AWS altyapısında kıyasladık. Her satıcı aynı 625.946 dosyalı / 50 GB iş yükünün dosya modunda yedeklemesini ve sistem diskinin tam görüntü yedeklemesini gerçekleştirdi, ardından 15 GB orta alt dizini geri yükledi. İşte dört yedekleme ürününün, 50 GB / 625.946 dosyalı iş…
İlişkisel Temel Modelleri Karşılaştırma
Semantik-sayısal spektrumu, küçük/yüksek semantik tabloları, karma iş dataset'lerini ve büyük düşük semantik sayısal dataset'leri kapsayan 17 tablo dataset'i üzerinde SAP-RPT-1-OSS'i gradyan boosting'e (LightGBM, CatBoost) karşı benchmark ettik. Amacımız, ilişkisel bir LLM'in önceden eğitilmiş semantik ön bilgilerinin geleneksel ağaç modellerine göre nerede avantaj sağlayabileceğini ve ölçek veya düşük semantik yapı altında nerede zorluklarla karşılaştığını ölçmektir. Aşağıda,…
Ajan Arama: Ajanlar için 8 Arama API'sini Kıyaslama
Ajan arama, geleneksel arama motorları ile yapay zeka arama yetenekleri arasındaki boşluğu doldurmada kritik bir rol oynar. Arama API'leri, bir ajan aracının ilk katmanıdır; burada performans, aşağı akıştaki her şeyin kalitesini sınırlar. 8 arama API'sini, 100 gerçek dünya YZ/LLM sorgusu üzerinde kıyasladık; her bir sonucu alaka, kalite, gürültü ve kaynak türü açısından 6 kategoride puanlayan…
DLP Yazılım Karşılaştırması
Acronis DeviceLock DLP ve ManageEngine DLP Plus'ı, 23 veri sızıntısı testi (12 adet atlatma amaçlı dosya dahil), 3 ajan güvenlik testi ve yüksek CPU ve bellek tüketimi altında 2 test olmak üzere 28 senaryo ile aynı Windows Server 2022 VM'lerinde karşılaştırdık. Diğer DLP ürünleri olan Netwrix Endpoint Protector, Sophos Intercept X, Teramind DLP ve Trellix…
Reranker Kıyaslaması: En İyi 8 Model Karşılaştırıldı
Yoğun getirim aşamasının ne kadar iyileştirme sağladığını ölçmek için 8 reranker modelini ~145k İngilizce Amazon yorumu üzerinde kıyasladık. multilingual-e5-base ile en iyi 100 adayı getirdik, her modelle yeniden sıraladık ve her biri kaynak yorumundaki somut ayrıntılara atıfta bulunan 300 sorguya karşı en iyi 10 sonucu değerlendirdik. En iyi reranker, Hit@1'i %62,67'den %83,00'e yükseltti (+20,33 puan).…
GPU Eşzamanlılık Kıyaslaması: H100 vs H200 vs B200 vs MI300X
Son 20 yılımı sistem düzeyinde hesaplama performans optimizasyonuna odaklanarak geçirdim. Eşzamanlılık ölçekleme analizi için, en yeni NVIDIA GPU'ları ( NVIDIA'nın H100, H200 ve B200) ve AMD'nin MI300X'i dahil kıyasladık. gpt-oss-20b modeli ile vLLM çerçevesini kullanarak, bu GPU'ların 1'den 512'ye kadar eşzamanlı istekleri nasıl işlediğini test ettik. Sistem çıkış verimi, sorgu başına çıkış hızı ve uçtan…
AIMultiple Bülteni
Haftada 1 ücretsiz e-posta ile en son B2B teknoloji haberleri ve uzman içgörüler ile işletmenizi hızlandırın.