Ekrem Sarı
Ekrem, AIMultiple'da Yapay Zeka Araştırmacısı ve Veri Bilimcidir. Yapay zeka ve LLM sistemleri için uygulamalı benchmark'lar tasarlar ve yürütür.
Profesyonel Deneyim
AIMultiple'da Ekrem, uçtan uca yapay zeka sistemlerini benchmark eder ve benchmark ve ürün metriklerini izlemek için kullanılan veri iş akışlarını ve panoları geliştirir. Onun benchmark'ları embedding ve reranker model'lerini, vektör ve grafik veritabanlarını, inference motorlarını, kuantizasyonu, GPU eşzamanlılığını ve çoklu-GPU ölçeklemesini, bulut GPU fiyatlandırmasını ve sağlayıcılarını, metinden-SQL'e dönüşümü ve RAG ile ajan bazlı RAG framework'lerini kapsar.
AIMultiple'dan önce Yandex'te Veri Bilimci olarak çalıştı; burada büyük dataset'leri SQL ile sorgulayıp analiz ederek arama ve sıralama kalitesini ayrıntılı yönergelere göre değerlendirdi.
Araştırma İlgi Alanı
Ekrem'in çalışmaları, LLM ve erişim sistemlerinin pratikte nasıl performans gösterdiğini ölçmeye odaklanır. Test düzeneğini tasarlar, iş yüklerini gerçek donanımda çalıştırır; embedding model'lerinden vektör veritabanlarına ve inference motorlarından GPU altyapısına kadar tüm yığında model'leri, framework'leri ve altyapıyı doğruluk, verim, gecikme, maliyet ve ölçeklenebilirlik açısından karşılaştırır. Yüksek lisans tezi, sistematik literatür taramalarını RAG tabanlı bir pipeline ile otomatikleştirir.
Eğitim
Ekrem, Başkent Üniversitesi'nden Yönetim Bilişim Sistemleri alanında yüksek lisans derecesine sahiptir; tezinde sistematik literatür taramalarını RAG tabanlı bir pipeline ile otomatikleştirmiştir ve Hacettepe Üniversitesi'nde Veri ve Bilgi Mühendisliği alanında ikinci yüksek lisansına devam etmektedir.
Ekrem Tarafından Son Makaleler
İlişkisel Temel Modelleri Karşılaştırma
Semantik-sayısal spektrumu, küçük/yüksek semantik tabloları, karma iş dataset'lerini ve büyük düşük semantik sayısal dataset'leri kapsayan 17 tablo dataset'i üzerinde SAP-RPT-1-OSS'i gradyan boosting'e (LightGBM, CatBoost) karşı benchmark ettik. Amacımız, ilişkisel bir LLM'in önceden eğitilmiş semantik ön bilgilerinin geleneksel ağaç modellerine göre nerede avantaj sağlayabileceğini ve ölçek veya düşük semantik yapı altında nerede zorluklarla karşılaştığını ölçmektir. Aşağıda,…
En İyi 70+ Bulut GPU Sağlayıcısı
Bulut GPU sağlayıcıları üç kademeye ayrılır. Hiperskalalar, GPU kiralamayı birçok ürün arasında tek bir ürün olarak sunan geniş bulut platformları işletir. Uzmanlaşmış neobulutlar, temel ürün olarak GPU ve yapay zeka altyapısına odaklanır. Topluluk pazar yerleri, çok sayıda küçük operatörden envanteri genellikle yayınlanan fiyat aralığının tabanında toplar. Sütun tanımları: Sıralama: Aboneler tablonun üst kısmında bağlantılı ve…
Bulut GPU Fiyatlandırması, Performans ve Sağlayıcı Karşılaştırması
Bulut GPU liste fiyatları aynı model için bir sağlayıcıdan diğerine birkaç kat farklılık gösterebilir. Üç fiyatlandırma kademesinin tamamında 40+ GPU yapılandırması için en düşük ücreti, sağlayıcıyı, piyasa aralığını ve medyanı; ayrıca 10 modelde dolar başına verim kıyaslamasını derledik. İş yükünüz için en uygun maliyetli GPU'yu 13 hiperskaler ve neocloud sağlayıcı arasında, dolar başına verim bazında…
RAG Değerlendirme Araçları: Weights & Biases vs Ragas vs DeepEval
Bir RAG pipeline'ı yanlış bağlamı getirdiğinde, LLM kendinden emin şekilde yanlış cevabı üretir. Bağlam ilgililik puanlayıcıları birincil savunmadır. Beş aracı aynı koşullar altında 1.460 soru ve 14.600+ puanlanmış bağlam üzerinde kıyasladık: aynı jüri modeli (GPT-4o), varsayılan yapılandırmalar ve özel prompt yok. Standart koşullar altında WandB, TruLens ve Ragas en iyi performans gösterenler oldu. Çekişmeli baskı…
Embedding Model'ler: OpenAI vs Gemini vs Voyage
15 İngilizce metin embedding model'ini ve bir BM25 taban çizgisini, üç erişim alanında 500'den fazla elle derlenmiş sorgu üzerinde benchmark ettik: hukuk sözleşmeleri (CUAD), müşteri desteği (IBM TechQA) ve sağlık (MedRAG PubMed). Voyage-3.5 genel olarak birinci sırada yer alıyor. Perplexity Embed V1 0.6b, benchmark'ımızdaki en düşük fiyat noktasında üst-orta seviyeye ulaşıyor. nDCG@3: Kesme değeri 3'te…
RAG Framework'leri: LangChain vs LangGraph vs LlamaIndex
5 RAG framework'ünü, aynı ajanik RAG iş akışını standartlaştırılmış bileşenlerle oluşturarak kıyasladık: LangChain, LangGraph, LlamaIndex, Haystack ve DSPy; özdeş modeller (GPT-4.1-mini), embedding'ler (BGE-small), retriever (Qdrant) ve araçlar (Tavily web araması). Bu, her framework'ün gerçek ek yükünü ve token verimliliğini izole eder. Kıyaslama, istikrarlı ortalamalar sağlamak için her framework'ün tam seti 100 kez çalıştırdığı 100 sorgudan…
Yedekleme yazılımı kıyaslaması: Acronis vs NinjaOne vs Comet vs MSP360
NinjaOne Backup, Acronis Cyber Protect Cloud Backup, Comet Backup ve MSP360 Managed Backup ürünlerini aynı AWS altyapısında kıyasladık. Her satıcı, aynı 625.946 dosyalık / 50 GB iş yükünün dosya modunda yedeğini ve sistem diskinin tam görüntü yedeğini aldı, ardından 15 GB'lık orta alt dizini geri yükledi. Aşağıda, Windows + Linux görüntü, dosya ve dosya düzeyinde…
Açık Kaynak Embedding Modelleri Benchmark'ı RAG için
NVIDIA Llama-Embed-Nemotron-8B doğrulukta lider. Maliyet açısından, Google'ın EmbeddingGemma-300m modeli, küçük bir doğruluk kaybı karşılığında Nemotron'dan kabaca 4x daha ucuza çalışıyor. nDCG@3: Kesme noktası 3'te normalize edilmiş indirimli kümülatif kazanç. Sorgu başına tek ilgili doküman varsa, altın doküman ilk 3'e girdiğinde 1 / log2(sıra + 1), aksi halde 0 olur. 1. sıra 1.000, 2. sıra 0.631,…
Reranker Benchmark: En İyi 8 Model Karşılaştırması
8 reranker modelini ~145k İngilizce Amazon yorumu üzerinde değerlendirerek yeniden sıralama aşamasının yoğun getirmeyi ne kadar iyileştirdiğini ölçtük. multilingual-e5-base ile ilk 100 adayı getirdik, her modelle yeniden sıraladık ve ilk 10 sonucu, her biri kaynak yorumundaki somut ayrıntılara atıfta bulunan 300 sorguya göre değerlendirdik. En iyi reranker Hit@1'i %62,67'ten %83,00'e yükseltti (+20.33pp). Metrikler açıklandı: ΔHit@1…
LLM Kendi Kendine Barındırma için VRAM Hesaplayıcı
Bir LLM'yi kendi kendine barındırmak, çıkarımı operatörün kontrol ettiği donanımda, üçüncü taraf bir API aracılığıyla değil, çalıştırmak anlamına gelir; bu da maliyeti, veri kontrolünü ve gizlilik profilini değiştirir. Bir modelin hiç çalışıp çalışmayacağı belleğe bağlıdır. Hesaplayıcı, modele, hassasiyetine, bağlam uzunluğuna ve hedef donanıma bağlı olarak bir modelin yerel olarak çalıştırılması için gereken VRAM veya birleşik…
AIMultiple Bülteni
Haftada 1 ücretsiz e-posta ile en son B2B teknoloji haberleri ve uzman içgörüler ile işletmenizi hızlandırın.