Ekrem Sarı
Ekrem, AIMultiple'da Yapay Zeka Araştırmacısı ve Veri Bilimcidir. Yapay zeka ve LLM sistemleri için uygulamalı benchmark'lar tasarlar ve yürütür.
Profesyonel Deneyim
AIMultiple'da Ekrem, uçtan uca yapay zeka sistemlerini benchmark eder ve benchmark ve ürün metriklerini izlemek için kullanılan veri iş akışlarını ve panoları geliştirir. Onun benchmark'ları embedding ve reranker model'lerini, vektör ve grafik veritabanlarını, inference motorlarını, kuantizasyonu, GPU eşzamanlılığını ve çoklu-GPU ölçeklemesini, bulut GPU fiyatlandırmasını ve sağlayıcılarını, metinden-SQL'e dönüşümü ve RAG ile ajan bazlı RAG framework'lerini kapsar.
AIMultiple'dan önce Yandex'te Veri Bilimci olarak çalıştı; burada büyük dataset'leri SQL ile sorgulayıp analiz ederek arama ve sıralama kalitesini ayrıntılı yönergelere göre değerlendirdi.
Araştırma İlgi Alanı
Ekrem'in çalışmaları, LLM ve erişim sistemlerinin pratikte nasıl performans gösterdiğini ölçmeye odaklanır. Test düzeneğini tasarlar, iş yüklerini gerçek donanımda çalıştırır; embedding model'lerinden vektör veritabanlarına ve inference motorlarından GPU altyapısına kadar tüm yığında model'leri, framework'leri ve altyapıyı doğruluk, verim, gecikme, maliyet ve ölçeklenebilirlik açısından karşılaştırır. Yüksek lisans tezi, sistematik literatür taramalarını RAG tabanlı bir pipeline ile otomatikleştirir.
Eğitim
Ekrem, Başkent Üniversitesi'nden Yönetim Bilişim Sistemleri alanında yüksek lisans derecesine sahiptir; tezinde sistematik literatür taramalarını RAG tabanlı bir pipeline ile otomatikleştirmiştir ve Hacettepe Üniversitesi'nde Veri ve Bilgi Mühendisliği alanında ikinci yüksek lisansına devam etmektedir.
Ekrem Tarafından Son Makaleler
Uzak Tarayıcılar: Yapay Zeka Ajanları için Web Altyapısı Karşılaştırması
Yapay zeka ajanları, anti-scraping önlemleri tarafından engellenmeden web görevlerini otomatikleştirmek için uzak tarayıcılara güvenir. Bu tarayıcı altyapısının performansı, bir ajanın başarısı için kritik öneme sahiptir. 8 sağlayıcıyı başarı oranı, hız ve özellikler açısından kıyasladık. Bunu yapmak için, her hizmetin gerçek dünya performansını ölçmek amacıyla 4 farklı senaryoyu 5 kez çalıştırarak 160 otomatik görev yürüttük. Ayrıca…
AIM-Text-to-SQL Karşılaştırması: 70+ LLM Arasında SQL Doğruluğu
SQL doğruluğu, referans sonucu döndüren puanlanan sorguların yüzdesidir. Yanlış yönlendirmeler ve bozuk olarak işaretlenen referanslar hariç tutulur. Referans sorgu, beklenen yanıt olarak sağlanan SQL'dir. Her model, puanlama veritabanı seçimlerine bağlı olduğu için farklı bir SQL soru kümesine ulaşır. Bu alt kümelerdeki ve yürütme kurulumundaki farklılıklar karşılaştırmaları sınırlar. claude-opus-5.5, puanlanan 506 sorunun 444'ünde referans sonucu eşleştirdi.…
AIM-Agentic RAG Kıyaslaması: 11 SQL Veritabanı Arasında Yönlendirme
Yönlendirme doğruluğu, modelin nihai yanıtında doğru veritabanını açıkça belirttiği puanlanan soruların yüzdesidir. Başlık, hem benzerlik testimiz hem de üç LLM'den oluşan bir jüri tarafından zor olarak işaretlenen 184 soruyu kullanır. Açık beyan içermeyen yanıtlar puan almaz. claude-opus-5.5, 184 zor sorudan 166'sında doğru veritabanını seçti. claude-sonnet-5.5, gemini-3.7-flash ve qwen3.8-max-0902 her biri %85,3 kaydederek en yüksek API…
Finans'ta 80+ LLM'ler Kıyaslaması: Claude Opus 5.5 & GPT-6 Astra
Test seti, FinanceReasoning karşılaştırmasının (Tang vd.) 238 soruluk zor alt kümesidir. Doğruluk, doğru cevaplanan soruların yüzdesidir. Sayısal cevaplar %0,2 göreli toleransa tabidir. Çıktı token'ları, 238 cevapta üretilen token'lardır. Girdi token'ları maliyet hesaplamasında ayrı olarak sayılır. Maliyet, maliyet analizimizde kaydedilen token sayıları ve ücretler kullanılarak soru-cevaplama çalıştırması için hesaplanan USD harcamasıdır. Bazı girdi sayıları tahminidir. Bu…
RAG Değerlendirme Araçları: W&B Weave vs Ragas vs TruLens
Beş retrieval-augmented generation (RAG) değerlendirme aracını; her biri beş pasajla eşleştirilmiş 1.000+ çekişmeli soru üzerinde benchmark ettik. Karşılaştırma, bağlam alaka düzeyini GPT-4o ve araçların varsayılan değerlendirme prompt'larını kullanarak ölçer. W&B Weave, %94,5 ile en yüksek Top-1 doğruluğuna sahip oldu. TruLens, 0.932 ile NDCG@5 dahil olmak üzere sıralama metriklerinde öne çıktı. Konumları, özellikle bir değerlendiricinin ikili…
En İyi 30+ AI Çip Üreticisi: NVIDIA ve Rakipleri
AIMultiple’ın bulut GPU kıyaslamasını 4 farklı senaryoda 10 farklı GPU modeliyle çalıştırma deneyimimize dayanarak, bunlar veri merkezi iş yükleri için en iyi AI donanım şirketleridir. *Seçili AI çipi, her satıcıyı en iyi temsil eden parça, platform veya duyurulan projedir. Bazı girişler tek bir çip yerine sistemler, hizmetler veya lisanslanabilir IP'dir. Sıralama kategoriye göredir. Satıcılar, ilk…
Video Arama API Kıyaslaması: Bright Data vs YouTube
Bright Data Video Arama'yı, beş sorgu türünde 50 İngilizce sorgu üzerinde YouTube aramasıyla karşılaştırdık. Her iki motor da tükenene kadar sorgulandı ve üç model'li bir panel, örneklenen video karelerini değerlendirdi. Arama başına kullanılabilir klip sayısı, dönen videoların kaçının sorgulanan konuyu veya eylemi içerdiğini tahmin eder. Dönen benzersiz video sayısını alaka yoğunluğuyla birleştirir. Her video, arama…
Embedding Models: 25 Model Retrieval için Kıyaslandı
Finans, hukuk sözleşmeleri, teknik destek ve tıbbi literatür genelinde 25 embedding model'ini 200 retrieval sorusu üzerinde kıyasladık. Dört korpus toplamda 341.040 metin pasajı içeriyordu. Her sorgu kendi alanında arama yaptı. nDCG@10, kaydedilen ilgili pasajların ilk on sonuçta ne kadar üst sırada göründüğünü ölçer. Puanlar 0 ile 1 arasında değişir; daha yüksek değerler daha iyi yerleşimi…
Bot Tespiti: 9 Anti-Bot Satıcısı Kıyaslandı
En iyi yaklaşık 3.800 alan adını koruyan anti-bot şirketini belirledik ve 50.000 istek boyunca her alan adının bot'larımızı ne sıklıkla engellediğini ölçtük. Cloudflare, %73,3 oranında 3.859 alan adını koruyor ve %6,7 engelleme oranı kaydetti. Imperva %3,7'sini koruyor ve %46,6 kaydetti. İki ölçüm dokuz şirketi neredeyse zıt sıralara koyuyor. Metrikler açıklaması: Block oranı, bir şirketin koruduğu…
DLP Yazılım Kıyaslaması
Acronis DeviceLock DLP ve ManageEngine DLP Plus'ı, aynı Windows Server 2022 sanal makinelerinde 28 senaryo ile kıyasladık: 23 veri sızıntısı testi (12 çekişmeli kaçınma dosyası dahil), 3 ajan güvenliği testi ve yüksek CPU ve bellek tüketimi altında 2 test. Diğer DLP ürünleri olan Netwrix Endpoint Protector, Sophos Intercept X, Teramind DLP ve Trellix DLP için…
AIMultiple Bülteni
Haftada 1 ücretsiz e-posta ile en son B2B teknoloji haberleri ve uzman içgörüler ile işletmenizi hızlandırın.