Ekrem Sarı
Ekrem, AIMultiple'da Yapay Zeka Araştırmacısı ve Veri Bilimcidir. Yapay zeka ve LLM sistemleri için uygulamalı benchmark'lar tasarlar ve yürütür.
Profesyonel Deneyim
AIMultiple'da Ekrem, uçtan uca yapay zeka sistemlerini benchmark eder ve benchmark ve ürün metriklerini izlemek için kullanılan veri iş akışlarını ve panoları geliştirir. Onun benchmark'ları embedding ve reranker model'lerini, vektör ve grafik veritabanlarını, inference motorlarını, kuantizasyonu, GPU eşzamanlılığını ve çoklu-GPU ölçeklemesini, bulut GPU fiyatlandırmasını ve sağlayıcılarını, metinden-SQL'e dönüşümü ve RAG ile ajan bazlı RAG framework'lerini kapsar.
AIMultiple'dan önce Yandex'te Veri Bilimci olarak çalıştı; burada büyük dataset'leri SQL ile sorgulayıp analiz ederek arama ve sıralama kalitesini ayrıntılı yönergelere göre değerlendirdi.
Araştırma İlgi Alanı
Ekrem'in çalışmaları, LLM ve erişim sistemlerinin pratikte nasıl performans gösterdiğini ölçmeye odaklanır. Test düzeneğini tasarlar, iş yüklerini gerçek donanımda çalıştırır; embedding model'lerinden vektör veritabanlarına ve inference motorlarından GPU altyapısına kadar tüm yığında model'leri, framework'leri ve altyapıyı doğruluk, verim, gecikme, maliyet ve ölçeklenebilirlik açısından karşılaştırır. Yüksek lisans tezi, sistematik literatür taramalarını RAG tabanlı bir pipeline ile otomatikleştirir.
Eğitim
Ekrem, Başkent Üniversitesi'nden Yönetim Bilişim Sistemleri alanında yüksek lisans derecesine sahiptir; tezinde sistematik literatür taramalarını RAG tabanlı bir pipeline ile otomatikleştirmiştir ve Hacettepe Üniversitesi'nde Veri ve Bilgi Mühendisliği alanında ikinci yüksek lisansına devam etmektedir.
Ekrem Tarafından Son Makaleler
E-Ticaret Scraper: 4 Sağlayıcı Kıyaslandı
Dört web veri sağlayıcısını 100 e-ticaret alan adı üzerinde kıyasladık; her biri 5 ila 5.000 eşzamanlı istekle 65.000 ürün ve arama sayfası çekti. Eşzamanlılık düzeylerinin ortalaması alındığında, Bright Data en yüksek başarı oranına (%76) 16 saniyelik medyanla ulaştı. Apify ise 46 saniye ile en yüksek medyan yanıt süresini kaydetti. Yanıt süresi; medyan (P50), tipik istek…
En İyi 70+ Bulut GPU Sağlayıcısı
Bulut GPU sağlayıcıları üç kademeye ayrılır. Hiperskalalar, GPU kiralamayı birçok ürün arasında tek bir ürün olarak sunan geniş bulut platformları işletir. Uzmanlaşmış neobulutlar, temel ürün olarak GPU ve yapay zeka altyapısına odaklanır. Topluluk pazar yerleri, çok sayıda küçük operatörden envanteri genellikle yayınlanan fiyat aralığının tabanında toplar. Sütun tanımları: Sıralama: Aboneler tablonun üst kısmında bağlantılı ve…
DLP Yazılım Kıyaslaması
Acronis DeviceLock DLP ve ManageEngine DLP Plus'ı, aynı Windows Server 2022 sanal makinelerinde 28 senaryo ile kıyasladık: 23 veri sızıntısı testi (12 çekişmeli kaçınma dosyası dahil), 3 ajan güvenliği testi ve yüksek CPU ve bellek tüketimi altında 2 test. Diğer DLP ürünleri olan Netwrix Endpoint Protector, Sophos Intercept X, Teramind DLP ve Trellix DLP için…
LLM Kendi Kendine Barındırma için VRAM Hesaplayıcı
Bir LLM'yi kendi kendine barındırmak, çıkarımı operatörün kontrol ettiği donanımda, üçüncü taraf bir API aracılığıyla değil, çalıştırmak anlamına gelir; bu da maliyeti, veri kontrolünü ve gizlilik profilini değiştirir. Bir modelin hiç çalışıp çalışmayacağı belleğe bağlıdır. Hesaplayıcı, modele, hassasiyetine, bağlam uzunluğuna ve hedef donanıma bağlı olarak bir modelin yerel olarak çalıştırılması için gereken VRAM veya birleşik…
Çoklu GPU Benchmark: B200 vs H200 vs H100 vs MI300X
Yirmi yılı aşkın süredir, hesaplama performansını optimize etmek çalışmalarımın temel taşlarından biri olmuştur. NVIDIA'nın B200, H200, H100 ve AMD'nin MI300X'ini, Large Language Model (LLM) inference için ne kadar iyi ölçeklendiklerini değerlendirmek amacıyla kıyasladık. vLLM framework'ü ve meta-llama/Llama-3.1-8B-Instruct modelini kullanarak 1, 2, 4 ve 8 GPU'da testler yürüttük. Her GPU mimarisinin paralelleştirilmiş, hesaplama yoğun iş yüklerini…
GPU Eşzamanlılık Benchmark'ı: H100 vs H200 vs B200 vs MI300X
Son 20 yılı sistem düzeyinde hesaplama performansı optimizasyonuna odaklanarak geçirdim. En yeni NVIDIA GPU'larını; NVIDIA'nın H100, H200 ve B200'ü ve AMD'nin MI300X'i dahil olmak üzere eşzamanlılık ölçekleme analizi için benchmark'ledik. vLLM framework'ü ile gpt-oss-20b modelini kullanarak, bu GPU'ların 1'den 512'ye kadar eşzamanlı istekleri nasıl işlediğini test ettik. Sistem çıktı verimini, sorgu başına çıktı hızını ve…
Video Arama API Benchmark: Bright Data vs YouTube
Bright Data Video Search'i YouTube arama ile 50 İngilizce sorguda beş sorgu türünde karşılaştırdık. Her iki motor da sonuçlar tükenene kadar sorgulandı ve üç modelden oluşan bir panel örneklenen video karelerini değerlendirdi. Arama başına kullanılabilir klip sayısı, döndürülen videoların kaç tanesinin sorgulanan konuyu veya eylemi içerdiğini tahmin eder. Döndürülen benzersiz video sayısını ilgililik yoğunluğu ile…
DGX Spark alternatifleri: RTX, Ryzen AI Halo ve Mac Studio
Yayınlanmış DGX Spark, RTX ve Ryzen AI Halo inference benchmark'larını karşılaştırıyoruz; prompt işleme, token üretimi ve daha uzun bağlamları kapsıyoruz. Alternatifler arasında Framework Desktop, Mac Studio ve diğer üreticilerin GB10 sistemleri yer alıyor. Decode hızı, saniyede üretilen çıktı token'larını ölçer. Daha yüksek değerler daha hızlı yanıt üretimi anlamına gelir. Altı sonucun tümü, LMSYS'nin DGX Spark…
Ücretsiz Bulut GPU'lar: Modeller, Limitler ve Erişim Gereksinimleri
Ücretsiz bulut GPU'lar Python notebook'ları, yapay zeka demo'ları ve aylık işlem kredileri aracılığıyla kullanılabilir. GPU donanımını, ücretsiz kullanım haklarını ve erişim gereksinimlerini karşılaştırın veya iş yükünüze uygun hizmetleri kontrol edin. İki T4, iki ayrı 16 GB bellek tahsisi sağlar. Her ikisinde bir model çalıştırmak, iş yükünü dağıtan bir yazılım gerektirir. Birleşik kapasite, her iki GPU'yu…
İlişkisel Temel Modelleri Karşılaştırma
Semantik-sayısal spektrumu, küçük/yüksek semantik tabloları, karma iş dataset'lerini ve büyük düşük semantik sayısal dataset'leri kapsayan 17 tablo dataset'i üzerinde SAP-RPT-1-OSS'i gradyan boosting'e (LightGBM, CatBoost) karşı benchmark ettik. Amacımız, ilişkisel bir LLM'in önceden eğitilmiş semantik ön bilgilerinin geleneksel ağaç modellerine göre nerede avantaj sağlayabileceğini ve ölçek veya düşük semantik yapı altında nerede zorluklarla karşılaştığını ölçmektir. Aşağıda,…
AIMultiple Bülteni
Haftada 1 ücretsiz e-posta ile en son B2B teknoloji haberleri ve uzman içgörüler ile işletmenizi hızlandırın.