Ekrem Sarı
Ekrem, AIMultiple'da yapay zeka araştırmacısı olup, akıllı otomasyon, GPU'lar, yapay zeka ajanları ve RAG çerçeveleri için LLMOps konularına odaklanmaktadır.
Profesyonel Deneyim
Yandex'te Değerlendirme Uzmanı olarak görev yaptığı süre boyunca, tescilli çerçeveler ve otomatik protokoller kullanarak arama sonuçlarını değerlendirdi. Aylık 10.000'den fazla sorgu üzerinde veri etiketleme, alaka düzeyi puanlaması ve kullanıcı amacı eşlemesi yoluyla kalite güvence testleri uygularken, makine öğrenimi geri bildirim döngülerini kullanarak performans izleme ve spam tespiti de dahil olmak üzere teknik değerlendirmeler gerçekleştirdi.Araştırma Alanı
AIMultiple'da araştırmaları, MLOps yaşam döngüsü ve uçtan uca yapay zeka sistemlerinin performansı ve kıyaslaması üzerine yoğunlaşmaktadır. Geri Alma Destekli Üretim (RAG) optimizasyonu, kapsamlı Büyük Dil Modeli (LLM) kıyaslaması ve ajan tabanlı yapay zeka çerçevelerinin tasarımı da dahil olmak üzere çok çeşitli projelere katkıda bulunmaktadır. Ekrem, doğruluk, verimlilik, API maliyeti ve ölçeklenebilirlik gibi kritik operasyonel ölçütler genelinde yapay zeka teknolojisi performansını ölçmek ve iyileştirmek için veri odaklı metodolojiler geliştirmede uzmanlaşmıştır. Analizi, gömme modelleri ve vektör veritabanları gibi temel bileşenlerden, yapay zeka ajanlarının dağıtımı için gerekli olan yüksek performanslı GPU ve bulut altyapısına kadar tüm teknoloji yığınını kapsamaktadır.Eğitim
Ekrem, Hacettepe Üniversitesi'nden lisans, Başkent Üniversitesi'nden yüksek lisans derecesine sahiptir.Ekrem Tarafından Son Makaleler
RAG Değerlendirme Araçları: Weights & Biases vs Ragas vs DeepEval
Bir RAG pipeline'ı yanlış bağlamı getirdiğinde, LLM yanlış cevabı kendinden emin bir şekilde üretir. Bağlam uygunluk skorlayıcıları birincil savunmadır. Aynı koşullar altında 1.460 soru ve 14.600'den fazla skorlanmış bağlam üzerinden beş aracı kıyasladık: aynı yargıç modeli (GPT-4o), varsayılan yapılandırmalar ve özel prompt'lar yok. Standart koşullar altında WandB, TruLens ve Ragas en iyi performans gösterenler olarak…
Uzaktan Tarayıcılar: Yapay Zeka Ajanları için Web Altyapısı Karşılaştırıldı
Yapay zeka ajanları, anti-scraping önlemleri tarafından engellenmeden web görevlerini otomatikleştirmek için uzaktan tarayıcılara güvenir. Bu tarayıcı altyapısının performansı, bir ajanın başarısı için kritiktir. Başarı oranı, hız ve özellikler açısından 8 sağlayıcıyı test ettik. Bunu yapmak için, her hizmetin gerçek dünya performansını ölçmek amacıyla 4 farklı senaryoyu 5'er kez çalıştırarak 160 otomatik görev yürüttük. Ayrıca 250…
En İyi RAG Vektör Veritabanı: Qdrant vs Weaviate vs Pinecone
Vektör veritabanları, belge ve sorgu gömme (embedding) verilerini yüksek boyutlu vektörler olarak saklayarak RAG iş akışlarının geri çağırma katmanını güçlendirir. Vektör mesafelerine dayalı hızlı benzerlik aramaları sağlarlar. Fiyatlandırma yapılarına ve performanslarına odaklanarak altı vektör veritabanı sağlayıcısını test ettik: Vektör veritabanı karşılaştırması: Fiyatlandırma ve performans Bu testte şunları kullandık: Her vektörün 768 boyuta sahip olduğu Cohere'den…
Graph Veritabanı Benchmark: Neo4j vs FalkorDB vs Memgraph
Neo4j, FalkorDB ve Memgraph'ı, 120.000 Amazon ürün incelemesinden türetilen sentetik bir grafikte (381K düğüm, 804K kenar) benchmarkladık. Her biri 1.000 ölçüm içeren 12 sorgu şablonu çalıştırdık, 6 farklı yığın boyutunda veri yükleme (ingestion) test ettik, 32 iş parçacığına kadar 60 saniye boyunca sürekli eşzamanlı yük altında test ettik ve bellek, soğuk başlangıç, karma yük ve…
Bulut GPU Fiyatlandırması, Performansı ve Sağlayıcı Karşılaştırması
Aynı model için bulut GPU liste fiyatları, bir sağlayıcıdan diğerine birkaç kat farklılık gösterebilir. Üç fiyatlandırma katmanı genelinde 40'tan fazla GPU konfigürasyonu için en düşük oranı, sağlayıcıyı, piyasa aralığını ve ortanca değeri derledik; ayrıca 10 model üzerinde dolar başına verimlilik benchmark'ı ekledik. Birim verimlilik başına bulut GPU fiyatı 13 hiperskalör ve neobulut sağlayıcısı genelinde iş…
En İyi 20+ Ajanlı RAG Çerçeveleri
Ajanlı RAG, RAG'i LLM performansını artırarak ve daha fazla uzmanlaşma sağlayarak geliştirir. Birden fazla veritabanı arasında yönlendirme ve sorgu oluşturma üzerindeki performansını değerlendirmek için bir benchmark gerçekleştirdik. ajanlı RAG çerçevelerini ve kütüphanelerini, standart RAG'den temel farklarını, faydalarını ve tam potansiyellerini açığa çıkarmak için karşılaştıkları zorlukları keşfedin. Ajanlı RAG benchmark'ı: çoklu veritabanı yönlendirme ve sorgu oluşturma…
LLM Çıkarım Motorları: vLLM vs LMDeploy vs SGLang
NVIDIA H100 üzerinde önde gelen 3 LLM çıkarım motorunu kıyasladık: vLLM, LMDeploy ve SGLang. Her motor aynı iş yüklerini işledi: mimari seçimlerinin ve optimizasyon stratejilerinin gerçek performans etkisini izole etmek için Llama 3.1 8B-Instruct kullanarak 1.000 ShareGPT prompt'lar. MotorlarEn iyi kullanım alanı vLLM-100+ model mimarisinde prototipleme ve deneme -Çoklu GPU ortamları (NVIDIA, AMD, Intel) LMDeploy-Minimum…
GPU Eşzamanlılık Benchmark'ı: H100 vs H200 vs B200 vs MI300X
Son 20 yılımı sistem düzeyinde hesaplama performansı optimizasyonuna odaklanarak geçirdim. Eşzamanlılık ölçekleme analizi için en son NVIDIA GPU'larını, NVIDIA'nın H100, H200 ve B200'ünü ve AMD'nin MI300X'ini benchmarkladık. vLLM framework'ü ve gpt-oss-20b model kullanarak, bu GPU'ların 1'den 512'ye kadar eşzamanlı istekleri nasıl yönettiğini test ettik. Sistem çıktı verimliliğini, sorgu başına çıktı hızını ve uçtan uca gecikmeyi…
Metinden SQL'e: LLM Doğruluk Karşılaştırması
18 yıldır veri analizi için SQL'i kullanıyorum ve bu yolculuğum danışmanlık günlerimle başladı. Doğal dildeki soruları SQL'e çevirmek, verilere erişimi daha kolay hale getirir ve teknik becerilere sahip olmayan herkesin doğrudan veritabanlarıyla çalışmasına olanak tanır. 34 büyük dil modelini (LLM) metinden SQL'e kıyaslama metodolojimiz ile test ederek SQL komut üretimi performanslarını değerlendirdik: LLM tarafından oluşturulan…
En İyi RAG Araçları, Çerçeveleri ve Kütüphaneleri
RAG, LLM yanıtlarını yalnızca modelin eğitim sırasında ezberlediği verilere değil, harici verilere dayandırarak iyileştirir. Bir RAG sisteminin bileşenlerini kıyasladık ve sonuçları tek bir yerde topladık, ayrıca yığının her bir parçasını seçmek için pratik bir kılavuz sunduk. Her RAG bileşeni için kıyaslama sonuçlarımıza, bir RAG yığını seçme kılavuzumuza veya RAG temellerine bakın: nedir, nasıl çalışır ve…
AIMultiple Bülteni
Haftada 1 ücretsiz e-posta ile en son B2B teknoloji haberleri ve uzman içgörüler ile işletmenizi hızlandırın.