Ekrem Sarı
Ekrem, AIMultiple'da yapay zeka araştırmacısı olup, akıllı otomasyon, GPU'lar, yapay zeka ajanları ve RAG çerçeveleri için LLMOps konularına odaklanmaktadır.
Profesyonel Deneyim
Yandex'te Değerlendirme Uzmanı olarak görev yaptığı süre boyunca, tescilli çerçeveler ve otomatik protokoller kullanarak arama sonuçlarını değerlendirdi. Aylık 10.000'den fazla sorgu üzerinde veri etiketleme, alaka düzeyi puanlaması ve kullanıcı amacı eşlemesi yoluyla kalite güvence testleri uygularken, makine öğrenimi geri bildirim döngülerini kullanarak performans izleme ve spam tespiti de dahil olmak üzere teknik değerlendirmeler gerçekleştirdi.Araştırma Alanı
AIMultiple'da araştırmaları, MLOps yaşam döngüsü ve uçtan uca yapay zeka sistemlerinin performansı ve kıyaslaması üzerine yoğunlaşmaktadır. Geri Alma Destekli Üretim (RAG) optimizasyonu, kapsamlı Büyük Dil Modeli (LLM) kıyaslaması ve ajan tabanlı yapay zeka çerçevelerinin tasarımı da dahil olmak üzere çok çeşitli projelere katkıda bulunmaktadır. Ekrem, doğruluk, verimlilik, API maliyeti ve ölçeklenebilirlik gibi kritik operasyonel ölçütler genelinde yapay zeka teknolojisi performansını ölçmek ve iyileştirmek için veri odaklı metodolojiler geliştirmede uzmanlaşmıştır. Analizi, gömme modelleri ve vektör veritabanları gibi temel bileşenlerden, yapay zeka ajanlarının dağıtımı için gerekli olan yüksek performanslı GPU ve bulut altyapısına kadar tüm teknoloji yığınını kapsamaktadır.Eğitim
Ekrem, Hacettepe Üniversitesi'nden lisans, Başkent Üniversitesi'nden yüksek lisans derecesine sahiptir.Ekrem Tarafından Son Makaleler
Çok Modlu Gömme Modelleri: Apple vs Meta vs OpenAI
Çok modlu gömme modelleri nesneleri tanımlamada mükemmeldir ancak ilişkilerde zorlanırlar. Mevcut modeller "haritada telefon" ile "telefonda harita"yı ayırt etmekte zorlanmaktadır. Bu özel sınırlamayı ölçmek için MS-COCO ve Winoground'da 7 önde gelen modeli karşılaştırdık. Adil bir karşılaştırma sağlamak için, her modeli aynı koşullar altında, A40 donanımı ve bfloat16 hassasiyeti kullanarak değerlendirdik.
Derin Öğrenme için Bulut GPU'ları: Kullanılabilirlik ve Fiyat/Performans
GPU modeli konusunda esnek iseniz, görüntü ve metin oluşturma ve ince ayar senaryolarında 10 GPU modelinin karşılaştırmalı testine göre en uygun maliyetli bulut GPU'yu belirleyin. Bulut GPU fiyatı/işlem hacmi GPU'lar için iki yaygın fiyatlandırma modeli "isteğe bağlı" ve "nokta" örneklerdir.
Reranker Karşılaştırması: En İyi 8 Modelin Karşılaştırılması
Yoğun arama sonuçlarını iyileştirmek için yeniden sıralama aşamasının ne kadar etkili olduğunu ölçmek amacıyla yaklaşık 145.000 İngilizce Amazon yorumu üzerinde 8 yeniden sıralama modelini karşılaştırdık. Çok dilli e5 tabanlı ilk 100 adayı aldık, her modelle yeniden sıraladık ve ilk 10 sonucu, her biri kaynak yorumundan somut ayrıntılara atıfta bulunan 300 sorguya karşı değerlendirdik. En iyi yeniden sıralama modeli, Hit@1 oranını %62,67'den yükseltti.
Hibrit RAG: RAG Doğruluğunu Artırma
Yoğun vektör arama, anlamsal niyeti yakalamada mükemmeldir, ancak genellikle yüksek anahtar kelime doğruluğu gerektiren sorgularla başa çıkmakta zorlanır. Bu açığı ölçmek için, standart yalnızca yoğun vektör kullanan bir arama algoritmasını, SPLADE seyrek vektörlerini de içeren hibrit bir RAG sistemiyle karşılaştırdık.
Yılında En İyi 30 Bulut GPU Sağlayıcısı ve GPU'ları
Tipik senaryolarda (örneğin, Llama 3.2 gibi bir LLM'nin ince ayarı) en yaygın 10 GPU'yu kıyasladık. Bu öğrenimlere dayanarak, eğer siz: Sıralama: Sponsorlar bağlantılı ve en üstte vurgulanmıştır. Bundan sonra, hiper ölçekli sağlayıcılar ABD pazar payına göre listelenmiştir. Ardından, sağlayıcılar sundukları model sayısına göre sıralanmıştır.
Denetimli İnce Ayar ve Takviyeli Öğrenme Karşılaştırması
Büyük dil modelleri, açıkça belirtilmeyen karar kurallarını içselleştirebilir mi? Bunu incelemek için, kredi karar verme görevinde gizli bir "VIP geçersiz kılma" kuralı üzerinde eğitilmiş 14 milyar parametreli bir model tasarladık; kuralın kendisi hakkında herhangi bir komut düzeyinde açıklama yoktu.
Gömme Modelleri: OpenAI vs Gemini vs Cohere
Herhangi bir Geri Alma Destekli Üretim (RAG) sisteminin etkinliği, geri alma algoritmasının hassasiyetine bağlıdır. Yaklaşık 500.000 Amazon yorumu kullanarak, OpenAI, Gemini, Cohere, Snowflake, AWS, Mistral ve Voyage AI dahil olmak üzere 11 önde gelen metin gömme modelini karşılaştırdık. Her modelin doğru cevabı ilk önce alma ve sıralama yeteneğini değerlendirdik.
RAG için Açık Kaynak Gömme Modelleri Kıyaslama Testi
Hukuk sözleşmeleri, müşteri destek teknik notları ve tıbbi özetleri kapsayan 500'den fazla manuel olarak derlenmiş arama sorgusu üzerinde, tek bir H100 üzerinde kendi kendine barındırılan 14 açık kaynaklı gömme modelini karşılaştırdık. NVIDIA Llama-Embed-Nemotron-8B doğrulukta lider konumda. Maliyet açısından, Google'in EmbeddingGemma-300m'si, küçük bir doğruluk kaybı pahasına Nemotron'dan yaklaşık 4 kat daha ucuz çalışıyor.
Grafik Veritabanı Karşılaştırması: Neo4j vs FalkorDB vs Memgraph
120.000 Amazon ürün yorumundan türetilen sentetik bir grafik üzerinde (381 bin düğüm, 804 bin kenar) Neo4j, FalkorDB ve Memgraph'ı kıyasladık. Her biri 1.000 ölçüm içeren 12 sorgu şablonu çalıştırdık, 6 farklı toplu işlem boyutunda veri alımını test ettik, 32 iş parçacığına kadar 60 saniye boyunca sürekli eş zamanlı yük uyguladık ve bellek, soğuk başlatma, karma iş yükü ve indeks ölçümleri yaptık.
LLM Çıkarım Motorları: vLLM, LMDeploy ve SGLang Karşılaştırması
NVIDIA H100 üzerinde 3 önde gelen LLM çıkarım motorunu (vLLM, LMDeploy ve SGLang) karşılaştırmalı olarak test ettik. Her motor, mimari seçimlerinin ve optimizasyon stratejilerinin gerçek performans etkisini izole etmek için Llama 3.1 8B-Instruct kullanarak 1.000 ShareGPT istemini içeren aynı iş yüklerini işledi. Çıkarım motorları karşılaştırmalı test sonuçları Toplam 10.000 çıkarım işlemi (1.000 istem ) üzerinden çevrimdışı toplu işleme verimliliğini ölçtük.
AIMultiple Bülteni
Haftada 1 ücretsiz e-posta ile en son B2B teknoloji haberleri ve uzman içgörüler ile işletmenizi hızlandırın.