Yapay Zeka
Üretken yapay zeka, büyük dil modelleri, RAG, yönetişim çerçeveleri, MLOps uygulamaları ve yapay zeka donanımı da dahil olmak üzere yapay zeka üzerine pratik bilgiler, araştırmalar ve kıyaslama verilerini keşfedin. Yapay zeka ortamını şekillendiren temel araçlar, uygulama stratejileri ve kurumsal kullanım örnekleri hakkında bilgi edinin.
Yapay Zeka Keşfedin
- LLMİçgörü21 Eyl
LLM Kendi Kendine Barındırma için VRAM Hesaplayıcı
Bir LLM'yi kendi kendine barındırmak, çıkarımı operatörün kontrol ettiği donanımda, üçüncü taraf bir API aracılığıyla değil, çalıştırmak anlamına gelir; bu da maliyeti, veri kontrolünü ve gizlilik profilini değiştirir. Bir modelin hiç çalışıp çalışmayacağı belleğe bağlıdır. Hesaplayıcı, modele, hassasiyetine, bağlam uzunluğuna ve hedef donanıma bağlı olarak bir modelin yerel olarak çalıştırılması için gereken VRAM veya birleşik…
- Yapay Zeka DonanımıKıyaslama21 Eyl
Çoklu-GPU Benchmark: B200 vs H200 vs H100 vs MI300X
Yirmi yılı aşkın süredir, hesaplama performansını optimize etmek işimin temel taşlarından biri olmuştur. NVIDIA'nın B200, H200, H100 ve AMD'nin MI300X GPU'larının Büyük Dil Modeli (LLM) inference için ne kadar iyi ölçeklendiğini değerlendirmek üzere benchmark yaptık. vLLM framework'ü ve meta-llama/Llama-3.1-8B-Instruct model'i ile 1, 2, 4 ve 8 GPU üzerinde testler yaptık. Her GPU mimarisinin paralelleştirilmiş, hesaplama…
- Yapay Zeka DonanımıKıyaslama21 Eyl
GPU Eşzamanlılık Benchmark'ı: H100 vs H200 vs B200 vs MI300X
Son 20 yılı sistem düzeyinde hesaplama performansı optimizasyonuna odaklanarak geçirdim. En yeni NVIDIA GPU'larını; NVIDIA'nın H100, H200 ve B200'ü ve AMD'nin MI300X'i dahil olmak üzere eşzamanlılık ölçekleme analizi için benchmark'ledik. vLLM framework'ü ile gpt-oss-20b modelini kullanarak, bu GPU'ların 1'den 512'ye kadar eşzamanlı istekleri nasıl işlediğini test ettik. Sistem çıktı verimini, sorgu başına çıktı hızını ve…
- LLMKıyaslama18 Eyl
Agentic IT: Yapay Zeka Ajanları Bir Benchmark Tasarlayabilir mi?
16 model'i text-to-SQL ve araç çağırma alanında bir benchmark tasarımında test ettik. Her model konu başına bir benchmark oluşturdu; toplam 32 gönderim oldu. Hiçbir gönderim tüm rubrik ölçütlerini geçemedi. Ajanlar testleri oluşturup çalıştırabildi ancak hiçbiri kendi puanlayıcısına ait hem boş-yanıt testini hem de doğru-yanıt testini gösteremedi. Text-to-SQL, sade bir dille yazılmış soruyu bir veritabanı sorgusuna…
- LLMKıyaslama17 Eyl
AIM Enterprise: Otonom Kurumsal Benchmark
Kuruluşlar düzenli görevleri için her gün LLM'ler kullanır. En maliyet etkin LLM'leri bulmak için, strateji, pazarlama, İK, satış ve operasyonları kapsayan 69 gerçek kurumsal görev kullandığımız etmen tabanlı bir kurumsal benchmark olan AIM Enterprise'ı tasarladık, İki hakem model, kontrolleri geçen her dosyayı puanladı. Bireysel puanların %32,7'sinde iki hakem ölçeğin dörtte birinden fazla farklılaştı ve bu…
- Yapay Zeka DonanımıKıyaslama17 Eyl
DGX Spark alternatifleri: RTX, Ryzen AI Halo ve Mac Studio
Yayınlanmış DGX Spark, RTX ve Ryzen AI Halo inference benchmark'larını karşılaştırıyoruz; prompt işleme, token üretimi ve daha uzun bağlamları kapsıyoruz. Alternatifler arasında Framework Desktop, Mac Studio ve diğer üreticilerin GB10 sistemleri yer alıyor. Decode hızı, saniyede üretilen çıktı token'larını ölçer. Daha yüksek değerler daha hızlı yanıt üretimi anlamına gelir. Altı sonucun tümü, LMSYS'nin DGX Spark…
- Yapay Zeka DonanımıAçık Dünya Değerlendirmesi16 Eyl
Ücretsiz Bulut GPU'lar: Modeller, Limitler ve Erişim Gereksinimleri
Ücretsiz bulut GPU'lar Python notebook'ları, yapay zeka demo'ları ve aylık işlem kredileri aracılığıyla kullanılabilir. GPU donanımını, ücretsiz kullanım haklarını ve erişim gereksinimlerini karşılaştırın veya iş yükünüze uygun hizmetleri kontrol edin. İki T4, iki ayrı 16 GB bellek tahsisi sağlar. Her ikisinde bir model çalıştırmak, iş yükünü dağıtan bir yazılım gerektirir. Birleşik kapasite, her iki GPU'yu…
- Sohbet botlarıİçgörü15 Eyl
Wu Dao 3.0: GPT-5'in Çin Versiyonu
ABD, Çin'in gelişmiş çiplere erişimini kestiğinde, Beijing Yapay Zeka Akademisi bir seçimle karşı karşıya kaldı: kısıtlamalar hakkında şikayet etmek veya bunların etrafından dolaşmak. İkinci seçeneği tercih ettiler. Temmuz 2023'te başlatılan Wu Dao 3.0, oyun kurallarını değiştiriyor. Manşetler için yarışan devasa trilyon parametreli modeller yok. Bunun yerine, BAAI, artık Çinli startup'ların bir GPU deposuna ihtiyaç duymadan…