Yapay Zeka Modelleri
Yapay zekâ modelleri, eğitim verilerine dayanarak tahminlerde bulunur. Sayılar, metin veya multimedya gibi her alanda çalışabilirler.
LLM Kullanım Durumlarına Göre Gecikme Karşılaştırması
En iyi 11 büyük dil modelini toplam 1.320 istek ile test ettik, akıl yürüten ve akıl yürütmeyen modelleri birbirinden ayırdık ve ilk token gecikmesini, token başına gecikmeyi ve toplam yanıt süresini ölçtük. Gecikmeyi nasıl ölçtüğümüze dair ayrıntıları burada bulabilirsiniz. Akıl yürüten ve akıl yürütmeyen modelleri ayrı olarak raporluyoruz. Akıl yürüten modeller, ilk görünür yanıttan önce…
Tabular Model Karşılaştırması: 19 Veri Kümesinde Performans
8 tablosal öğrenme modelini, yaklaşık 260.000 örnek içeren 19 gerçek dünya veri kümesi üzerinde karşılaştırdık; veri kümesi boyutları 435 ile 48.800 satır arasında değişiyor. Her model aynı makinede 5 katlı çapraz doğrulama ve aynı bölmelerle çalıştırıldı. Her veri kümesi, birincil metriğe göre belirlenen modeller arası birebir karşılaşmalardan oluşan bir turnuva formatındadır. Elo, model başına 483…
LLM Kuantizasyonu: BF16 vs FP8 vs INT4
Qwen3-32B'yi tek bir NVIDIA H100 80GB GPU üzerinde 4 hassasiyet seviyesinde (BF16, FP8, GPTQ-Int8, GPTQ-Int4) benchmark'ladık. Her yapılandırma, bilgi ve kod üretimi kapsayan 2 benchmark'ta (~12.2K soru) ve verimliliği ölçmek için 2.000'den fazla inference çalıştırmasında değerlendirildi. Int4, MMLU-Pro'da 2 puandan daha az kayıp yaşarken BF16'dan 2.7 kat daha hızlıdır, ancak kod üretimi (HumanEval) 8 puan…