LLM Parametreleri: Türler, Ölçekleme, İnce Ayar Rehberi
Parametre sayısı, büyük bir dil modelinin en çok alıntılanan özelliklerinden biridir; ancak bir modelin ne kadar iyi performans gösterdiğini veya çalıştırmanın ne kadara mal olduğunu belirlemez. Aşağıdaki grafik, 31 modeli LLM Endeksi puanına ve yedi benchmark'taki görev başına ortalama maliyetine göre karşılaştırır.
Dört model, hiçbir başka modelin daha düşük maliyetle daha yüksek puan sunmadığı Pareto çizgisini oluşturur: GPT-6 Luna, Xiaomi'nin MiMo-V2.6-Pro'si, GPT-6.1 Sol ve Claude Opus 5.5. Grafik üç örüntüye işaret eder:
- Zirvede azalan getiriler: Claude Opus 5.5 en yüksek puana sahiptir, ancak GPT-6.1 Sol'e göre kazancı maliyet farkına kıyasla küçüktür. Performansın son birkaç puanı en yüksek maliyete sahiptir.
- Daha yüksek maliyet, daha yüksek puan garanti etmez: Çoğu model Pareto çizgisinin oldukça altında yer alır ve birkaçı görev başına GPT-6.1 Sol'den daha maliyetliyken daha düşük puan alır. Fiyat, sağlayıcı fiyatlandırmasını ve bir modelin ürettiği token sayısını yansıtır.
- Açık ağırlıklı modeller verimlilikte rekabet eder: MiMo-V2.6-Pro, Pareto çizgisindeki tek açık ağırlıklı modeldir. Trilyondan fazla toplam parametreye sahip olmasına rağmen, karşılaştırmadaki en düşük maliyetlerden biriyle orta düzey bir puana ulaşır. Uzmanların karışımı mimarisi kullandığından, bu parametrelerin bir kısmı her token'ı işler ve bu da inference'ı ucuz tutar.
LLM parametrelerinin tanımları ve türleri
Model parametresi, makine öğrenimi sisteminin kendi kendine eğittiği, insan operatörler tarafından belirlenen değerlerden farklı bir değişkendir. Sinir ağı uygulamasında parametreler, otomatik gradyan hesaplaması etkinleştirilmiş olarak kaydedilen tensörlerdir; bu da optimizasyon algoritmalarının geri yayılım sırasında değerlerini güncellemesine olanak tanır.
Parametreler; giriş sinyallerini ölçekleyen ağırlıkları, aktivasyonları öteleyen bias değerlerini ve embedding'leri içerir. Bunlar, ayrık token'ların öğrenilmiş vektör temsillerini sağlar.1
Eğitilebilir parametreler ve hiperparametreler
Ağırlıklar, bias'lar ve embedding'ler
Ağırlıklar ve bias'lar
Ağırlıklar ve bias'lar doğrusal dönüşümlerin öğrenilebilir bileşenlerini oluşturur. Tam bağlantılı bir katmanda ağırlık matrisi (out_features, in_features) şeklindedir ve girişi ölçekler; bias vektörü ise (out_features) şeklindedir ve girişler sıfır olduğunda sıfır olmayan çıktılara izin vermek için aktivasyon fonksiyonunu kaydırır.2
Bir transformer içinde, her dikkat alt katmanı query, key, value ve çıktı projeksiyon matrislerini (W_q, W_k, W_v, W_o) içerir ve PyTorch'un MultiheadAttention'ı gibi yaygın uygulamalar dört projeksiyonun tümüne isteğe bağlı bias terimleri ekler.3
Embedding'ler
Embedding'ler üçüncü parametre kategorisidir: sözlükteki her token için öğrenilmiş bir vektör saklayan bir arama tablosudur; normal dağılımdan başlatılır ve diğer ağırlıklar gibi geri yayılım yoluyla eğitilir.4
Orijinal transformer mimarisi, giriş embedding'leri, çıkış embedding'leri ve pre-softmax doğrusal dönüşümü arasında aynı ağırlık matrisini paylaşır ve ağırlıkları model boyutunun kareköküyle ölçekler.
Parametreler LLM'lerin içinde nasıl çalışır?
Bir büyük dil modeli, inference sırasında eğitilmiş parametre değerlerini sabit tutarak ve bunları girdi token embedding'lerini çıktı olasılık dağılımlarına dönüştürmek için uygulayarak çalışır.
Transformer mimarisi, her biri çok başlıklı öz-dikkat ve ileri beslemeli bloklar içeren, ağırlık matrisleri ve bias vektörleriyle parametreleştirilmiş yığılmış katmanlardan oluşur.5
Eğitimden önce, ağırlık başlatma, katmanlar boyunca ileri ve geri sinyal varyansını sabit tutmak için tasarlanmış dağılımlardan değerler çeker.
LLM parametreleri eğitim sırasında nasıl öğrenilir?
Eğitim; ileri yayılım, kayıp hesaplama ve geri yayılım döngüleriyle ilerler. İleri geçiş, ağırlık matrislerini sırayla uygulayarak ara aktivasyonları ve nihai çıktıları hesaplar.
Geri yayılım, her parametreye göre kaybın gradyanını hesaplamak için zincir kuralını uygular ve hata sinyallerini çıktı katmanlarından girdi katmanlarına yayar. Gradyan inişi daha sonra her parametreyi kaybı azaltacak yönde günceller ve bu yinelemeli süreç yakınsamaya kadar devam eder.
Inference zamanı üretim parametreleri
Inference sırasında, eğitilmiş ağırlıklar dondurulmuş kalırken örnekleme hiperparametreleri token seçimini kontrol eder. Sıcaklık softmax'tan önce logit'leri ölçekler, 0 ile 2 arasında değişir; daha yüksek değerler rastgeleliği artırır, daha düşük değerler determinizmi artırır.6
Top-p (çekirdek örnekleme) seçimi, kümülatif olasılık kütlesi belirtilen eşiği aşan en küçük token kümesiyle sınırlar; eşik genellikle 0 ile 1 arasındadır. Top-k örnekleme seçimi, en yüksek olasılıklı k token ile sınırlar.
Frekans cezası ve varlık cezası -2 ile 2 arasında değişir; pozitif değerler, token'ların olasılığını sırasıyla üretilen metindeki mevcut frekanslarına veya şimdiye kadar metindeki varlıklarına göre azaltır.
Son modeller sıcaklık ve top-p kontrollerini kullanımdan kaldırmış, varsayılan olmayan değerleri reddetmekte veya bunları no-op olarak ele almaktadır:
Anthropic'in Claude Opus 4.7 ve sonraki modelleri, sıcaklık, top-p veya top-k varsayılanından başka bir değere ayarlandığında bir 400 hatası döndürür ve Anthropic bunun yerine çıktıyı prompt'lama yoluyla yönlendirmeyi önerir.7
OpenAI'in o1, o3, o4-mini ve GPT-5 dahil olmak üzere akıl yürütme modelleri de varsayılan olmayan değerleri reddeder. Bunlar, sıcaklık değerini varsayılanı olan 1'de kabul eder ve özel top-p, frekans cezası veya varlık cezası ayarlarını desteklemez.8
Google'ın Gemini 4 Argon modeli no-op yolunu izler: sıcaklık, top-p veya top-k içeren istekler yine de iletilir, ancak model bu değerleri yok sayar.9
Parametre sayısı ve model ölçeği
OpenAI'ın GPT, Anthropic'in Claude ve Google'ın Gemini modelleri parametre sayılarını açıklamaz; bu nedenle bu modeller için yayımlanan rakamlar dış tahminlerdir. Açık ağırlıklı modeller boyutlarını yayımlar ve gerçek dünya kullanımının büyük bir payını oluştururlar: DeepSeek, Kasım 2026 başındaki haftada OpenRouter'da metin isteklerinin %43'üyle liderdi.10
Günümüz açık ağırlıklı amiral gemilerinin çoğu, ileri beslemeli katmanları birçok daha küçük uzman ağına bölen ve her token'ı bunlardan birkaçına yönlendiren bir uzmanlar karışımı (MoE) mimarisi kullanır. Bu nedenle bu modeller iki rakam bildirir:
- Toplam parametreler: Bellekte saklanan tüm uzmanlar.
- Etkin parametreler: Belirli bir token'ı işleyen uzmanlar.
Örneğin Kimi K3, 2.8 trilyon toplam parametreye sahiptir ancak token başına 104 milyar parametreyi etkinleştirir; 16/896 uzmanını kullanır.11
Token başına hesaplama etkin sayıyla ölçeklenirken, bellek ve depolama gereksinimleri toplamla ölçeklenir. Bu nedenle gpt-oss-120b, 117 milyar toplam ve 5.1 milyar etkin parametreyle tek bir 80 GB GPU'ya sığar.12
Parametreler, veri ve hesaplama için ölçekleme yasaları
Ölçekleme yasaları, model performansını parametre sayısı, eğitim verisi ve hesaplamaya bağlayan ampirik ilişkilerdir. Kaplan ve arkadaşları, diğerleri de ölçeklendiği sürece bu üç faktörün her biri büyüdükçe kaybın bir kuvvet yasası olarak düştüğünü buldu. Sabit bir hesaplama bütçesinde, toplam parametre sayısı ve eğitim token'ları model şeklinden veya derinliğinden daha önemliydi.13
Hesaplama açısından optimal eğitim
Chinchilla çalışması, birçok büyük modelin boyutlarına göre yetersiz eğitildiğini göstererek bu tabloyu revize etti. Sabit bir hesaplama bütçesinde, parametreler ve eğitim token'ları kabaca eşit oranda büyümelidir; bu da parametre başına yaklaşık 20 eğitim token'ı anlamına gelir.14
GPT-3, Gopher ve MT-NLG gibi daha önceki modeller parametre başına yaklaşık bir token ile eğitildi. Son modeller Chinchilla oranının çok ötesine geçiyor: Llama 3 8B, parametre başına kabaca 1.900 token ile eğitildi. Daha fazla bilgi için LLM ölçekleme yasaları bölümünü okuyun.
Inference maliyetlerini hesaba kattığınızda, hesaplama açısından optimal noktanın ötesinde eğitim mantıklı hale gelir. Sardana ve arkadaşları, yalnızca eğitim hesaplaması yerine bir modelin ömrü boyunca eğitim ve inference birleşik maliyetini optimize etti. Yüksek kullanım ortamlarında, daha fazla veriyle eğitilen daha küçük modellerin daha düşük toplam maliyetle daha büyük modellerle eşleşebileceğini buldular.15
Parametre sayısının ötesinde
Daha sonraki araştırmalar, orijinal yasaların dışarıda bıraktığı değişkenleri ekler. Bian ve arkadaşları, Chinchilla çerçevesini gizli boyut, parametrelerin MLP ve dikkat katmanları arasındaki dağılımı ve gruplanmış sorgu dikkati gibi mimari faktörlerle genişletti. 200'den fazla modeli 80 milyon ile 3 milyar parametre arasında eğittiler ve bu seçimlerin doğruluk ile inference maliyeti arasındaki dengeyi öngörülebilir şekillerde değiştirdiğini gösterdiler.16
Verimli parametre yönetimi için teknikler
Parametre açısından verimli fine-tuning ve niceleme, büyük parametre sayılarıyla ilişkili bellek ve hesaplama maliyetlerini azaltır. Bu teknikler, aksi takdirde donanım kısıtlarını aşacak modellerin fine-tuning ve inference yapılmasını sağlar.
Parametre açısından verimli fine-tuning (LoRA ve varyantları)
Düşük Rank Adaptasyonu (LoRA) önceden eğitilmiş ağırlık matrislerini dondurur ve yanlarına eğitilebilir rank ayrıştırma matrisleri ekler. d × k boyutlarındaki bir ağırlık matrisi için LoRA, iç boyutu r << d, k olan A ve B matrislerini ekler ve eğitilebilir parametreleri d × k'dan r × (d + k)'ya düşürür.17
GPT-3 175B'ye uygulandığında LoRA, eğitilebilir parametreleri 10.000 kat azaltır ve Adam ile tam fine-tuning'e kıyasla GPU bellek gereksinimlerini 3 kat azaltır; benchmark'larda tam fine-tuning kalitesini yakalar veya aşar. Örneğin, Llama-3.2-1B fine-tuning'i parametrelerin %0,04'ünü eğitir.18
LoRA-XS, 7 milyar parametreli modellerde standart LoRA'ya kıyasla depolama gereksinimlerini donmuş düşük rank ayrıştırmalar arasına eğitilebilir matrisler ekleyerek 100 kattan fazla azaltır.19
Model parametrelerinin nicelemesi
Niceleme, parametre değerlerini saklamak için kullanılan bit genişliğini, genellikle 16 bit kayan noktadan 4 bit veya 8 bit temsillere düşürür.
QLoRA, dondurulmuş taban modelin 4 bit NormalFloat nicelemesini LoRA fine-tuning ile birleştirir; 65 milyar parametreli bir modeli fine-tune etmek için gereken belleği 780GB'den 48GB'nin altına düşürür ve 16 bit tam fine-tuning performansıyla eşleşir.20
GPTQ, yaklaşık ikinci dereceden bilgi kullanarak ağırlıkları 3 veya 4 bite niceler; 175 milyar parametreli bir modeli yaklaşık 4 GPU-saatte, ihmal edilebilir perplexity artışıyla işler ve tek GPU'lu inference sağlar.21
GPTQ, FP16'ya kıyasla yaklaşık 3.25x hızlanmayı NVIDIA A100 GPU'larında ve 4.5x hızlanmayı NVIDIA A6000 GPU'larında sağlar. PyTorch INT8 nicelemesi model boyutunu 4x ve bellek bant genişliğini 2-4x azaltır; FP32'ye kıyasla x86 CPU'larında geometrik ortalama inference hızlanması 2.97x olur.22
Apple'ın cihaz üzerindeki temel modeli, ağırlıkları ağırlık başına 2 bit'e ve embedding'leri 4 bit'e sıkıştırmak için niceleme farkında eğitim kullanır ve nicelenmiş tabanın üzerindeki düşük rank adaptörleri aracılığıyla kaliteyi geri kazanır.23
Tercih edilen kaynak olarak ekleBu araştırmayı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Ermut, Sıla},
title = {{LLM Parametreleri: Türler, Ölçekleme, İnce Ayar Rehberi}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/llm-parameters}},
note = {AIMultiple. Erişim tarihi: 14 Ekim 2026}
}34 veri noktasının sonuçları ve zaman damgaları. Bu makaledeki grafik ve tablolarda gösterilen özet verileri, 3 CSV dosyası içeren ZIP dosyası olarak indirin.
Arkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın
Referans Linkleri
Daha önce proje yönetimi ve danışmanlık firmalarında işe alım uzmanı olarak çalıştı. Sıla, Sosyal Psikoloji alanında yüksek lisans derecesine ve Uluslararası İlişkiler alanında lisans derecesine sahiptir.
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.