LLM Parâmetros: Tipos, Escala, Guia de Fine-Tuning
A contagem de parâmetros é uma das especificações mais citadas de um large language model, mas não determina quão bem um model se sai nem quanto custa para executá-lo. O gráfico abaixo compara 31 models pela sua pontuação no LLM Index e pelo seu custo médio por tarefa em sete benchmarks.
Quatro models formam a linha de Pareto, na qual nenhum outro model oferece uma pontuação maior a um custo menor: GPT-6 Luna, Xiaomi’s MiMo-V2.6-Pro, GPT-6.1 Sol e Claude Opus 5.5. O gráfico aponta para três padrões:
- Retornos decrescentes no topo: Claude Opus 5.5 tem a maior pontuação, mas seu ganho sobre GPT-6.1 Sol é pequeno em relação à diferença de custo. Os últimos pontos de desempenho custam mais caro.
- Custo maior não garante pontuação maior: A maioria dos models fica bem abaixo da linha de Pareto, e vários custam mais por tarefa do que o GPT-6.1 Sol, embora pontuem menos. O preço reflete a precificação do provedor e o número de tokens que um model gera.
- Models de pesos abertos competem em eficiência: MiMo-V2.6-Pro é o único model de pesos abertos na linha de Pareto. Ele alcança uma pontuação intermediária com um dos custos mais baixos da comparação, apesar de ter mais de um trilhão de parâmetros totais. Por usar uma arquitetura de mistura de especialistas, apenas uma fração desses parâmetros processa cada token, o que mantém a inference barata.
Definições e tipos de parâmetros de LLM
Um parâmetro de model é uma variável que um sistema de aprendizado de máquina treina por conta própria, diferente dos valores definidos por operadores humanos. Na implementação de redes neurais, os parâmetros são tensores registrados com o cálculo automático de gradiente habilitado, permitindo que os algoritmos de otimização atualizem seus valores durante a retropropagação.
Os parâmetros incluem pesos, que escalam os sinais de entrada, vieses, que deslocam as ativações, e embeddings. Eles fornecem representações vetoriais aprendidas de tokens discretos.1
Parâmetros treináveis vs hiperparâmetros
Pesos, vieses e embeddings
Pesos e vieses
Pesos e vieses constituem os componentes aprendíveis das transformações lineares. Em uma camada totalmente conectada, a matriz de pesos tem o formato (out_features, in_features) e escala a entrada, enquanto o vetor de vieses, com formato (out_features), desloca a função de ativação para permitir saídas não nulas quando as entradas são zero.2
Dentro de um transformer, cada subcamada de atenção contém matrizes de projeção de consulta, chave, valor e saída (W_q, W_k, W_v, W_o), e implementações comuns, como o MultiheadAttention do PyTorch, adicionam termos de viés opcionais às quatro projeções.3
Embeddings
Os embeddings são a terceira categoria de parâmetros: uma tabela de consulta que armazena um vetor aprendido para cada token do vocabulário, inicializada a partir de uma distribuição normal e treinada via retropropagação como os demais pesos.4
A arquitetura original do transformer compartilha a mesma matriz de pesos entre os embeddings de entrada, os embeddings de saída e a transformação linear pré-softmax, escalando os pesos pela raiz quadrada da dimensão do model.
Como os parâmetros funcionam dentro dos LLMs
Um large language model opera mantendo os valores de parâmetros treinados fixos durante a inference, enquanto os aplica para transformar os embeddings de tokens de entrada em distribuições de probabilidade de saída.
A arquitetura transformer consiste em camadas empilhadas, cada uma contendo blocos de autoatenção multi-cabeça e feed-forward parametrizados por matrizes de pesos e vetores de vieses.5
Antes do treinamento, a inicialização dos pesos extrai valores de distribuições projetadas para manter a variância do sinal estável nas passagens para frente e para trás entre as camadas.
Como os parâmetros de LLM são aprendidos durante o treinamento
O treinamento ocorre por meio de ciclos de propagação direta, cálculo de perda e retropropagação. A passagem direta calcula ativações intermediárias e saídas finais aplicando as matrizes de pesos sequencialmente.
A retropropagação aplica a regra da cadeia do cálculo para computar o gradiente da perda em relação a cada parâmetro, propagando os sinais de erro das camadas de saída para as de entrada. A descida do gradiente então atualiza cada parâmetro na direção que reduz a perda, e esse processo iterativo continua até a convergência.
Parâmetros de geração em tempo de inference
Durante a inference, os pesos treinados permanecem congelados enquanto os hiperparâmetros de amostragem controlam a seleção de tokens. Temperatura escala os logits antes do softmax, variando de 0 a 2; valores maiores aumentam a aleatoriedade, e valores menores aumentam o determinismo.6
Top-p (amostragem por núcleo) restringe a seleção ao menor conjunto de tokens cuja massa de probabilidade cumulativa exceda o limiar especificado, normalmente entre 0 e 1. Amostragem Top-k restringe a seleção aos k tokens de maior probabilidade.
A penalidade de frequência e a penalidade de presença variam de -2 a 2, com valores positivos reduzindo a probabilidade de tokens com base na frequência existente no texto gerado ou na presença no texto até o momento, respectivamente.
Models recentes descontinuaram os controles de temperatura e top-p, rejeitando valores não padrão ou tratando-os como no-ops:
Anthropic’s Claude Opus 4.7 e models posteriores retornam um erro 400 quando a temperatura, top-p ou top-k é definido como qualquer valor diferente do padrão, e a Anthropic recomenda direcionar a saída por meio de prompting.7
OpenAI’s models de raciocínio, incluindo o1, o3, o4-mini e GPT-5, também rejeitam valores não padrão. Eles aceitam a temperatura no valor padrão de 1 e não oferecem suporte a configurações personalizadas de top-p, penalidade de frequência ou penalidade de presença.8
Google’s Gemini 4 Argon adota a rota no-op: solicitações que incluem temperatura, top-p ou top-k ainda são processadas, mas o model ignora esses valores.9
Contagem de parâmetros e escala do model
OpenAI’s GPT, Anthropic’s Claude e Google’s Gemini não divulgam contagens de parâmetros, portanto os números publicados para esses models são estimativas externas. Models de pesos abertos publicam seus tamanhos e representam uma grande parcela do uso no mundo real: DeepSeek liderou o OpenRouter com 43% das solicitações de texto na semana do início de novembro de 2026.10
A maioria dos atuais flagships de pesos abertos usa uma arquitetura de mistura de especialistas (MoE), que divide as camadas feed-forward em muitas redes especialistas menores e roteia cada token para algumas delas. Esses models, portanto, relatam dois números:
- Parâmetros totais: Todos os especialistas armazenados na memória.
- Parâmetros ativos: Os especialistas que processam um determinado token.
Kimi K3, por exemplo, tem 2.8 trilhões de parâmetros totais, mas ativa 104 bilhões por token, usando 16 de seus 896 especialistas.11
A computação por token escala com a contagem ativa, enquanto os requisitos de memória e armazenamento escalam com o total. É por isso que o gpt-oss-120b, com 117 bilhões de parâmetros totais e 5.1 bilhões de parâmetros ativos, cabe em uma única 80 GB GPU.12
Leis de escala para parâmetros, dados e computação
Leis de escala são relações empíricas que ligam o desempenho do model à contagem de parâmetros, dados de treinamento e computação. Kaplan et al. descobriram que a perda cai como uma lei de potência à medida que cada um desses três fatores cresce, desde que os outros escalem junto. Em um orçamento de computação fixo, a contagem total de parâmetros e os tokens de treinamento importavam mais do que a forma ou a profundidade do model.13
Treinamento computacionalmente ótimo
O estudo Chinchilla revisou esse quadro mostrando que muitos models grandes estavam subtreinados para seu tamanho. Sob um orçamento de computação fixo, os parâmetros e os tokens de treinamento devem crescer em proporção aproximadamente igual, o que resulta em cerca de 20 tokens de treinamento por parâmetro.14
Models anteriores, como GPT-3, Gopher e MT-NLG, foram treinados com cerca de um token por parâmetro. Models recentes vão muito além da proporção Chinchilla: o Llama 3 8B foi treinado com aproximadamente 1.900 tokens por parâmetro. Leia LLM leis de escala para saber mais.
Treinar além do ponto computacionalmente ótimo faz sentido quando se consideram os custos de inference. Sardana et al. otimizaram o custo combinado de treinamento e inference ao longo da vida útil de um model, em vez de apenas o custo computacional de treinamento. Eles descobriram que, em cenários de alto uso, models menores treinados com mais dados podem igualar models maiores a um custo total menor.15
Além da contagem de parâmetros
Pesquisas posteriores acrescentam variáveis que as leis originais deixaram de fora. Bian et al. estenderam o framework Chinchilla com fatores arquiteturais, incluindo tamanho oculto, a divisão de parâmetros entre camadas MLP e de atenção, e atenção de consulta agrupada. Eles treinaram mais de 200 models de 80 milhões a 3 bilhões de parâmetros e mostraram que essas escolhas alteram a relação de compromisso entre acurácia e custo de inference de maneiras previsíveis.16
Técnicas para gerenciamento eficiente de parâmetros
Fine-tuning eficiente em parâmetros e a quantização reduzem os custos de memória e computação associados a grandes contagens de parâmetros. Essas técnicas possibilitam o fine-tuning e a inference de models que, de outra forma, excederiam as restrições de hardware.
Fine-tuning eficiente em parâmetros (LoRA e variantes)
Low-Rank Adaptation (LoRA) congela as matrizes de pesos pré-treinadas e injeta matrizes treináveis de decomposição de posto junto a elas. Para uma matriz de pesos de dimensões d × k, o LoRA adiciona as matrizes A e B com dimensão interna r << d, k, reduzindo os parâmetros treináveis de d × k para r × (d + k).17
Aplicado ao GPT-3 175B, o LoRA reduz os parâmetros treináveis em 10.000 vezes e reduz os requisitos de memória de GPU por um fator de 3 em comparação com o fine-tuning completo com Adam, ao mesmo tempo em que iguala ou supera a qualidade do fine-tuning completo em benchmarks. Por exemplo, o fine-tuning do Llama-3.2-1B treina 0,04% dos parâmetros.18
LoRA-XS reduz ainda mais os requisitos de armazenamento em mais de 100 vezes em relação ao LoRA padrão em models de 7 bilhões de parâmetros, ao inserir matrizes treináveis entre decomposições congeladas de baixo posto.19
Quantização de parâmetros do model
Quantização reduz a largura de bits usada para armazenar os valores dos parâmetros, normalmente de ponto flutuante de 16 bits para representações de 4 ou 8 bits.
QLoRA combina a quantização NormalFloat de 4 bits do model base congelado com o fine-tuning via LoRA, reduzindo a memória necessária para fazer fine-tuning de um model de 65 bilhões de parâmetros de mais de 780GB para menos de 48GB, ao mesmo tempo em que iguala o desempenho do fine-tuning completo de 16 bits.20
GPTQ quantiza os pesos para 3 ou 4 bits usando informações aproximadas de segunda ordem, processando um model de 175 bilhões de parâmetros em aproximadamente 4 GPU-horas com aumento desprezível de perplexidade e possibilitando a inference em uma única GPU.21
O GPTQ alcança acelerações de inference de ponta a ponta de aproximadamente 3.25x em NVIDIA A100 GPUs e 4.5x em NVIDIA A6000 GPUs em relação ao FP16. A quantização INT8 do PyTorch reduz o tamanho do model em 4x e a largura de banda de memória em 2-4x, com acelerações de inference de média geométrica de 2.97x em x86 CPUs em relação ao FP32.22
Apple’s foundation model no dispositivo emprega treinamento ciente de quantização para comprimir pesos para 2 bits por peso e embeddings para 4 bits, recuperando a qualidade por meio de adaptadores de baixo posto sobre a base quantizada.23
Adicionar como fonte preferencialCite esta pesquisa
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Ermut, Sıla},
title = {{LLM Parâmetros: Tipos, Escala, Guia de Fine-Tuning}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/llm-parameters}},
note = {AIMultiple. Acessado em 14 outubro 2026}
}Resultados e carimbos de data/hora de 34 pontos de dados. Baixe os dados resumidos exibidos nos gráficos e tabelas deste artigo como um arquivo ZIP contendo 3 arquivos CSV.
Quer os dados granulares por trás disso? Assine o Premium
Links de referência
O trabalho de Cem na AIMultiple foi citado por publicações globais líderes, incluindo Business Insider, Forbes, Morning Brew e Washington Post, por empresas globais como Deloitte e HPE, ONGs como o World Economic Forum e organizações supranacionais como a European Commission. [1], [2], [3], [4], [5]
Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas sobre suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização.
Ele liderou a estratégia de tecnologia e as compras de uma operadora de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de deep tech Hypatos, que atingiu uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia líderes como TechCrunch e Business Insider.
Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou como engenheiro da computação pela Bogazici University e possui um MBA pela Columbia Business School.
Ela trabalhou anteriormente como recrutadora em empresas de gerenciamento de projetos e consultoria. Sıla possui mestrado em Psicologia Social e bacharelado em Relações Internacionais.
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.