LLM Leis de Escala: Análise de Pesquisadores de IA

Large language models preveem o próximo token com base em padrões aprendidos a partir de dados de texto. O termo LLM leis de escala refere-se a regularidades empíricas que vinculam o desempenho do model à quantidade de computação, aos dados de treinamento e aos parâmetros do model usados durante o treinamento.

Para entender como essas relações influenciam o design de models modernos na prática, revisamos descobertas de 8 artigos acadêmicos e insights de 3 grandes laboratórios e pesquisadores de IA.

Principais conclusões da análise das leis de escala de LLM

O gráfico mostra como o treinamento de LLM mudou de abordagens com muitos parâmetros e poucos dados para o treinamento de models menores com substancialmente mais dados. Models iniciais como GPT-3, Gopher e MT-NLG usavam perto de um token de treinamento por parâmetro. A pesquisa Chinchilla sugeriu posteriormente que, sob um orçamento fixo de computação de treinamento, aproximadamente 20 tokens por parâmetro poderiam proporcionar melhor desempenho.

Os models recentes Llama excedem essa proporção por larga margem. O Llama 3 8B, por exemplo, foi treinado com aproximadamente 1.900 tokens por parâmetro. Isso mostra que investir mais computação durante o treinamento pode melhorar a capacidade do model por parâmetro e reduzir os custos de inference ao longo da vida útil do model.

A principal conclusão é que a contagem de parâmetros por si só não é um indicador confiável do desempenho do model. A qualidade do model depende de como os parâmetros, os dados de treinamento e a computação são equilibrados.

Evidências da pesquisa acadêmica sobre leis de escala

“Comportamentos de Escala do Pós-Treinamento com Aprendizado por Reforço de LLM”, Zhang, Yin et al.

O artigo Comportamentos de Escala do Pós-Treinamento com Aprendizado por Reforço de LLM (2026) examina como o aprendizado por reforço durante o pós-treinamento escala com o tamanho do model e a computação.

Os autores realizam um estudo empírico sobre models de escalas variadas e descobrem que a relação entre perda de teste, computação e dados pode ser modelada usando uma lei de potência preditiva. Esse padrão é válido tanto para models base quanto para models ajustados por instrução, sugerindo que o pós-treinamento com aprendizado por reforço segue regularidades semelhantes às observadas no pré-treinamento.

No entanto, a análise também identifica uma tendência de saturação latente no termo de eficiência de aprendizado. Embora models maiores alcancem maior eficiência de aprendizado, os retornos diminuem à medida que a escala cresce.

Isso indica que a escala do aprendizado por reforço tem limites internos que diferem daqueles observados no pré-treinamento e que os profissionais devem levar em conta esses limites ao alocar computação aos estágios de pós-treinamento.¹

“Leis de Escala Encontram a Arquitetura do Model: Rumo a LLMs Eficientes em Inference”, Bian, Yu, Venkataraman & Park

Bian et al. (2025) se baseiam no framework Chinchilla ao incorporar a arquitetura do model na escala com computação ótima. As leis de escala tradicionais tratam a contagem de parâmetros e os tokens de treinamento como as principais variáveis, mas, à medida que o custo de inference se torna uma preocupação primordial, as escolhas arquitetônicas determinam cada vez mais a eficiência da implantação.

Os autores apresentam uma lei de escala condicional que adiciona informações arquitetônicas ao framework Chinchilla. Eles examinam como o tamanho oculto, a alocação de parâmetros entre as camadas MLP e de atenção e a atenção de consulta agrupada influenciam tanto a precisão quanto o custo de inference. O framework também inclui um procedimento de busca para identificar configurações que são simultaneamente eficientes em inference e precisas.

Para validar a abordagem, os autores treinam mais de 200 models variando de 80 milhões a 3 bilhões de parâmetros em 8 bilhões a 100 bilhões de tokens de treinamento. Os resultados sugerem que as decisões arquitetônicas podem deslocar a relação entre o tamanho do model e o custo de inference de maneiras previsíveis. Essa descoberta apoia a tendência mais ampla de tratar a arquitetura do model como um fator ajustável na escala, em vez de uma escolha fixa feita antes do início do treinamento.

Figura 1: Resultados da varredura de escala mostrando a vazão de inference (à esquerda) e os contornos previstos de perda de treinamento (à direita) em função do tamanho oculto e da razão MLP-atenção.²

“Lei de densificação de LLMs”, Xiao, Cai & Zhao

A lei de densificação de LLMs (2025) examina com que eficiência os models usam seus parâmetros. Ela introduz o conceito de densidade de capacidade, definido como a razão entre a contagem efetiva de parâmetros de um model e sua contagem real de parâmetros. A contagem efetiva de parâmetros é estimada ajustando leis de escala a models existentes e perguntando quão grande um model de referência precisaria ser para igualar o desempenho atual.

Os autores observam que os melhores models em cada momento mostram densidade de capacidade crescente. Isso significa que models mais novos alcançam um determinado desempenho com menos parâmetros do que models mais antigos. A tendência parece aproximadamente exponencial.

Essa observação sugere que o progresso em models de linguagem grandes envolve escalar o tamanho do model e melhorar a arquitetura do model, a qualidade dos dados de treinamento e os algoritmos de treinamento. O artigo argumenta que acompanhar a eficiência dos parâmetros é essencial para entender as direções futuras no processamento de linguagem natural e no aprendizado de máquina.

Figura 2: O gráfico mostra a densidade de capacidade estimada para LLMs de base de código aberto em cinco benchmarks de raciocínio e codificação, com o tamanho do círculo indicando a contagem de parâmetros do model e uma linha de tendência sugerindo uma “lei de densificação” na qual a densidade de capacidade máxima aumenta exponencialmente.³

“Sloth: Leis de escala para habilidades de LLM para prever o desempenho em múltiplos benchmarks entre famílias”, Polo, Somerstep & Choshen

Sloth apresenta uma nova abordagem em Sloth: Leis de escala para habilidades de LLM para prever o desempenho em múltiplos benchmarks entre famílias (2025), deslocando o foco da perda do model para o desempenho em nível de benchmark. Em vez de tratar as tarefas separadamente, o Sloth identifica um conjunto de habilidades latentes que capturam o desempenho dos models de linguagem em diferentes benchmarks. Essas habilidades representam capacidades gerais, como raciocínio ou recuperação de conhecimento.

O framework modela como cada habilidade escala com os parâmetros do model e os dados de treinamento. O Sloth usa características simples, como os logaritmos dos tamanhos do model e do dataset, para descrever como essas habilidades mudam dentro de uma família de models. Uma vez ajustado, o Sloth pode prever como models maiores da mesma família se sairão em muitos benchmarks sem treiná-los.

Ao usar as previsões do Sloth, as organizações podem decidir onde alocar recursos computacionais e evitar configurações de treinamento com pouca probabilidade de alcançar o desempenho desejado. Isso apoia um planejamento mais racional do treinamento de models sob restrições do mundo real.⁴

“Além do Chinchilla-Ótimo: Considerando a Inference nas Leis de Escala de Models de Linguagem”, Sardana, Portes & Doubov

Em Além do Chinchilla-Ótimo: Considerando a Inference nas Leis de Escala de Models de Linguagem (2025), Sardana et al. estendem o framework Chinchilla ao incorporar os custos de inference na escala com computação ótima.

Em vez de minimizar apenas a computação de treinamento, eles fixam um nível de desempenho-alvo e otimizam o custo combinado de treinamento e inference ao longo da vida útil do model.

Essa mudança leva a uma percepção prática importante: em cenários de alto uso, models menores treinados com mais dados geralmente podem igualar o desempenho de models maiores e incorrer em custos totais de computação mais baixos.

Figura 3: Os gráficos comparam as razões de custo total, contagem de parâmetros e tokens de treinamento entre models de custo ótimo do mundo real e models no estilo Chinchilla.⁵

“A Escala da IA Pode Continuar Até 2030?”, Epoch IA

Epoch IA examinou em 2024 se o ritmo atual de escalonamento do treinamento de IA, aproximadamente quatro vezes por ano, pode continuar até o final da década. A análise se concentra em quatro restrições potenciais: disponibilidade de energia, capacidade de fabricação de chips, escassez de dados e a barreira de latência imposta pelos requisitos de computação sequencial.

Os autores estimam que execuções de treinamento de 2e29 FLOP provavelmente serão viáveis até 2030. Eles projetam que dados multimodais expandirão os estoques efetivos de dados de treinamento para algo entre 450 trilhões e 23 quatrilhões de tokens, possibilitando execuções de treinamento de 6e28 a 2e32 FLOP. A geração de dados sintéticos poderia ampliar ainda mais isso se os laboratórios de IA alocarem uma parcela significativa de computação para produzi-los.

A análise identifica a disponibilidade de energia como a restrição com maior probabilidade de se tornar limitante primeiro, seguida pela capacidade de fabricação de chips. A escassez de dados se torna uma questão relevante no mesmo período, enquanto a barreira de latência tem menos probabilidade de ser limitante no curto prazo.

O trabalho da Epoch traduz o conceito abstrato de limites de escala em limites quantitativos específicos, fornecendo às organizações pontos de referência para o planejamento de longo prazo em torno de recursos de computação e investimentos em infraestrutura.⁶

“Treinamento de Models de Linguagem Grandes com Computação Ótima”, Hoffmann, Borgeaud & Mensch

O artigo Treinamento de Models de Linguagem Grandes com Computação Ótima (2022) reavalia leis anteriores para models de linguagem neurais usando um grande conjunto de experimentos controlados. Ele modela a perda como uma função conjunta dos parâmetros do model e do tamanho dos dados de treinamento e descobre que muitos models grandes anteriores estavam subtreinados para sua contagem de parâmetros. Quando os pesquisadores treinam models maiores com dados de treinamento insuficientes, a qualidade resultante do model não se alinha com as previsões das leis de escala tradicionais.

Os autores mostram que, para um orçamento de computação fixo, o desempenho ideal é alcançado quando os models usam contagens de parâmetros e de tokens de treinamento de ordens de magnitude semelhantes. Esse resultado é amplamente conhecido como a lei de escala Chinchilla. Ele afirma que o treinamento com computação ótima exige uma relação quase proporcional entre o número de parâmetros e o número de tokens de treinamento.

Essa abordagem produz models menores que têm desempenho melhor do que models maiores treinados com dados limitados. Ela também apoia a seleção eficiente de models, pois os pesquisadores podem ajustar leis de escala a models menores e prever o desempenho de models de linguagem para configurações maiores antes do treinamento.

Figura 4: A figura sobrepõe previsões de vários métodos, todas indicando que os models grandes de hoje são superdimensionados e deveriam, em vez disso, ser menores e treinados por mais tempo.⁷

“Leis de Escala para Models de Linguagem Neurais”, Kaplan & McCandlish

Kaplan et al. apresentaram as primeiras leis de escala amplamente citadas para models de linguagem neurais em Leis de Escala para Models de Linguagem Neurais (2020).

Em sua análise, o desempenho do model segue relações de lei de potência em relação a três variáveis principais: o número de parâmetros do model, o tamanho do dataset de treinamento (medido em tokens) e a computação total de treinamento.

Ao variar sistematicamente esses três fatores, os autores mostraram que aumentar qualquer um deles leva a reduções previsíveis na perda, desde que os outros sejam adequadamente escalados.

Figura 5: A figura mostra como a perda de teste muda com o tamanho do model sob diferentes orçamentos de computação e contagens de etapas de treinamento, revelando o equilíbrio ideal entre tamanho do model, computação e duração do treinamento para o melhor desempenho.

Este trabalho estabeleceu a base para pesquisas posteriores sobre leis de escala de models de linguagem. Também demonstrou que a forma e a profundidade do model têm um efeito menor do que a contagem total de parâmetros e os tokens de treinamento quando a computação é fixa. Essa percepção influenciou como pesquisadores posteriores projetaram algoritmos de treinamento para models de linguagem grandes.⁸

Opiniões sobre as leis de escala de LLM dos principais laboratórios e pesquisadores de IA

Além das leis de escala acadêmicas, pesquisadores da indústria e profissionais enfatizam como esses princípios se traduzem no desenvolvimento e na implantação de models no mundo real.

As perspectivas a seguir ilustram como diferentes partes interessadas, de fornecedores de hardware a pesquisadores aplicados, interpretam e aplicam as leis de escala na prática.

NVIDIA

De uma perspectiva de infraestrutura, a NVIDIA apresentou as leis de escala como ferramentas práticas para projetar e treinar models de linguagem grandes em 2025. Ela destaca três eixos principais de escala:

• Tamanho do model.
• Tamanho do dataset.
• Recursos de computação.

De acordo com a NVIDIA, escalar qualquer um desses fatores no regime correto resulta em melhorias previsíveis na qualidade do model.

O artigo também enfatiza a importância da computação em tempo de teste. Os sistemas modernos passam mais tempo em inference usando técnicas como sequências de raciocínio estendidas. Isso adiciona uma nova dimensão às leis de escala, indo além do foco original em tokens de treinamento e parâmetros do model.

A NVIDIA usa essas ideias para explicar por que a demanda por recursos de computação continua a crescer, mesmo com models se tornando mais eficientes em parâmetros. Isso sugere que tanto o treinamento quanto a inference continuarão sendo impulsionadores significativos do uso de computação em futuros sistemas de processamento de linguagem natural.⁹

Cameron Wolfe, pesquisador de LLM na Netflix

Do ponto de vista de um profissional, Cameron Wolfe explica em 2025 como as relações de lei de potência originais da literatura acadêmica se aplicam aos models atuais e como os profissionais podem usar essas curvas para estimar o desempenho alcançável do model antes de treinar models maiores.

Wolfe discute os papéis da forma e da arquitetura do model na escala e observa que, embora as leis de escala tradicionais se concentrem na contagem de parâmetros, os sistemas práticos também devem considerar a qualidade dos dados e os algoritmos de treinamento. O texto destaca preocupações sobre a disponibilidade de dados de alta qualidade e como essas restrições podem afetar o treinamento de models maiores no futuro.

A discussão apresenta as leis de escala como orientação para avaliar models existentes e para estimar como o desempenho do model pode mudar quando os dados de treinamento são expandidos ou quando os parâmetros do model são ajustados.¹⁰

MIT-IBM Watson IA Lab

Adotando uma visão mais metodológica, os pesquisadores do MIT-IBM Watson IA Lab analisam as leis de escala em várias arquiteturas e datasets em 2025.

Os pesquisadores compilam um amplo meta-dataset que inclui 485 models pré-treinados, metadados de treinamento detalhados e 1.9 milhão de métricas de desempenho. Os models vêm de 40 famílias de models (Pythia, OPT, OLMo, LLaMA, Bloom, T5-Pile, GPT e outros). Esse dataset é usado para testar mais de 1.000 leis de escala candidatas e identificar padrões que se generalizam entre diferentes famílias de models.

O estudo descreve etapas claras para ajustar leis de escala sob restrições de computação. Ele recomenda definir um orçamento de computação e um desempenho-alvo e, em seguida, treinar uma pequena coleção de models de tamanhos diferentes, em vez de se concentrar nos maiores models. Checkpoints intermediários são destacados como fontes valiosas de informação, enquanto os dados iniciais de treinamento são desencorajados devido ao ruído.

Os autores mostram que, quando essas diretrizes são seguidas, as previsões podem se aproximar do limite inferior definido pela variabilidade de sementes aleatórias. Mesmo quando as previsões são menos precisas, as leis de escala continuam úteis para comparar escolhas de treinamento e identificar configurações promissoras.

O trabalho observa que o desempenho varia significativamente entre as famílias de models, o que reforça a importância de usar configurações de treinamento diversas ao ajustar leis de escala.¹¹

O que dizem os principais pesquisadores sobre o futuro da escala?

Visões que apoiam a validade contínua das leis de escala

Em todo o cenário de pesquisa, há evidências consistentes de que as leis de escala são válidas dentro dos regimes testados. Trabalhos fundamentais mostram relações claras de lei de potência entre parâmetros do model, tamanho dos dados de treinamento e computação de treinamento quando os models são treinados em configurações equilibradas.

Estudos posteriores refinam esse quadro ao demonstrar que o treinamento com computação ótima exige alinhar o tamanho do model com o volume de tokens de treinamento, e que esse alinhamento melhora o desempenho do model em relação a abordagens anteriores.

Trabalhos adicionais sobre avaliação multitarefa mostram que o desempenho em benchmarks também escala de forma previsível quando expresso em termos de um conjunto menor de habilidades latentes. Isso reforça a visão de que as leis de escala de models de linguagem continuam sendo ferramentas confiáveis para prever o desempenho do model quando o tamanho do dataset e os recursos de computação são alocados adequadamente.

Visões que enfatizam a alocação eficiente de computação

Uma segunda linha de pesquisa argumenta que o progresso depende cada vez mais de como a computação é distribuída, e não apenas da expansão da contagem de parâmetros. Análises de treinamento com computação ótima mostram que os models exigem dados de treinamento suficientes para alcançar seu potencial e que models maiores treinados com dados limitados são frequentemente ineficientes.

Trabalhos que incorporam os custos de inference ampliam essa ideia ao mostrar que o custo total de um model depende tanto da computação de treinamento quanto da computação em tempo de inference.

Essa perspectiva sugere que os esforços futuros de escala enfatizarão configurações eficientes que otimizam conjuntamente o tamanho do model, os tokens de treinamento e o volume esperado de inference. Ela enquadra o design de models de linguagem grandes como um exercício de alocação de computação, e não como uma busca pelo crescimento máximo de parâmetros.

Visões que enfatizam a importância crescente da eficiência e da densidade

Outra visão se concentra na eficiência dos parâmetros e no uso eficaz dos recursos computacionais. Pesquisas que acompanham a densidade de parâmetros mostram que models mais novos alcançam desempenho mais forte com menos parâmetros do que models anteriores. Isso indica que melhorias arquitetônicas, qualidade dos dados e algoritmos de treinamento desempenham um papel significativo nos ganhos de desempenho.

Comentários técnicos também destacam a importância crescente do comportamento de inference e das melhorias pós-treinamento. Quando combinadas, essas descobertas sugerem que os sistemas futuros dependerão de design eficiente de models e melhores métodos de treinamento, em vez da expansão descontrolada da contagem de parâmetros. A ênfase muda de models maiores para models mais capazes que usam seus parâmetros de forma mais eficaz.

Restrições à escala futura de LLM

Limites de computação e energia

Um tema recorrente na literatura é a alta demanda de computação necessária para treinar e implantar models de linguagem grandes. Treinar models grandes consome recursos de computação significativos, enquanto a inference em escala incorre em custos operacionais substanciais.

Esses fatores impõem limites econômicos à escala mesmo quando as leis de escala teóricas indicam ganhos adicionais. À medida que os models crescem, o consumo de energia e os requisitos de hardware se tornam cada vez mais desafiadores de gerenciar.

Restrições de disponibilidade de dados

Outra restrição é a disponibilidade de dados de alta qualidade. Formulações tradicionais das leis de escala pressupõem acesso a dados de treinamento abundantes, mas essa suposição não é mais confiável.

Várias análises apontam para a oferta limitada de texto de alta qualidade e a necessidade crescente de dados sintéticos curados ou gerados. À medida que o tamanho dos dados de treinamento se torna um fator limitante, a qualidade dos dados se torna tão crucial quanto a contagem de parâmetros na determinação do desempenho do model.

Restrições econômicas e de orçamento de computação

A escala prática é limitada tanto por fatores técnicos quanto por considerações financeiras e organizacionais. Pesquisas que se concentram na previsão de desempenho mostram que o planejamento do orçamento de computação é essencial para determinar quais execuções de treinamento são viáveis.

Comentários sobre práticas da indústria destacam o custo crescente da computação e a necessidade de as organizações alocarem seus recursos com cuidado. Esses fatores restringem até que ponto a escala pode ser levada em ambientes do mundo real.

Restrições algorítmicas e arquitetônicas

Pesquisas sobre leis de escala enfatizam que melhorias previsíveis ocorrem quando os models são treinados em regimes equilibrados. Trabalhos que analisam a eficiência dos parâmetros demonstram que avanços arquitetônicos podem deslocar a relação entre o tamanho do model e o desempenho.

Comentários adicionais mostram que os algoritmos de treinamento influenciam a eficácia com que as leis de escala se aplicam. Essas percepções implicam que a simples escala de parâmetros não pode continuar indefinidamente e que o progresso dependerá cada vez mais de novos métodos de treinamento e arquiteturas de model.

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Perguntas frequentes

Cite esta pesquisa

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{ermut2026,
  author = {Ermut, Sıla},
  title  = {{LLM Leis de Escala: Análise de Pesquisadores de IA}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/llm-scaling-laws}},
  note   = {AIMultiple. Acessado em 24 julho 2026}
}

Registro de alterações

2 atualizações

20262025

1. 22 mai

   Adicionados três artigos à seção de pesquisa: escalonamento de pós-treinamento com RL, escalonamento arquitetural eficiente em inferência e a análise de escalonamento até 2030 da Epoch AI.

Links de referência

1.

Scaling Behaviors of LLM Reinforcement Learning Post-Training: An Empirical Study in Mathematical Reasoning

2.

SCALING LAWS MEET MODEL ARCHITECTURE: TOWARD INFERENCE-EFFICIENT LLMS

3.

Densing law of LLMs | Nature Machine Intelligence

Nature Publishing Group UK

4.

Sloth: scaling laws for LLM skills to predict multi-benchmark performance across families

5.

Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws

6.

Can AI scaling continue through 2030? | Epoch AI

7.

Training Compute-Optimal Large Language Models

8.

Scaling Laws for Neural Language Models

9.

How Scaling Laws Drive Smarter, More Powerful AI | NVIDIA Blog

10.

Scaling Laws for LLMs: From GPT-3 to o3

Deep (Learning) Focus

11.

How to build AI scaling laws for efficient LLM training and budget maximization | MIT News | Massachusetts Institute of Technology

Sıla Ermut

Analista do Setor

Siga-nos

Sıla Ermut é analista do setor na AIMultiple, cobrindo models de IA, infraestrutura de IA, governança de IA e aplicações empresariais de IA. Sua pesquisa se concentra principalmente no uso de IA em marketing, saúde, cadeias de suprimentos e sustentabilidade.
Ela trabalhou anteriormente como recrutadora em empresas de gerenciamento de projetos e consultoria. Sıla possui mestrado em Psicologia Social e bacharelado em Relações Internacionais.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário