LLM Scaling Laws: Analysis from IA Researchers

Modelos de linguagem grandes preveem o próximo token com base em padrões aprendidos a partir de dados de texto. O termo LLM leis de escalonamento refere-se a regularidades empíricas que ligam o desempenho do modelo à quantidade de computação, dados de treinamento e parâmetros do modelo usados durante o treinamento.

Para entender como essas relações influenciam o design de modelos modernos na prática, revisamos descobertas de 8 artigos acadêmicos e insights de 3 grandes laboratórios e pesquisadores de IA.

Principais conclusões da análise das leis de escalonamento de LLM

Os principais pesquisadores convergem para os seguintes insights:

• O desempenho do modelo não depende apenas da contagem de parâmetros. A quantidade e a qualidade dos dados são igualmente críticas.
• As decisões de escalonamento devem basear-se nos requisitos da tarefa, em vez de assumir que modelos maiores são sempre melhores.
• Arquiteturas eficientes em parâmetros podem alcançar desempenho competitivo com custos mais baixos de treinamento e inferência.
• Em implantações no mundo real, os custos de inferência podem superar os custos de treinamento e devem ser considerados ao escolher o tamanho do modelo.

Evidências da pesquisa acadêmica sobre leis de escalonamento

"Scaling Behaviors of LLM Reinforcement Learning Post-Training", Zhang, Yin et al.

O artigo Scaling Behaviors of LLM Reinforcement Learning Post-Training (2026) examina como o aprendizado por reforço durante o pós-treinamento escala com o tamanho do modelo e a computação.

Os autores conduzem um estudo empírico em modelos de escalas variadas e descobrem que a relação entre a perda de teste, computação e dados pode ser modelada usando uma lei de potência preditiva. Esse padrão se mantém tanto em modelos base quanto em modelos ajustados por instrução, sugerindo que o aprendizado por reforço no pós-treinamento segue regularidades semelhantes às observadas no pré-treinamento.

No entanto, a análise também identifica uma tendência de saturação latente no termo de eficiência de aprendizado. Embora modelos maiores alcancem maior eficiência de aprendizado, os retornos diminuem à medida que a escala cresce.

Isso indica que o escalonamento de aprendizado por reforço tem limites incorporados que diferem daqueles observados no pré-treinamento e que os profissionais devem levar em conta esses limites ao alocar computação para estágios de pós-treinamento.¹

"Scaling Laws Meet Model Architecture: Toward Inference-Efficient LLMs", Bian, Yu, Venkataraman & Park

Bian et al. (2025) baseiam-se no framework Chinchilla incorporando a arquitetura do modelo ao escalonamento computacionalmente ótimo. As leis de escalonamento tradicionais tratam a contagem de parâmetros e os tokens de treinamento como as principais variáveis, mas à medida que o custo de inferência se torna uma preocupação central, as escolhas arquiteturais determinam cada vez mais a eficiência da implantação.

Os autores introduzem uma lei de escalonamento condicional que adiciona informações arquiteturais ao framework Chinchilla. Eles examinam como o tamanho oculto, a alocação de parâmetros entre camadas MLP e de atenção, e a atenção de consulta agrupada influenciam tanto a precisão quanto o custo de inferência. O framework também inclui um procedimento de busca para identificar configurações que são simultaneamente eficientes em inferência e precisas.

Para validar a abordagem, os autores treinam mais de 200 modelos variando de 80 milhões a 3 bilhões de parâmetros em 8 bilhões a 100 bilhões de tokens de treinamento. Os resultados sugerem que as decisões arquiteturais podem deslocar a relação entre o tamanho do modelo e o custo de inferência de maneiras previsíveis. Essa descoberta apoia a tendência mais ampla de tratar a arquitetura do modelo como um fator ajustável no escalonamento, em vez de uma escolha fixa feita antes do início do treinamento.

Figura 1: Resultados da varredura de escalonamento mostrando a taxa de transferência de inferência (esquerda) e os contornos de perda de treinamento previstos (direita) em função do tamanho oculto e da razão MLP-atenção.²

"Densing law of LLMs", Xiao, Cai & Zhao

O artigo Densing law of LLMs (2025) examina quão eficientemente os modelos usam seus parâmetros. Ele introduz o conceito de densidade de capacidade, definida como a razão entre a contagem de parâmetros efetivos de um modelo e sua contagem de parâmetros reais. A contagem de parâmetros efetivos é estimada ajustando leis de escalonamento a modelos existentes e perguntando quão grande um modelo de referência precisaria ser para igualar o desempenho atual.

Os autores observam que os melhores modelos em cada ponto no tempo mostram densidade de capacidade crescente. Isso significa que modelos mais novos alcançam um determinado desempenho com menos parâmetros do que modelos mais antigos. A tendência parece aproximadamente exponencial.

Essa observação sugere que o progresso em modelos de linguagem grandes diz respeito a escalar o tamanho do modelo e melhorar a arquitetura do modelo, a qualidade dos dados de treinamento e os algoritmos de treinamento. O artigo argumenta que rastrear a eficiência dos parâmetros é essencial para entender as direções futuras no processamento de linguagem natural e no aprendizado de máquina.

Figura 2: O gráfico mostra a densidade de capacidade estimada para LLMs base de código aberto em cinco benchmarks de raciocínio e codificação, com o tamanho do círculo indicando a contagem de parâmetros do modelo, e uma linha de tendência sugerindo uma "lei de densificação" na qual a densidade de capacidade máxima aumenta exponencialmente.³

"Sloth: Scaling laws for LLM skills to predict multi-benchmark performance across families", Polo, Somerstep & Choshen

Sloth introduz uma nova abordagem em Sloth: Scaling laws for LLM skills to predict multi-benchmark performance across families (2025), deslocando o foco da perda do modelo para o desempenho em nível de benchmark. Em vez de tratar as tarefas separadamente, Sloth identifica um conjunto de habilidades latentes que capturam o desempenho dos modelos de linguagem em diferentes benchmarks. Essas habilidades representam capacidades gerais, como raciocínio ou recuperação de conhecimento.

O framework modela como cada habilidade escala com os parâmetros do modelo e os dados de treinamento. Sloth usa recursos simples, como os logaritmos dos tamanhos do modelo e do conjunto de dados, para descrever como essas habilidades mudam dentro de uma família de modelos. Uma vez ajustado, Sloth pode prever como modelos maiores na mesma família terão desempenho em muitos benchmarks sem treiná-los.

Ao usar as previsões do Sloth, as organizações podem decidir onde alocar recursos computacionais e evitar configurações de treinamento com pouca probabilidade de alcançar o desempenho desejado. Isso apoia um planejamento mais racional de treinamento de modelos sob restrições do mundo real.⁴

"Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws", Sardana, Portes & Doubov

Em Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws (2025), Sardana et al. estendem o framework Chinchilla incorporando os custos de inferência no escalonamento computacionalmente ótimo.

Em vez de minimizar apenas a computação de treinamento, eles fixam um nível de desempenho alvo e otimizam o custo combinado de treinamento e inferência ao longo da vida útil do modelo.

Essa mudança leva a um insight prático importante: em cenários de uso intensivo, modelos menores treinados com mais dados frequentemente podem igualar o desempenho de modelos maiores, incorrendo em custos totais de computação mais baixos.

Figura 3: Os gráficos comparam as razões de custo total, contagem de parâmetros e tokens de treinamento entre modelos reais de custo ótimo e modelos no estilo Chinchilla.⁵

"Can IA Scaling Continue Through 2030?", Epoch IA

A Epoch IA examinou em 2024 se o ritmo atual de escalonamento de treinamento de IA, aproximadamente quatro vezes por ano, pode continuar até o final da década. A análise concentra-se em quatro restrições potenciais: disponibilidade de energia, capacidade de fabricação de chips, escassez de dados e a barreira de latência imposta pelos requisitos de computação sequencial.

Os autores estimam que execuções de treinamento de 2e29 FLOP provavelmente serão viáveis até 2030. Eles projetam que dados multimodais expandirão os estoques efetivos de dados de treinamento para entre 450 trilhões e 23 quatrilhões de tokens, permitindo execuções de treinamento de 6e28 a 2e32 FLOP. A geração de dados sintéticos poderia estender isso ainda mais se os laboratórios de IA alocarem uma parcela significativa de computação para produzi-los.

A análise identifica a disponibilidade de energia como a restrição com maior probabilidade de limitar primeiro, seguida pela capacidade de fabricação de chips. A escassez de dados torna-se um problema significativo por volta do mesmo período, enquanto a barreira de latência é menos provável de limitar no curto prazo.

O trabalho da Epoch traduz o conceito abstrato de limites de escalonamento em limites quantitativos específicos, fornecendo às organizações pontos de referência para planejamento de longo prazo em torno de recursos computacionais e investimentos em infraestrutura.⁶

"Training Compute-Optimal Large Language Models", Hoffmann, Borgeaud & Mensch

O artigo Training Compute-Optimal Large Language Models (2022) reavalia leis anteriores para modelos de linguagem neural usando um grande conjunto de experimentos controlados. Ele modela a perda como uma função conjunta dos parâmetros do modelo e do tamanho dos dados de treinamento, e descobre que muitos modelos grandes anteriores estavam subtreinados para sua contagem de parâmetros. Quando os pesquisadores treinam modelos maiores com dados de treinamento insuficientes, a qualidade do modelo resultante não se alinha com as previsões das leis de escalonamento tradicionais.

Os autores mostram que, para um orçamento de computação fixo, o desempenho ideal é alcançado quando os modelos usam contagens de parâmetros e tokens de treinamento de ordens de magnitude semelhantes. Esse resultado é amplamente conhecido como a lei de escalonamento Chinchilla. Ela afirma que o treinamento computacionalmente ótimo requer uma relação quase proporcional entre o número de parâmetros e o número de tokens de treinamento.

Essa abordagem produz modelos menores que têm melhor desempenho do que modelos maiores treinados com dados limitados. Também apoia a seleção eficiente de modelos, pois os pesquisadores podem ajustar leis de escalonamento a modelos menores e prever o desempenho de modelos de linguagem para configurações maiores antes do treinamento.

Figura 4: A figura sobrepõe previsões de vários métodos, todas indicando que os grandes modelos atuais são superdimensionados e deveriam, em vez disso, ser menores e treinados por mais tempo.⁷

"Scaling Laws for Neural Language Models", Kaplan & McCandlish

Kaplan et al. introduziram as primeiras leis de escalonamento amplamente citadas para modelos de linguagem neural em Scaling Laws for Neural Language Models (2020).

Em sua análise, o desempenho do modelo segue relações de lei de potência em relação a três variáveis-chave: o número de parâmetros do modelo, o tamanho do conjunto de dados de treinamento (medido em tokens) e a computação total de treinamento.

Ao variar sistematicamente esses três fatores, os autores mostraram que aumentar qualquer um deles leva a reduções previsíveis na perda, desde que os outros sejam adequadamente escalados.

Figura 5: A figura mostra como a perda de teste muda com o tamanho do modelo sob diferentes orçamentos de computação e contagens de etapas de treinamento, revelando o equilíbrio ideal entre tamanho do modelo, computação e duração do treinamento para o melhor desempenho.

Este trabalho estabeleceu a base para pesquisas posteriores sobre leis de escalonamento de modelos de linguagem. Também demonstrou que a forma e a profundidade do modelo têm um efeito menor do que a contagem total de parâmetros e os tokens de treinamento quando a computação é fixa. Esse insight influenciou como pesquisadores posteriores projetaram algoritmos de treinamento para modelos de linguagem grandes.⁸

Opiniões sobre leis de escalonamento de LLM dos principais laboratórios e pesquisadores de IA

Além das leis de escalonamento acadêmicas, pesquisadores da indústria e profissionais enfatizam como esses princípios se traduzem no desenvolvimento e implantação de modelos no mundo real.

As perspectivas a seguir ilustram como diferentes partes interessadas, de fornecedores de hardware a pesquisadores aplicados, interpretam e aplicam as leis de escalonamento na prática.

NVIDIA

De uma perspectiva de infraestrutura, a NVIDIA apresentou as leis de escalonamento como ferramentas práticas para projetar e treinar modelos de linguagem grandes em 2025. Destaca três eixos principais de escalonamento:

• Tamanho do modelo.
• Tamanho do conjunto de dados.
• Recursos computacionais.

De acordo com a NVIDIA, escalar qualquer um desses fatores no regime correto resulta em melhorias previsíveis na qualidade do modelo.

O artigo também enfatiza a importância da computação no momento do teste. Sistemas modernos gastam mais tempo em inferência usando técnicas como sequências de raciocínio estendidas. Isso adiciona uma nova dimensão às leis de escalonamento, estendendo-se além do foco original em tokens de treinamento e parâmetros do modelo.

A NVIDIA usa essas ideias para explicar por que a demanda por recursos computacionais continua crescendo, mesmo que os modelos se tornem mais eficientes em parâmetros. Sugere que tanto o treinamento quanto a inferência continuarão sendo impulsionadores significativos do uso de computação em futuros sistemas de processamento de linguagem natural.⁹

Cameron Wolfe, pesquisador de LLM na Netflix

Do ponto de vista de um profissional, Cameron Wolfe explica em 2025 como as relações originais de lei de potência na literatura acadêmica se aplicam aos modelos atuais e como os profissionais podem usar essas curvas para estimar o desempenho alcançável do modelo antes de treinar modelos maiores.

Wolfe discute os papéis da forma e da arquitetura do modelo no escalonamento e observa que, embora as leis de escalonamento tradicionais se concentrem na contagem de parâmetros, os sistemas práticos também devem considerar a qualidade dos dados e os algoritmos de treinamento. O artigo destaca preocupações sobre a disponibilidade de dados de alta qualidade e como essas restrições podem afetar o treinamento de futuros modelos maiores.

A discussão apresenta as leis de escalonamento como orientação para avaliar modelos existentes e para estimar como o desempenho do modelo pode mudar quando os dados de treinamento são expandidos ou quando os parâmetros do modelo são ajustados.¹⁰

MIT-IBM Watson IA Lab

Adotando uma visão mais metodológica, os pesquisadores do MIT-IBM Watson IA Lab analisam as leis de escalonamento em várias arquiteturas e conjuntos de dados em 2025.

Os pesquisadores compilam um amplo meta-conjunto de dados que inclui 485 modelos pré-treinados, metadados de treinamento detalhados e 1,9 milhão de métricas de desempenho. Os modelos vêm de 40 famílias de modelos (Pythia, OPT, OLMo, LLaMA, Bloom, T5-Pile, GPT e mais). Este conjunto de dados é usado para testar mais de 1.000 leis de escalonamento candidatas e identificar padrões que se generalizam entre diferentes famílias de modelos.

O estudo delineia etapas claras para ajustar leis de escalonamento sob restrições de computação. Recomenda definir um orçamento de computação e desempenho alvo e, em seguida, treinar uma pequena coleção de modelos em diferentes tamanhos, em vez de focar nos maiores modelos. Pontos de verificação intermediários são destacados como fontes valiosas de informação, enquanto dados de treinamento iniciais são desencorajados devido ao ruído.

Os autores mostram que, quando essas diretrizes são seguidas, as previsões podem se aproximar do limite inferior definido pela variabilidade de sementes aleatórias. Mesmo quando as previsões são menos precisas, as leis de escalonamento permanecem úteis para comparar escolhas de treinamento e identificar configurações promissoras.

O trabalho observa que o desempenho varia significativamente entre famílias de modelos, o que reforça a importância de usar configurações de treinamento diversas ao ajustar leis de escalonamento.¹¹

O que dizem os principais pesquisadores sobre o futuro do escalonamento?

Visões que apoiam a validade contínua das leis de escalonamento

Em todo o cenário de pesquisa, há evidências consistentes de que as leis de escalonamento se mantêm dentro dos regimes testados. O trabalho fundamental mostra relações claras de lei de potência entre parâmetros do modelo, tamanho dos dados de treinamento e computação de treinamento quando os modelos são treinados em configurações equilibradas.

Estudos posteriores refinam esse quadro demonstrando que o treinamento computacionalmente ótimo requer alinhar o tamanho do modelo com o volume de tokens de treinamento, e que esse alinhamento melhora o desempenho do modelo em relação a abordagens anteriores.

Trabalhos adicionais sobre avaliação multitarefa mostram que o desempenho em benchmarks também escala de forma previsível quando expresso em termos de um conjunto menor de habilidades latentes. Isso reforça a visão de que as leis de escalonamento de modelos de linguagem permanecem ferramentas confiáveis para prever o desempenho do modelo quando o tamanho do conjunto de dados e os recursos computacionais são alocados adequadamente.

Visões que enfatizam a alocação eficiente de computação

Uma segunda linha de pesquisa argumenta que o progresso depende cada vez mais de como a computação é distribuída, em vez de expandir apenas a contagem de parâmetros. Análises de treinamento computacionalmente ótimo mostram que os modelos requerem dados de treinamento suficientes para atingir seu potencial e que modelos maiores treinados com dados limitados são frequentemente ineficientes.

Trabalhos que incorporam custos de inferência estendem essa ideia mostrando que o custo total de um modelo depende tanto da computação de treinamento quanto da computação no momento da inferência.

Essa perspectiva sugere que os futuros esforços de escalonamento enfatizarão configurações eficientes que otimizem conjuntamente o tamanho do modelo, os tokens de treinamento e o volume esperado de inferência. Ela enquadra o design de modelos de linguagem grandes como um exercício de alocação de computação, em vez de uma busca pelo crescimento máximo de parâmetros.

Visões que enfatizam a importância crescente da eficiência e densidade

Outro ponto de vista concentra-se na eficiência dos parâmetros e no uso eficaz dos recursos computacionais. Pesquisas que rastreiam a densidade de parâmetros mostram que modelos mais novos alcançam desempenho mais forte com menos parâmetros do que modelos anteriores. Isso indica que melhorias arquiteturais, qualidade dos dados e algoritmos de treinamento desempenham um papel significativo nos ganhos de desempenho.

Comentários técnicos também destacam a importância crescente do comportamento de inferência e das melhorias pós-treinamento. Quando combinadas, essas descobertas sugerem que os sistemas futuros dependerão de design de modelo eficiente e melhores métodos de treinamento, em vez da expansão descontrolada da contagem de parâmetros. A ênfase muda de modelos maiores para modelos mais capazes que usam seus parâmetros de forma mais eficaz.

Restrições ao escalonamento futuro de LLM

Limites de computação e energia

Um tema recorrente na literatura é a pesada demanda computacional necessária para treinar e implantar modelos de linguagem grandes. Treinar modelos grandes consome recursos computacionais significativos, enquanto a inferência em escala incorre em custos operacionais substanciais.

Esses fatores impõem limites econômicos ao escalonamento, mesmo quando as leis de escalonamento teóricas indicam ganhos adicionais. À medida que os modelos crescem, o consumo de energia e os requisitos de hardware tornam-se cada vez mais difíceis de gerenciar.

Restrições de disponibilidade de dados

Outra restrição é a disponibilidade de dados de alta qualidade. As formulações tradicionais de leis de escalonamento assumem acesso a dados de treinamento abundantes, mas essa suposição não é mais confiável.

Várias análises apontam para o suprimento limitado de texto de alta qualidade e a necessidade crescente de dados curados ou sintéticos. À medida que o tamanho dos dados de treinamento se torna um fator limitante, a qualidade dos dados torna-se tão crucial quanto a contagem de parâmetros na determinação do desempenho do modelo.

Restrições econômicas e de orçamento de computação

O escalonamento prático é limitado por fatores técnicos, bem como por considerações financeiras e organizacionais. Pesquisas que focam na previsão de desempenho mostram que o planejamento do orçamento de computação é essencial para determinar quais execuções de treinamento são viáveis.

Comentários sobre práticas da indústria destacam o custo crescente da computação e a necessidade de as organizações alocarem seus recursos cuidadosamente. Esses fatores restringem até onde o escalonamento pode ser levado em ambientes do mundo real.

Restrições algorítmicas e arquiteturais

Pesquisas sobre leis de escalonamento enfatizam que melhorias previsíveis ocorrem quando os modelos são treinados em regimes equilibrados. Trabalhos que analisam a eficiência dos parâmetros demonstram que avanços arquiteturais podem deslocar a relação entre o tamanho do modelo e o desempenho.

Comentários adicionais mostram que os algoritmos de treinamento influenciam quão efetivamente as leis de escalonamento se aplicam. Esses insights implicam que o escalonamento simples de parâmetros não pode continuar indefinidamente e que o progresso dependerá cada vez mais de novos métodos de treinamento e arquiteturas de modelo.

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Perguntas frequentes

Cite esta pesquisa

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{ermut2026,
  author = {Ermut, Sıla},
  title  = {{LLM Scaling Laws: Analysis from IA Researchers}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/llm-scaling-laws}},
  note   = {AIMultiple. Acessado em 24 Julho 2026}
}

Links de referência

1.

https://arxiv.org/pdf/2509.25300

2.

https://arxiv.org/pdf/2510.18245

3.

Densing law of LLMs | Nature Machine Intelligence

Nature Publishing Group UK

4.

https://arxiv.org/pdf/2412.06540

5.

https://arxiv.org/pdf/2401.00448

6.

Can AI scaling continue through 2030? | Epoch AI

7.

https://arxiv.org/pdf/2203.15556

8.

https://arxiv.org/pdf/2001.08361

9.

How Scaling Laws Drive Smarter, More Powerful AI | NVIDIA Blog

10.

Scaling Laws for LLMs: From GPT-3 to o3

Deep (Learning) Focus

11.

How to build AI scaling laws for efficient LLM training and budget maximization | MIT News | Massachusetts Institute of Technology

Sıla Ermut

Analista do Setor

Siga-nos

Sıla Ermut é analista do setor na AIMultiple com foco em marketing por email e vídeos de vendas. Anteriormente, trabalhou como recrutadora em empresas de gerenciamento de projetos e consultoria. Sıla possui mestrado em Psicologia Social e bacharelado em Relações Internacionais.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário