Leis de Escala de LLM: Análise de Pesquisadores de IA
Grandes models de linguagem preveem o próximo token com base em padrões aprendidos a partir de dados de texto. O termo LLM leis de escala refere-se a regularidades empíricas que vinculam o desempenho do model à quantidade de computação, dados de treinamento e parâmetros do model usados durante o treinamento.
Para entender como essas relações influenciam o design de models modernos na prática, revisamos descobertas de 8 artigos acadêmicos e percepções de 3 grandes laboratórios e pesquisadores de IA.
Principais conclusões da análise das leis de escala de LLM
O gráfico mostra como o treinamento de LLM mudou de abordagens com muitos parâmetros e poucos dados para o treinamento de models menores com substancialmente mais dados. Models iniciais como GPT-3, Gopher e MT-NLG usaram cerca de um token de treinamento por parâmetro. A pesquisa Chinchilla sugeriu posteriormente que, sob um orçamento fixo de computação de treinamento, aproximadamente 20 tokens por parâmetro poderiam proporcionar melhor desempenho.
Models recentes da Llama excedem essa proporção por ampla margem. O Llama 3 8B, por exemplo, foi treinado com cerca de 1.900 tokens por parâmetro. Isso mostra que investir mais computação durante o treinamento pode melhorar a capacidade do model por parâmetro e reduzir os custos de inference ao longo da vida útil do model.
A principal conclusão é que a contagem de parâmetros por si só não é um indicador confiável do desempenho do model. A qualidade do model depende de como parâmetros, dados de treinamento e computação são equilibrados.
Evidências da pesquisa acadêmica sobre leis de escala
“Comportamentos de Escala do Pós-Treinamento de Aprendizado por Reforço de LLM”, Zhang, Yin et al.
O artigo Comportamentos de Escala do Pós-Treinamento de Aprendizado por Reforço de LLM (2026) examina como o aprendizado por reforço durante o pós-treinamento escala com o tamanho do model e a computação.
Os autores conduzem um estudo empírico em models de escalas variadas e constatam que a relação entre perda de teste, computação e dados pode ser modelada usando uma lei de potência preditiva. Esse padrão se mantém tanto em models base quanto em models ajustados por instruções, sugerindo que o pós-treinamento de aprendizado por reforço segue regularidades semelhantes às observadas no pré-treinamento.
Entretanto, a análise também identifica uma tendência de saturação latente no termo de eficiência de aprendizado. Embora models maiores alcancem maior eficiência de aprendizado, os retornos diminuem à medida que a escala cresce.
Isso indica que a escala do aprendizado por reforço tem limites incorporados que diferem daqueles observados no pré-treinamento e que os profissionais devem considerar esses limites ao alocar computação para os estágios de pós-treinamento.1
“Leis de Escala Encontram a Arquitetura de Model: Rumo a LLMs Eficientes em Inference”, Bian, Yu, Venkataraman & Park
Bian et al. (2025) se baseiam no framework Chinchilla ao incorporar a arquitetura de model na escala ótima em computação. As leis de escala tradicionais tratam a contagem de parâmetros e os tokens de treinamento como as principais variáveis, mas, à medida que o custo de inference se torna uma preocupação central, as escolhas arquiteturais determinam cada vez mais a eficiência de implantação.
Os autores introduzem uma lei de escala condicional que adiciona informações arquiteturais ao framework Chinchilla. Eles examinam como o tamanho oculto, a alocação de parâmetros entre camadas MLP e de atenção e a atenção de consulta agrupada influenciam tanto a precisão quanto o custo de inference. O framework também inclui um procedimento de busca para identificar configurações que são simultaneamente eficientes em inference e precisas.
Para validar a abordagem, os autores treinam mais de 200 models que variam de 80 milhões a 3 bilhões de parâmetros em 8 bilhões a 100 bilhões de tokens de treinamento. Os resultados sugerem que decisões arquiteturais podem deslocar a relação entre o tamanho do model e o custo de inference de maneiras previsíveis. Essa descoberta apoia a tendência mais ampla de tratar a arquitetura de model como um fator ajustável na escala, em vez de uma escolha fixa feita antes do início do treinamento.
Figura 1: Resultados da varredura de escala mostrando a taxa de transferência de inference (à esquerda) e os contornos previstos de perda de treinamento (à direita) em função do tamanho oculto e da razão MLP-para-atenção.2
“Lei de Densificação de LLMs”, Xiao, Cai & Zhao
A Lei de Densificação de LLMs (2025) examina a eficiência com que os models usam seus parâmetros. Ela introduz o conceito de densidade de capacidade, definida como a razão entre a contagem efetiva de parâmetros de um model e sua contagem real de parâmetros. A contagem efetiva de parâmetros é estimada ajustando leis de escala a models existentes e perguntando quão grande um model de referência precisaria ser para igualar o desempenho atual.
Os autores observam que os melhores models em cada momento mostram densidade de capacidade crescente. Isso significa que models mais novos alcançam um determinado desempenho com menos parâmetros do que models mais antigos. A tendência parece aproximadamente exponencial.
Essa observação sugere que o progresso em grandes models de linguagem está relacionado a escalar o tamanho do model e a melhorar a arquitetura do model, a qualidade dos dados de treinamento e os algoritmos de treinamento. O artigo argumenta que monitorar a eficiência dos parâmetros é essencial para entender as direções futuras no processamento de linguagem natural e no aprendizado de máquina.
Figura 2: O gráfico mostra a densidade de capacidade estimada para LLMs base de código aberto em cinco benchmarks de raciocínio e codificação, com o tamanho do círculo indicando a contagem de parâmetros do model e uma linha de tendência sugerindo uma “lei de densificação” na qual a densidade de capacidade de pico aumenta exponencialmente.3
“Sloth: Leis de escala para habilidades de LLM para prever o desempenho em múltiplos benchmarks entre famílias”, Polo, Somerstep & Choshen
O Sloth introduz uma nova abordagem em Sloth: Leis de escala para habilidades de LLM para prever o desempenho em múltiplos benchmarks entre famílias (2025), deslocando o foco da perda do model para o desempenho em nível de benchmark. Em vez de tratar as tarefas separadamente, o Sloth identifica um conjunto de habilidades latentes que capturam o desempenho dos models de linguagem em diferentes benchmarks. Essas habilidades representam capacidades gerais, como raciocínio ou recuperação de conhecimento.
O framework modela como cada habilidade escala com os parâmetros do model e os dados de treinamento. O Sloth usa recursos simples, como os logaritmos dos tamanhos do model e do dataset, para descrever como essas habilidades mudam dentro de uma família de models. Uma vez ajustado, o Sloth pode prever como models maiores da mesma família terão desempenho em muitos benchmarks sem treiná-los.
Ao usar as previsões do Sloth, as organizações podem decidir onde alocar recursos computacionais e evitar configurações de treinamento com pouca probabilidade de alcançar o desempenho desejado. Isso apoia um planejamento mais racional do treinamento de models sob restrições do mundo real.4
“Além do Chinchilla-Ótimo: Considerando a Inference nas Leis de Escala de Models de Linguagem”, Sardana, Portes & Doubov
Em Além do Chinchilla-Ótimo: Considerando a Inference nas Leis de Escala de Models de Linguagem (2025), Sardana et al. estendem o framework Chinchilla ao incorporar os custos de inference na escala ótima em computação.
Em vez de minimizar apenas a computação de treinamento, eles fixam um nível de desempenho alvo e otimizam o custo combinado de treinamento e inference ao longo da vida útil do model.
Essa mudança leva a uma percepção prática importante: em cenários de uso intenso, models menores treinados com mais dados frequentemente podem igualar o desempenho de models maiores enquanto incorrem em custos computacionais totais menores.
Figura 3: Os gráficos comparam as razões de custo total, contagem de parâmetros e tokens de treinamento entre models de custo ótimo do mundo real e models no estilo Chinchilla.5
“A Escala de IA Pode Continuar Até 2030?”, Epoch IA
O Epoch IA examinou em 2024 se o ritmo atual de escala do treinamento de IA, aproximadamente quatro vezes por ano, pode continuar até o final da década. A análise se concentra em quatro restrições potenciais: disponibilidade de energia, capacidade de fabricação de chips, escassez de dados e a barreira de latência imposta pelos requisitos de computação sequencial.
Os autores estimam que execuções de treinamento de 2e29 FLOP provavelmente serão viáveis até 2030. Eles projetam que dados multimodais expandirão os estoques efetivos de dados de treinamento para entre 450 trilhões e 23 quatrilhões de tokens, permitindo execuções de treinamento de 6e28 a 2e32 FLOP. A geração de dados sintéticos poderia ampliar ainda mais isso se os laboratórios de IA alocarem uma parcela significativa da computação para produzi-los.
A análise identifica a disponibilidade de energia como a restrição com maior probabilidade de limitar primeiro, seguida pela capacidade de fabricação de chips. A escassez de dados se torna uma questão significativa aproximadamente no mesmo período, enquanto a barreira de latência tem menor probabilidade de limitar no curto prazo.
O trabalho do Epoch traduz o conceito abstrato de limites de escala em limites quantitativos específicos, fornecendo às organizações pontos de referência para o planejamento de longo prazo em torno de recursos computacionais e investimentos em infraestrutura.6
“Treinamento de Grandes Models de Linguagem com Computação Ótima”, Hoffmann, Borgeaud & Mensch
O artigo Treinamento de Grandes Models de Linguagem com Computação Ótima (2022) reavalia leis anteriores para models de linguagem neural usando um grande conjunto de experimentos controlados. Ele modela a perda como uma função conjunta dos parâmetros do model e do tamanho dos dados de treinamento e constata que muitos grandes models anteriores estavam subtreinados para sua contagem de parâmetros. Quando pesquisadores treinam models maiores com dados de treinamento insuficientes, a qualidade resultante do model não se alinha com as previsões das leis de escala tradicionais.
Os autores mostram que, para um orçamento fixo de computação, o desempenho ideal é alcançado quando os models usam contagens de parâmetros e de tokens de treinamento de ordens de magnitude semelhantes. Esse resultado é amplamente conhecido como a lei de escala Chinchilla. Ela afirma que o treinamento ótimo em computação exige uma relação quase proporcional entre o número de parâmetros e o número de tokens de treinamento.
Essa abordagem produz models menores que têm desempenho melhor do que models maiores treinados com dados limitados. Ela também apoia a seleção eficiente de models, pois os pesquisadores podem ajustar leis de escala a models menores e prever o desempenho de models de linguagem para configurações maiores antes do treinamento.
Figura 4: A figura sobrepõe previsões de vários métodos, todas indicando que os grandes models atuais são superdimensionados e, em vez disso, deveriam ser menores e treinados por mais tempo.7
“Leis de Escala para Models de Linguagem Neural”, Kaplan & McCandlish
Kaplan et al. introduziram as primeiras leis de escala amplamente citadas para models de linguagem neural em Leis de Escala para Models de Linguagem Neural (2020).
Em sua análise, o desempenho do model segue relações de lei de potência em relação a três variáveis-chave: o número de parâmetros do model, o tamanho do dataset de treinamento (medido em tokens) e a computação total de treinamento.
Ao variar sistematicamente esses três fatores, os autores mostraram que aumentar qualquer um deles leva a reduções previsíveis na perda, desde que os outros sejam escalados adequadamente.
Figura 5: A figura mostra como a perda de teste muda com o tamanho do model sob diferentes orçamentos de computação e contagens de etapas de treinamento, revelando o equilíbrio ideal entre tamanho do model, computação e duração do treinamento para o melhor desempenho.
Este trabalho estabeleceu a base para pesquisas posteriores sobre leis de escala de models de linguagem. Ele também demonstrou que o formato e a profundidade do model têm um efeito menor do que a contagem total de parâmetros e os tokens de treinamento quando a computação é fixa. Essa percepção influenciou como pesquisadores posteriores projetaram algoritmos de treinamento para grandes models de linguagem.8
Opiniões sobre leis de escala de LLM de grandes laboratórios e pesquisadores de IA
Além das leis de escala acadêmicas, pesquisadores e profissionais da indústria enfatizam como esses princípios se traduzem no desenvolvimento e na implantação de models no mundo real.
As perspectivas a seguir ilustram como diferentes partes interessadas, de fornecedores de hardware a pesquisadores aplicados, interpretam e aplicam as leis de escala na prática.
NVIDIA
Do ponto de vista da infraestrutura, a NVIDIA apresentou as leis de escala como ferramentas práticas para projetar e treinar grandes models de linguagem em 2025. Ela destaca três eixos primários de escala:
- Tamanho do model.
- Tamanho do dataset.
- Recursos de computação.
De acordo com a NVIDIA, escalar qualquer um desses fatores no regime correto resulta em melhorias previsíveis na qualidade do model.
O artigo também enfatiza a importância da computação em tempo de teste. Os sistemas modernos gastam mais tempo em inference usando técnicas como sequências de raciocínio estendidas. Isso adiciona uma nova dimensão às leis de escala, indo além do foco original em tokens de treinamento e parâmetros do model.
A NVIDIA usa essas ideias para explicar por que a demanda por recursos de computação continua a crescer, mesmo à medida que os models se tornam mais eficientes em parâmetros. Ela sugere que tanto o treinamento quanto a inference continuarão sendo importantes impulsionadores do uso de computação em futuros sistemas de processamento de linguagem natural.9
Cameron Wolfe, pesquisador de LLM na Netflix
Do ponto de vista de um profissional, Cameron Wolfe explica em 2025 como as relações originais de lei de potência na literatura acadêmica se aplicam aos models atuais e como os profissionais podem usar essas curvas para estimar o desempenho alcançável do model antes de treinar models maiores.
Wolfe discute os papéis do formato e da arquitetura do model na escala e observa que, embora as leis de escala tradicionais se concentrem na contagem de parâmetros, os sistemas práticos também devem considerar a qualidade dos dados e os algoritmos de treinamento. O texto destaca preocupações sobre a disponibilidade de dados de alta qualidade e como essas restrições podem afetar o treinamento de models maiores no futuro.
A discussão apresenta as leis de escala como uma orientação para avaliar models existentes e para estimar como o desempenho do model pode mudar quando os dados de treinamento são expandidos ou quando os parâmetros do model são ajustados.10
MIT-IBM Watson IA Lab
Adotando uma visão mais metodológica, os pesquisadores do MIT-IBM Watson IA Lab analisam as leis de escala em múltiplas arquiteturas e datasets em 2025.
Os pesquisadores compilam um amplo meta-dataset que inclui 485 models pré-treinados, metadados detalhados de treinamento e 1.9 milhões de métricas de desempenho. Os models vêm de 40 famílias de models (Pythia, OPT, OLMo, LLaMA, Bloom, T5-Pile, GPT e mais). Este dataset é usado para testar mais de 1.000 leis de escala candidatas e identificar padrões que se generalizam entre diferentes famílias de models.
O estudo descreve etapas claras para ajustar leis de escala sob restrições de computação. Ele recomenda definir um orçamento de computação e um desempenho-alvo e, em seguida, treinar uma pequena coleção de models em tamanhos diferentes, em vez de focar nos maiores models. Os checkpoints intermediários são destacados como fontes valiosas de informação, enquanto os dados de treinamento iniciais são desencorajados devido ao ruído.
Os autores mostram que, quando essas diretrizes são seguidas, as previsões podem se aproximar do limite inferior definido pela variabilidade da semente aleatória. Mesmo quando as previsões são menos precisas, as leis de escala continuam úteis para comparar escolhas de treinamento e identificar configurações promissoras.
O trabalho observa que o desempenho varia significativamente entre as famílias de models, o que reforça a importância de usar configurações de treinamento diversificadas ao ajustar leis de escala.11
O que dizem os principais pesquisadores sobre o futuro da escala?
Visões que apoiam a validade contínua das leis de escala
Em todo o cenário de pesquisa, há evidências consistentes de que as leis de escala se mantêm dentro dos regimes testados. Trabalhos fundamentais mostram relações claras de lei de potência entre parâmetros do model, tamanho dos dados de treinamento e computação de treinamento quando os models são treinados em configurações equilibradas.
Estudos posteriores refinam esse quadro demonstrando que o treinamento ótimo em computação exige alinhar o tamanho do model ao volume de tokens de treinamento e que esse alinhamento melhora o desempenho do model em relação a abordagens anteriores.
Trabalhos adicionais sobre avaliação multitarefa mostram que o desempenho em benchmark também escala de forma previsível quando expresso em termos de um conjunto menor de habilidades latentes. Isso reforça a visão de que as leis de escala de models de linguagem continuam sendo ferramentas confiáveis para prever o desempenho do model quando o tamanho do dataset e os recursos de computação são alocados adequadamente.
Visões que enfatizam a alocação eficiente de computação
Uma segunda linha de pesquisa argumenta que o progresso depende cada vez mais de como a computação é distribuída, e não apenas da expansão da contagem de parâmetros. Análises de treinamento ótimo em computação mostram que os models exigem dados de treinamento suficientes para atingir seu potencial e que models maiores treinados com dados limitados costumam ser ineficientes.
Trabalhos que incorporam custos de inference estendem essa ideia ao mostrar que o custo total de um model depende tanto da computação de treinamento quanto da computação em tempo de inference.
Essa perspectiva sugere que os futuros esforços de escala enfatizarão configurações eficientes que otimizam conjuntamente o tamanho do model, os tokens de treinamento e o volume esperado de inference. Ela enquadra o design de grandes models de linguagem como um exercício de alocação de computação, em vez de uma busca por crescimento máximo de parâmetros.
Visões que enfatizam a crescente importância da eficiência e da densidade
Outra perspectiva se concentra na eficiência dos parâmetros e no uso efetivo dos recursos computacionais. Pesquisas que monitoram a densidade de parâmetros mostram que models mais novos alcançam desempenho mais forte com menos parâmetros do que models anteriores. Isso indica que melhorias arquiteturais, qualidade dos dados e algoritmos de treinamento desempenham um papel significativo nos ganhos de desempenho.
Comentários técnicos também destacam a crescente importância do comportamento de inference e das melhorias no pós-treinamento. Quando combinadas, essas descobertas sugerem que os sistemas futuros dependerão de designs de models eficientes e melhores métodos de treinamento, em vez da expansão descontrolada da contagem de parâmetros. A ênfase passa de models maiores para models mais capazes que usam seus parâmetros de forma mais eficaz.
Restrições para a escala futura de LLM
Limites de computação e energia
Um tema recorrente na literatura é a alta demanda de computação necessária para treinar e implantar grandes models de linguagem. Treinar grandes models consome recursos computacionais significativos, enquanto a inference em escala incorre em custos operacionais substanciais.
Esses fatores impõem limites econômicos à escala mesmo quando as leis de escala teóricas indicam ganhos adicionais. À medida que os models crescem, o consumo de energia e os requisitos de hardware se tornam cada vez mais desafiadores de gerenciar.
Restrições de disponibilidade de dados
Outra restrição é a disponibilidade de dados de alta qualidade. As formulações tradicionais das leis de escala pressupõem acesso a dados de treinamento abundantes, mas essa suposição não é mais confiável.
Várias análises apontam para a oferta limitada de texto de alta qualidade e para a necessidade crescente de dados curados ou dados sintéticos. À medida que o tamanho dos dados de treinamento se torna um fator limitante, a qualidade dos dados se torna tão crucial quanto a contagem de parâmetros na determinação do desempenho do model.
Restrições econômicas e de orçamento de computação
A escala prática é limitada por fatores técnicos, bem como por considerações financeiras e organizacionais. Pesquisas que focam na previsão de desempenho mostram que o planejamento do orçamento de computação é essencial para determinar quais execuções de treinamento são viáveis.
Comentários sobre práticas da indústria destacam o custo crescente da computação e a necessidade de as organizações alocarem seus recursos com cuidado. Esses fatores limitam até onde a escala pode ser ampliada em ambientes do mundo real.
Restrições algorítmicas e arquiteturais
Pesquisas sobre leis de escala enfatizam que melhorias previsíveis ocorrem quando os models são treinados em regimes equilibrados. Trabalhos que analisam a eficiência dos parâmetros demonstram que avanços arquiteturais podem deslocar a relação entre o tamanho do model e o desempenho.
Comentários adicionais mostram que os algoritmos de treinamento influenciam a eficácia com que as leis de escala se aplicam. Essas percepções implicam que a escala simples de parâmetros não pode continuar indefinidamente e que o progresso dependerá cada vez mais de novos métodos de treinamento e arquiteturas de models.
Adicionar como fonte preferencialPerguntas frequentes
Grandes models de linguagem são treinados como models de linguagem neural que preveem o próximo token em linguagem natural. O termo LLM leis de escala descreve regularidades empíricas que vinculam o desempenho do model ao tamanho do model, aos dados de treinamento e aos recursos de computação. Essas relações são definidas como funções de lei de potência na literatura acadêmica. Elas implicam que o desempenho dos models de linguagem melhora de forma previsível quando os pesquisadores alocam mais recursos computacionais aos parâmetros do model e ao tamanho dos dados de treinamento.
A ideia fundamental na literatura é que a perda do model diminui quando os models recebem mais parâmetros, mais tokens de treinamento e mais computação. Essas regras moldaram a forma como os pesquisadores treinam models maiores e avaliam o trade-off entre o número de parâmetros e a disponibilidade de dados de treinamento suficientes. Elas também apoiam decisões sobre como alocar um orçamento de computação entre arquiteturas de models e dados de treinamento disponíveis.
Entender essas relações é essencial porque as organizações dependem das leis de escala de models de linguagem para prever ganhos de desempenho alcançáveis ao escalar os parâmetros do model ou coletar mais dados de treinamento. Elas também ajudam as equipes a identificar quando models menores treinados com mais dados podem oferecer desempenho semelhante ao de models maiores que estão subtreinados.
Elas devem verificar se os fornecedores alinham os parâmetros do model com a quantidade de dados de treinamento e considerar o custo de inference durante a seleção. Models treinados com escala ótima em computação frequentemente igualam o desempenho de models maiores, reduzindo os custos operacionais.
As equipes podem treinar models menores e ajustar leis de escala para prever como models maiores terão desempenho. A escala baseada em múltiplas habilidades mostra que algumas habilidades subjacentes impulsionam o desempenho em benchmarks, ajudando a evitar execuções de treinamento improdutivas e orientando a alocação de computação.
Elas devem acompanhar as tendências de eficiência dos parâmetros para identificar models que oferecem desempenho mais forte com menos parâmetros. Melhorias na arquitetura e nos algoritmos de treinamento desempenham um papel importante, portanto a seleção de models deve se concentrar nos ganhos gerais de desempenho, em vez de apenas na contagem de parâmetros.
Cite esta pesquisa
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{ermut2026,
author = {Ermut, Sıla},
title = {{Leis de Escala de LLM: Análise de Pesquisadores de IA}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/llm-scaling-laws}},
note = {AIMultiple. Acessado em 24 Julho 2026}
}Links de referência
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.