LLM Leyes de escalado: análisis de investigadores de IA
Large language models predicen el siguiente token a partir de patrones aprendidos de datos de texto. El término leyes de escalado de LLM se refiere a regularidades empíricas que vinculan el rendimiento de los model con la cantidad de cómputo, datos de entrenamiento y parámetros de los model utilizados durante el entrenamiento.
Para comprender cómo estas relaciones influyen en el diseño de los model modernos en la práctica, revisamos los hallazgos de 8 artículos académicos y las perspectivas de 3 importantes laboratorios e investigadores de IA.
Conclusiones clave del análisis de las leyes de escalado de LLM
El gráfico muestra cómo el entrenamiento de LLM ha pasado de enfoques con muchos parámetros y pocos datos a entrenar models más pequeños con sustancialmente más datos. Los primeros models, como GPT-3, Gopher y MT-NLG, utilizaban cerca de un token de entrenamiento por parámetro. Posteriormente, la investigación de Chinchilla sugirió que, con un presupuesto fijo de cómputo de entrenamiento, aproximadamente 20 tokens por parámetro podían ofrecer un mejor rendimiento.
Los models recientes de Llama superan esta proporción por un amplio margen. Llama 3 8B, por ejemplo, se entrenó con aproximadamente 1.900 tokens por parámetro. Esto demuestra que invertir más cómputo durante el entrenamiento puede mejorar la capacidad del model por parámetro y reducir los costes de inference a lo largo de la vida útil del model.
La conclusión principal es que el número de parámetros por sí solo no es un indicador fiable del rendimiento de los model. La calidad de los model depende de cómo se equilibren los parámetros, los datos de entrenamiento y el cómputo.
Evidencia de la investigación académica sobre leyes de escalado
«Comportamientos de escalado del LLM en el post-entrenamiento con reinforcement learning», Zhang, Yin et al.
El artículo Scaling Behaviors of LLM Reinforcement Learning Post-Training (2026) examina cómo el reinforcement learning durante el post-entrenamiento escala con el tamaño del model y el cómputo.
Los autores realizan un estudio empírico sobre models de distintas escalas y descubren que la relación entre la pérdida de prueba, el cómputo y los datos puede modelarse mediante una ley de potencia predictiva. Este patrón se mantiene tanto en los models base como en los models ajustados por instrucciones, lo que sugiere que el post-entrenamiento con reinforcement learning sigue regularidades similares a las observadas en el preentrenamiento.
Sin embargo, el análisis también identifica una tendencia de saturación latente en el término de eficiencia de aprendizaje. Aunque los models más grandes logran una mayor eficiencia de aprendizaje, los rendimientos disminuyen a medida que crece la escala.
Esto indica que el escalado del reinforcement learning tiene límites integrados que difieren de los observados en el preentrenamiento y que los profesionales deben tener en cuenta estos límites al asignar cómputo a las etapas de post-entrenamiento.1
«Las leyes de escalado se encuentran con la arquitectura de model: hacia LLMs eficientes en inference», Bian, Yu, Venkataraman & Park
Bian et al. (2025) se basan en el framework de Chinchilla e incorporan la arquitectura de model al escalado óptimo en cómputo. Las leyes de escalado tradicionales tratan el número de parámetros y los tokens de entrenamiento como las variables principales, pero a medida que el costo de inference se convierte en una preocupación central, las decisiones arquitectónicas determinan cada vez más la eficiencia de despliegue.
Los autores presentan una ley de escalado condicional que añade información arquitectónica al framework de Chinchilla. Examinan cómo el tamaño oculto, la asignación de parámetros entre las capas MLP y de atención, y la atención de consulta agrupada influyen tanto en la precisión como en el costo de inference. El framework también incluye un procedimiento de búsqueda para identificar configuraciones que sean simultáneamente eficientes en inference y precisas.
Para validar el enfoque, los autores entrenan más de 200 models que van desde 80 millones hasta 3.000 millones de parámetros con entre 8.000 millones y 100 mil millones de tokens de entrenamiento. Los resultados sugieren que las decisiones arquitectónicas pueden desplazar la relación entre el tamaño del model y el costo de inference de maneras predecibles. Este hallazgo respalda la tendencia más amplia de tratar la arquitectura de model como un factor ajustable en el escalado, en lugar de una elección fija realizada antes de comenzar el entrenamiento.
Figura 1: Resultados del barrido de escalado que muestran el rendimiento de inference (izquierda) y las curvas de pérdida de entrenamiento previstas (derecha) según el tamaño oculto y la relación MLP-atención.2
«Ley de densificación de los LLM», Xiao, Cai & Zhao
La ley de densificación de los LLM (2025) examina con qué eficiencia utilizan los models sus parámetros. Introduce el concepto de densidad de capacidad, definido como la relación entre el número de parámetros efectivos de un model y su número de parámetros reales. El número de parámetros efectivos se estima ajustando leyes de escalado a los models existentes y preguntando cuán grande tendría que ser un model de referencia para igualar el rendimiento actual.
Los autores observan que los mejores models en cada momento muestran una densidad de capacidad creciente. Esto significa que los models más nuevos logran un rendimiento determinado con menos parámetros que los models más antiguos. La tendencia parece aproximadamente exponencial.
Esta observación sugiere que el progreso en large language models consiste tanto en escalar el tamaño del model como en mejorar la arquitectura de model, la calidad de los datos de entrenamiento y los algoritmos de entrenamiento. El artículo sostiene que el seguimiento de la eficiencia de los parámetros es esencial para comprender las direcciones futuras del procesamiento del lenguaje natural y el aprendizaje automático.
Figura 2: El gráfico muestra la densidad de capacidad estimada de los LLMs base de código abierto en cinco benchmarks de razonamiento y programación, con el tamaño del círculo indicando el número de parámetros del model y una línea de tendencia que sugiere una «ley de densificación» en la que la densidad de capacidad máxima aumenta exponencialmente.3
«Sloth: leyes de escalado para las habilidades de LLM para predecir el rendimiento en múltiples benchmarks entre familias», Polo, Somerstep & Choshen
Sloth introduce un nuevo enfoque en Sloth: Scaling laws for LLM skills to predict multi-benchmark performance across families (2025), desplazando el foco de la pérdida del model al rendimiento a nivel de benchmark. En lugar de tratar las tareas por separado, Sloth identifica un conjunto de habilidades latentes que capturan el rendimiento de los language models en diferentes benchmarks. Estas habilidades representan capacidades generales como el razonamiento o la recuperación de conocimiento.
El framework modela cómo escala cada habilidad con los parámetros del model y los datos de entrenamiento. Sloth utiliza características simples, como los logaritmos del tamaño del model y del dataset, para describir cómo cambian estas habilidades dentro de una familia de models. Una vez ajustado, Sloth puede predecir cómo se desempeñarán los models más grandes de la misma familia en muchos benchmarks sin entrenarlos.
Utilizando las predicciones de Sloth, las organizaciones pueden decidir dónde asignar los recursos computacionales y evitar configuraciones de entrenamiento que probablemente no alcancen el rendimiento deseado. Esto respalda una planificación más racional del entrenamiento de models bajo restricciones del mundo real.4
«Más allá de Chinchilla-Optimal: cómo incorporar la inference en las leyes de escalado de los language models», Sardana, Portes & Doubov
En Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws (2025), Sardana et al. amplían el framework de Chinchilla incorporando los costes de inference al escalado óptimo en cómputo.
En lugar de minimizar únicamente el cómputo de entrenamiento, fijan un nivel de rendimiento objetivo y optimizan el costo combinado de entrenamiento e inference a lo largo de la vida útil del model.
Este cambio conduce a una idea práctica importante: en escenarios de uso intensivo, los models más pequeños entrenados con más datos a menudo pueden igualar el rendimiento de los models más grandes incurriendo en menores costes totales de cómputo.
Figura 3: Los gráficos comparan las relaciones entre el costo total, el número de parámetros y los tokens de entrenamiento entre los models reales óptimos en costo y los models de estilo Chinchilla.5
«¿Puede continuar el escalado de la IA hasta 2030?», Epoch IA
Epoch IA examinó en 2024 si el ritmo actual del escalado del entrenamiento de IA, aproximadamente del cuádruple por año, puede continuar hasta el final de la década. El análisis se centra en cuatro posibles restricciones: la disponibilidad de energía, la capacidad de fabricación de chips, la escasez de datos y el muro de latencia impuesto por los requisitos de cómputo secuencial.
Los autores estiman que las ejecuciones de entrenamiento de 2e29 FLOP probablemente serán factibles para 2030. Proyectan que los datos multimodales ampliarán las reservas efectivas de datos de entrenamiento a entre 450 billones y 23 mil billones de tokens, lo que permitirá ejecuciones de entrenamiento de 6e28 a 2e32 FLOP. La generación de datos sintéticos podría ampliar esto aún más si los laboratorios de IA destinan una parte significativa del cómputo a producirlos.
El análisis identifica la disponibilidad de energía como la restricción con más probabilidades de ser limitante primero, seguida de la capacidad de fabricación de chips. La escasez de datos se convierte en un problema importante aproximadamente en el mismo período, mientras que el muro de latencia es menos probable que sea limitante a corto plazo.
El trabajo de Epoch traduce el concepto abstracto de límites de escalado en límites cuantitativos concretos, proporcionando a las organizaciones puntos de referencia para la planificación a largo plazo en torno a los recursos de cómputo y las inversiones en infraestructura.6
«Entrenamiento de large language models óptimos en cómputo», Hoffmann, Borgeaud & Mensch
El artículo Training Compute-Optimal Large Language Models (2022) reevalúa leyes anteriores para neural language models mediante un amplio conjunto de experimentos controlados. Modela la pérdida como una función conjunta de los parámetros del model y el tamaño de los datos de entrenamiento, y descubre que muchos models grandes anteriores estaban subentrenados para su número de parámetros. Cuando los investigadores entrenan models más grandes con datos de entrenamiento insuficientes, la calidad resultante del model no se alinea con las predicciones de las leyes de escalado tradicionales.
Los autores muestran que, para un presupuesto de cómputo fijo, el rendimiento óptimo se logra cuando los models utilizan recuentos de parámetros y tokens de entrenamiento de órdenes de magnitud similares. Este resultado se conoce ampliamente como la ley de escalado de Chinchilla. Establece que el entrenamiento óptimo en cómputo requiere una relación casi proporcional entre el número de parámetros y el número de tokens de entrenamiento.
Este enfoque produce models más pequeños que rinden mejor que los models más grandes entrenados con datos limitados. También respalda una selección eficiente de model, ya que los investigadores pueden ajustar leyes de escalado a models más pequeños y predecir el rendimiento de los language models para configuraciones más grandes antes del entrenamiento.
Figura 4: La figura superpone predicciones de varios métodos, todas indicando que los large models actuales son demasiado grandes y que, en cambio, deberían ser más pequeños y entrenarse durante más tiempo.7
«Leyes de escalado para neural language models», Kaplan & McCandlish
Kaplan et al. presentaron las primeras leyes de escalado ampliamente citadas para neural language models en Scaling Laws for Neural Language Models (2020).
En su análisis, el rendimiento de los model sigue relaciones de ley de potencia con respecto a tres variables clave: el número de parámetros del model, el tamaño del dataset de entrenamiento (medido en tokens) y el cómputo total de entrenamiento.
Al variar sistemáticamente estos tres factores, los autores mostraron que aumentar cualquiera de ellos conduce a reducciones predecibles de la pérdida, siempre que los demás se escalen adecuadamente.
Figura 5: La figura muestra cómo cambia la pérdida de prueba con el tamaño del model bajo diferentes presupuestos de cómputo y recuentos de pasos de entrenamiento, revelando el equilibrio óptimo entre el tamaño del model, el cómputo y la duración del entrenamiento para obtener el mejor rendimiento.
Este trabajo sentó las bases para investigaciones posteriores sobre las leyes de escalado de los language models. También demostró que la forma y la profundidad del model tienen un efecto menor que el número total de parámetros y los tokens de entrenamiento cuando el cómputo es fijo. Esta idea influyó en cómo los investigadores posteriores diseñaron algoritmos de entrenamiento para large language models.8
Opiniones sobre las leyes de escalado de LLM de importantes laboratorios e investigadores de IA
Más allá de las leyes de escalado académicas, los investigadores y profesionales de la industria enfatizan cómo estos principios se traducen en el desarrollo y despliegue de models en el mundo real.
Las siguientes perspectivas ilustran cómo diferentes partes interesadas, desde proveedores de hardware hasta investigadores aplicados, interpretan y aplican las leyes de escalado en la práctica.
NVIDIA
Desde una perspectiva de infraestructura, NVIDIA presentó las leyes de escalado como herramientas prácticas para diseñar y entrenar large language models en 2025. Destaca tres ejes principales de escalado:
- Tamaño del model.
- Tamaño del dataset.
- Recursos de cómputo.
Según NVIDIA, escalar cualquiera de estos factores en el régimen correcto produce mejoras predecibles en la calidad de los model.
El artículo también enfatiza la importancia del cómputo en tiempo de prueba. Los sistemas modernos dedican más tiempo a la inference mediante técnicas como secuencias de razonamiento extendidas. Esto añade una nueva dimensión a las leyes de escalado, que va más allá del enfoque original en los tokens de entrenamiento y los parámetros del model.
NVIDIA utiliza estas ideas para explicar por qué la demanda de recursos de cómputo sigue creciendo, incluso cuando los models se vuelven más eficientes en parámetros. Sugiere que tanto el entrenamiento como la inference seguirán siendo importantes impulsores del uso de cómputo en los futuros sistemas de procesamiento del lenguaje natural.9
Cameron Wolfe, investigador de LLM en Netflix
Desde el punto de vista de un profesional, Cameron Wolfe explica en 2025 cómo las relaciones originales de ley de potencia de la literatura académica se aplican a los models actuales y cómo los profesionales pueden utilizar estas curvas para estimar el rendimiento alcanzable de los model antes de entrenar models más grandes.
Wolfe analiza el papel de la forma y la arquitectura del model en el escalado y señala que, si bien las leyes de escalado tradicionales se centran en el número de parámetros, los sistemas prácticos también deben considerar la calidad de los datos y los algoritmos de entrenamiento. El artículo destaca las preocupaciones sobre la disponibilidad de datos de alta calidad y cómo estas restricciones pueden afectar el entrenamiento de models más grandes en el futuro.
La discusión presenta las leyes de escalado como una guía para evaluar los models existentes y para estimar cómo puede cambiar el rendimiento de los model cuando se amplían los datos de entrenamiento o se ajustan los parámetros del model.10
Laboratorio de IA Watson de MIT-IBM
Adoptando una perspectiva más metodológica, los investigadores del Laboratorio de IA Watson de MIT-IBM analizan las leyes de escalado en múltiples arquitecturas y datasets en 2025.
Los investigadores recopilan un meta-dataset amplio que incluye 485 models preentrenados, metadatos detallados de entrenamiento y 1,9 millones de métricas de rendimiento. Los models provienen de 40 familias de models (Pythia, OPT, OLMo, LLaMA, Bloom, T5-Pile, GPT, entre otros). Este dataset se utiliza para probar más de 1.000 leyes de escalado candidatas e identificar patrones que se generalizan entre diferentes familias de models.
El estudio describe pasos claros para ajustar leyes de escalado bajo restricciones de cómputo. Recomienda definir un presupuesto de cómputo y un rendimiento objetivo, y luego entrenar una pequeña colección de models de diferentes tamaños en lugar de centrarse en los models más grandes. Los puntos de control intermedios se destacan como fuentes valiosas de información, mientras que los datos de entrenamiento tempranos se desaconsejan debido al ruido.
Los autores muestran que, cuando se siguen estas pautas, las predicciones pueden acercarse al límite inferior establecido por la variabilidad de la semilla aleatoria. Incluso cuando las predicciones son menos precisas, las leyes de escalado siguen siendo útiles para comparar opciones de entrenamiento e identificar configuraciones prometedoras.
El trabajo señala que el rendimiento varía significativamente entre las familias de models, lo que refuerza la importancia de utilizar configuraciones de entrenamiento diversas al ajustar las leyes de escalado.11
¿Qué dicen los investigadores líderes sobre el futuro del escalado?
Perspectivas que respaldan la validez continua de las leyes de escalado
En todo el panorama de la investigación, hay evidencia consistente de que las leyes de escalado se mantienen dentro de los regímenes probados. Los trabajos fundacionales muestran relaciones claras de ley de potencia entre los parámetros del model, el tamaño de los datos de entrenamiento y el cómputo de entrenamiento cuando los models se entrenan en configuraciones equilibradas.
Estudios posteriores refinan esta imagen al demostrar que el entrenamiento óptimo en cómputo requiere alinear el tamaño del model con el volumen de tokens de entrenamiento, y que esta alineación mejora el rendimiento del model en comparación con enfoques anteriores.
Trabajos adicionales sobre evaluación multitarea muestran que el rendimiento en benchmarks también escala de manera predecible cuando se expresa en términos de un conjunto más pequeño de habilidades latentes. Esto refuerza la idea de que las leyes de escalado de los language models siguen siendo herramientas fiables para pronosticar el rendimiento de los model cuando el tamaño del dataset y los recursos de cómputo se asignan adecuadamente.
Perspectivas que enfatizan la asignación eficiente del cómputo
Una segunda línea de investigación sostiene que el progreso depende cada vez más de cómo se distribuye el cómputo y no solo de ampliar el número de parámetros. Los análisis del entrenamiento óptimo en cómputo muestran que los models requieren datos de entrenamiento suficientes para alcanzar su potencial y que los models más grandes entrenados con datos limitados suelen ser ineficientes.
Los trabajos que incorporan los costes de inference amplían esta idea al mostrar que el costo total de un model depende tanto del cómputo de entrenamiento como del cómputo en tiempo de inference.
Esta perspectiva sugiere que los futuros esfuerzos de escalado enfatizarán configuraciones eficientes que optimicen conjuntamente el tamaño del model, los tokens de entrenamiento y el volumen esperado de inference. Enmarca el diseño de large language models como un ejercicio de asignación de cómputo y no como una búsqueda del crecimiento máximo de parámetros.
Perspectivas que enfatizan la creciente importancia de la eficiencia y la densidad
Otro punto de vista se centra en la eficiencia de los parámetros y el uso eficaz de los recursos computacionales. La investigación que rastrea la densidad de parámetros muestra que los models más nuevos logran un mejor rendimiento con menos parámetros que los models anteriores. Esto indica que las mejoras arquitectónicas, la calidad de los datos y los algoritmos de entrenamiento desempeñan un papel importante en las ganancias de rendimiento.
Los comentarios técnicos también destacan la creciente importancia del comportamiento de inference y las mejoras posteriores al entrenamiento. En conjunto, estos hallazgos sugieren que los sistemas futuros dependerán de un diseño eficiente de los model y de mejores métodos de entrenamiento, en lugar de una expansión descontrolada del número de parámetros. El énfasis pasa de los models más grandes a models más capaces que utilizan sus parámetros de manera más eficaz.
Restricciones del escalado futuro de LLM
Límites de cómputo y energía
Un tema recurrente en la literatura es la gran demanda de cómputo necesaria para entrenar y desplegar large language models. Entrenar large models consume importantes recursos de cómputo, mientras que la inference a gran escala implica costes operativos sustanciales.
Estos factores imponen límites económicos al escalado incluso cuando las leyes de escalado teóricas indican que hay más ganancias posibles. A medida que los models crecen, el consumo de energía y los requisitos de hardware se vuelven cada vez más difíciles de gestionar.
Restricciones de disponibilidad de datos
Otra restricción es la disponibilidad de datos de alta calidad. Las formulaciones tradicionales de las leyes de escalado suponen el acceso a datos de entrenamiento abundantes, pero esta suposición ya no es fiable.
Varios análisis señalan la oferta limitada de texto de alta calidad y la creciente necesidad de datos seleccionados o datos sintéticos. A medida que el tamaño de los datos de entrenamiento se convierte en un factor limitante, la calidad de los datos resulta tan crucial como el número de parámetros para determinar el rendimiento de los model.
Restricciones económicas y de presupuesto de cómputo
El escalado práctico está limitado tanto por factores técnicos como por consideraciones financieras y organizativas. La investigación centrada en la predicción del rendimiento muestra que la planificación del presupuesto de cómputo es esencial para determinar qué ejecuciones de entrenamiento son factibles.
Los comentarios sobre las prácticas de la industria destacan el creciente costo del cómputo y la necesidad de que las organizaciones asignen sus recursos con cuidado. Estos factores limitan hasta dónde se puede impulsar el escalado en entornos reales.
Restricciones algorítmicas y arquitectónicas
La investigación sobre leyes de escalado enfatiza que las mejoras predecibles se producen cuando los models se entrenan en regímenes equilibrados. Los trabajos que analizan la eficiencia de los parámetros demuestran que los avances arquitectónicos pueden desplazar la relación entre el tamaño del model y el rendimiento.
Comentarios adicionales muestran que los algoritmos de entrenamiento influyen en la eficacia con la que se aplican las leyes de escalado. Estas ideas implican que el escalado simple de parámetros no puede continuar indefinidamente y que el progreso dependerá cada vez más de nuevos métodos de entrenamiento y arquitecturas de model.
Añadir como fuente preferidaPreguntas frecuentes
Los large language models se entrenan como neural language models que predicen el siguiente token en el lenguaje natural. El término leyes de escalado de LLM describe regularidades empíricas que vinculan el rendimiento de los model con el tamaño del model, los datos de entrenamiento y los recursos de cómputo. Estas relaciones se definen como funciones de ley de potencia en la literatura académica. Implican que el rendimiento de los language models mejora de manera predecible cuando los investigadores asignan más recursos computacionales a los parámetros del model y al tamaño de los datos de entrenamiento.
La idea fundacional en la literatura es que la pérdida del model disminuye cuando a los models se les dan más parámetros, más tokens de entrenamiento y más cómputo. Estas reglas han moldeado la forma en que los investigadores entrenan models más grandes y evalúan el equilibrio entre el número de parámetros y la disponibilidad de datos de entrenamiento suficientes. También respaldan las decisiones sobre cómo asignar un presupuesto de cómputo entre las arquitecturas de model y los datos de entrenamiento disponibles.
Comprender estas relaciones es esencial porque las organizaciones dependen de las leyes de escalado de los language models para pronosticar las ganancias de rendimiento alcanzables al escalar los parámetros del model o recopilar más datos de entrenamiento. También ayudan a los equipos a identificar cuándo los models más pequeños entrenados con más datos pueden ofrecer un rendimiento similar al de los models más grandes que están subentrenados.
Deben comprobar si los proveedores alinean los parámetros del model con la cantidad de datos de entrenamiento y considerar el costo de inference durante la selección. Los models entrenados con escalado óptimo en cómputo a menudo igualan el rendimiento de los models más grandes y reducen los costes operativos.
Los equipos pueden entrenar models más pequeños y ajustar leyes de escalado para predecir cómo se desempeñarán los models más grandes. El escalado multi-habilidades muestra que unas pocas habilidades subyacentes impulsan el rendimiento en distintos benchmarks, lo que ayuda a evitar ejecuciones de entrenamiento improductivas y orienta la asignación de cómputo.
Deben seguir las tendencias de eficiencia de los parámetros para identificar los models que ofrecen un mejor rendimiento con menos parámetros. Las mejoras en la arquitectura y los algoritmos de entrenamiento desempeñan un papel importante, por lo que la selección de model debe centrarse en las ganancias de rendimiento generales y no solo en el número de parámetros.
Cita esta investigación
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{ermut2026,
author = {Ermut, Sıla},
title = {{LLM Leyes de escalado: análisis de investigadores de IA}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/llm-scaling-laws}},
note = {AIMultiple. Recuperado el 24 de Julio de 2026}
}Enlaces de referencia
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.