LLM Leyes de Escalado: Análisis de Investigadores de IA

Modelos de lenguaje grandes predicen el siguiente token basándose en patrones aprendidos de los datos de texto. El término LLM leyes de escalado se refiere a regularidades empíricas que vinculan el rendimiento del modelo con la cantidad de cómputo, datos de entrenamiento y parámetros del modelo utilizados durante el entrenamiento.

Para entender cómo estas relaciones influyen en el diseño de modelos modernos en la práctica, revisamos hallazgos de 8 artículos académicos y perspectivas de 3 importantes laboratorios e investigadores de IA.

Conclusiones clave del análisis de las leyes de escalado de LLM

Los principales investigadores convergen en las siguientes ideas clave:

• El rendimiento del modelo no depende únicamente del número de parámetros. La cantidad y calidad de los datos son igualmente críticas.
• Las decisiones de escalado deben basarse en los requisitos de la tarea en lugar de asumir que los modelos más grandes siempre son mejores.
• Las arquitecturas eficientes en parámetros pueden lograr un rendimiento competitivo con menores costos de entrenamiento e inferencia.
• En despliegues del mundo real, los costos de inferencia pueden superar los costos de entrenamiento y deben considerarse al elegir el tamaño del modelo.

Evidencia de la investigación académica sobre leyes de escalado

“Comportamientos de escalado del post-entrenamiento con aprendizaje por refuerzo de LLM”, Zhang, Yin et al.

El artículo 'Scaling Behaviors of LLM Reinforcement Learning Post-Training' (2026) examina cómo el aprendizaje por refuerzo durante el post-entrenamiento escala con el tamaño del modelo y el cómputo.

Los autores realizan un estudio empírico en modelos de escalas variadas y encuentran que la relación entre la pérdida de prueba, el cómputo y los datos se puede modelar utilizando una ley de potencia predictiva. Este patrón se mantiene tanto en modelos base como en modelos ajustados por instrucciones, lo que sugiere que el post-entrenamiento con aprendizaje por refuerzo sigue regularidades similares a las observadas en el preentrenamiento.

Sin embargo, el análisis también identifica una tendencia de saturación latente en el término de eficiencia de aprendizaje. Aunque los modelos más grandes logran una mayor eficiencia de aprendizaje, los rendimientos disminuyen a medida que crece la escala.

Esto indica que el escalado del aprendizaje por refuerzo tiene límites incorporados que difieren de los observados en el preentrenamiento y que los profesionales deben tener en cuenta estos límites al asignar cómputo a las etapas de post-entrenamiento.¹

“Las leyes de escalado se encuentran con la arquitectura de modelos: hacia LLMs eficientes en inferencia”, Bian, Yu, Venkataraman & Park

Bian et al. (2025) se basan en el marco Chinchilla incorporando la arquitectura del modelo en el escalado óptimo en cómputo. Las leyes de escalado tradicionales tratan el número de parámetros y los tokens de entrenamiento como las variables principales, pero a medida que el costo de inferencia se convierte en una preocupación principal, las elecciones arquitectónicas determinan cada vez más la eficiencia de implementación.

Los autores introducen una ley de escalado condicional que añade información arquitectónica al marco Chinchilla. Examinan cómo el tamaño oculto, la asignación de parámetros entre capas MLP y de atención, y la atención de consulta agrupada influyen tanto en la precisión como en el costo de inferencia. El marco también incluye un procedimiento de búsqueda para identificar configuraciones que sean simultáneamente eficientes en inferencia y precisas.

Para validar el enfoque, los autores entrenan más de 200 modelos que van desde 80 millones hasta 3 mil millones de parámetros en 8 mil millones a 100 mil millones de tokens de entrenamiento. Los resultados sugieren que las decisiones arquitectónicas pueden desplazar la relación entre el tamaño del modelo y el costo de inferencia de manera predecible. Este hallazgo respalda la tendencia más amplia de tratar la arquitectura del modelo como un factor ajustable en el escalado en lugar de una elección fija realizada antes de que comience el entrenamiento.

Figura 1: Resultados del barrido de escalado que muestran el rendimiento de inferencia (izquierda) y los contornos de pérdida de entrenamiento predichos (derecha) a través del tamaño oculto y la relación MLP-atención.²

“Ley de densificación de los LLMs”, Xiao, Cai & Zhao

La Ley de densificación de los LLMs (2025) examina con qué eficiencia los modelos utilizan sus parámetros. Introduce el concepto de densidad de capacidad, definida como la relación entre el número efectivo de parámetros de un modelo y su número real de parámetros. El número efectivo de parámetros se estima ajustando leyes de escalado a modelos existentes y preguntando qué tan grande necesitaría ser un modelo de referencia para igualar el rendimiento actual.

Los autores observan que los mejores modelos en cada momento muestran una densidad de capacidad creciente. Esto significa que los modelos más nuevos logran un rendimiento dado con menos parámetros que los modelos más antiguos. La tendencia parece aproximadamente exponencial.

Esta observación sugiere que el progreso en los modelos de lenguaje grandes no se trata solo de escalar el tamaño del modelo, sino también de mejorar la arquitectura del modelo, la calidad de los datos de entrenamiento y los algoritmos de entrenamiento. El artículo argumenta que el seguimiento de la eficiencia de parámetros es esencial para comprender las direcciones futuras en el procesamiento del lenguaje natural y el aprendizaje automático.

Figura 2: El gráfico muestra la densidad de capacidad estimada para los LLMs base de código abierto en cinco benchmarks de razonamiento y codificación, con el tamaño del círculo indicando el número de parámetros del modelo, y una línea de tendencia que sugiere una “ley de densificación” en la que la densidad de capacidad máxima aumenta exponencialmente.³

“Sloth: Leyes de escalado para habilidades de LLM para predecir el rendimiento multi-benchmark entre familias”, Polo, Somerstep & Choshen

Sloth introduce un nuevo enfoque en Sloth: Leyes de escalado para habilidades de LLM para predecir el rendimiento multi-benchmark entre familias (2025), cambiando el enfoque de la pérdida del modelo al rendimiento a nivel de benchmark. En lugar de tratar las tareas por separado, Sloth identifica un conjunto de habilidades latentes que capturan el rendimiento de los modelos de lenguaje en diferentes benchmarks. Estas habilidades representan capacidades generales como el razonamiento o la recuperación de conocimiento.

El marco modela cómo cada habilidad escala con los parámetros del modelo y los datos de entrenamiento. Sloth utiliza características simples, como los logaritmos de los tamaños del modelo y del conjunto de datos, para describir cómo cambian estas habilidades dentro de una familia de modelos. Una vez ajustado, Sloth puede predecir cómo se desempeñarán los modelos más grandes de la misma familia en muchos benchmarks sin necesidad de entrenarlos.

Al utilizar las predicciones de Sloth, las organizaciones pueden decidir dónde asignar recursos computacionales y evitar configuraciones de entrenamiento que probablemente no alcancen el rendimiento deseado. Esto respalda una planificación más racional del entrenamiento de modelos bajo restricciones del mundo real.⁴

“Más allá del óptimo de Chinchilla: teniendo en cuenta la inferencia en las leyes de escalado de modelos de lenguaje”, Sardana, Portes & Doubov

En Más allá del óptimo de Chinchilla: teniendo en cuenta la inferencia en las leyes de escalado de modelos de lenguaje (2025), Sardana et al. extienden el marco Chinchilla incorporando los costos de inferencia en el escalado óptimo en cómputo.

En lugar de minimizar solo el cómputo de entrenamiento, fijan un nivel de rendimiento objetivo y optimizan el costo combinado de entrenamiento e inferencia durante la vida útil del modelo.

Este cambio conduce a una importante visión práctica: en entornos de alto uso, los modelos más pequeños entrenados con más datos a menudo pueden igualar el rendimiento de modelos más grandes incurriendo en costos totales de cómputo más bajos.

Figura 3: Los gráficos comparan las relaciones de costo total, número de parámetros y tokens de entrenamiento entre modelos óptimos en costo del mundo real y modelos de estilo Chinchilla.⁵

“¿Puede continuar el escalado de la IA hasta 2030?”, Epoch IA

Epoch IA examinó en 2024 si el ritmo actual de escalado del entrenamiento de IA, aproximadamente cuatro veces por año, puede continuar hasta el final de la década. El análisis se centra en cuatro posibles limitaciones: disponibilidad de energía, capacidad de fabricación de chips, escasez de datos y la barrera de latencia impuesta por los requisitos de computación secuencial.

Los autores estiman que las ejecuciones de entrenamiento de 2e29 FLOP probablemente serán factibles para 2030. Proyectan que los datos multimodales ampliarán las reservas efectivas de datos de entrenamiento a entre 450 billones y 23 cuatrillones de tokens, lo que permitirá ejecuciones de entrenamiento de 6e28 a 2e32 FLOP. La generación de datos sintéticos podría extender esto aún más si los laboratorios de IA asignan una parte significativa del cómputo a producirlos.

El análisis identifica la disponibilidad de energía como la limitación más probable de ser la primera en ser vinculante, seguida de la capacidad de fabricación de chips. La escasez de datos se convierte en un problema significativo en el mismo período, mientras que la barrera de latencia es menos probable que sea vinculante en el corto plazo.

El trabajo de Epoch traduce el concepto abstracto de límites de escalado en límites cuantitativos específicos, proporcionando a las organizaciones puntos de referencia para la planificación a largo plazo en torno a los recursos de cómputo y las inversiones en infraestructura.⁶

“Modelos de lenguaje grandes óptimos en cómputo de entrenamiento”, Hoffmann, Borgeaud & Mensch

El artículo Modelos de lenguaje grandes óptimos en cómputo de entrenamiento (2022) reevalúa leyes anteriores para modelos de lenguaje neuronal utilizando un gran conjunto de experimentos controlados. Modela la pérdida como una función conjunta de los parámetros del modelo y el tamaño de los datos de entrenamiento, y encuentra que muchos modelos grandes anteriores estaban subentrenados para su número de parámetros. Cuando los investigadores entrenan modelos más grandes con datos de entrenamiento insuficientes, la calidad resultante del modelo no se alinea con las predicciones de las leyes de escalado tradicionales.

Los autores muestran que, para un presupuesto de cómputo fijo, el rendimiento óptimo se logra cuando los modelos utilizan recuentos de parámetros y tokens de entrenamiento de órdenes de magnitud similares. Este resultado se conoce ampliamente como la ley de escalado de Chinchilla. Establece que el entrenamiento óptimo en cómputo requiere una relación casi proporcional entre el número de parámetros y el número de tokens de entrenamiento.

Este enfoque produce modelos más pequeños que funcionan mejor que los modelos más grandes entrenados con datos limitados. También respalda la selección eficiente de modelos, ya que los investigadores pueden ajustar leyes de escalado a modelos más pequeños y predecir el rendimiento del modelo de lenguaje para configuraciones más grandes antes del entrenamiento.

Figura 4: La figura superpone predicciones de varios métodos, todos indicando que los modelos grandes actuales son sobredimensionados y deberían ser más pequeños y entrenarse por más tiempo.⁷

“Leyes de escalado para modelos de lenguaje neuronal”, Kaplan & McCandlish

Kaplan et al. introdujeron las primeras leyes de escalado ampliamente citadas para modelos de lenguaje neuronal en Leyes de escalado para modelos de lenguaje neuronal (2020).

En su análisis, el rendimiento del modelo sigue relaciones de ley de potencia con respecto a tres variables clave: el número de parámetros del modelo, el tamaño del conjunto de datos de entrenamiento (medido en tokens) y el cómputo total de entrenamiento.

Al variar sistemáticamente estos tres factores, los autores demostraron que aumentar cualquiera de ellos conduce a reducciones predecibles en la pérdida, siempre que los demás se escalen adecuadamente.

Figura 5: La figura muestra cómo cambia la pérdida de prueba con el tamaño del modelo bajo diferentes presupuestos de cómputo y recuentos de pasos de entrenamiento, revelando el equilibrio óptimo entre el tamaño del modelo, el cómputo y la duración del entrenamiento para el mejor rendimiento.

Este trabajo estableció la base para investigaciones posteriores sobre leyes de escalado de modelos de lenguaje. También demostró que la forma y la profundidad del modelo tienen un efecto menor que el número total de parámetros y los tokens de entrenamiento cuando el cómputo es fijo. Esta idea influyó en cómo los investigadores posteriores diseñaron algoritmos de entrenamiento para modelos de lenguaje grandes.⁸

Opiniones sobre las leyes de escalado de LLM de importantes laboratorios e investigadores de IA

Más allá de las leyes de escalado académicas, los investigadores y profesionales de la industria enfatizan cómo estos principios se traducen en el desarrollo e implementación de modelos en el mundo real.

Las siguientes perspectivas ilustran cómo diferentes partes interesadas, desde proveedores de hardware hasta investigadores aplicados, interpretan y aplican las leyes de escalado en la práctica.

NVIDIA

Desde una perspectiva de infraestructura, NVIDIA presentó las leyes de escalado como herramientas prácticas para diseñar y entrenar modelos de lenguaje grandes en 2025. Destaca tres ejes principales de escalado:

• Tamaño del modelo.
• Tamaño del conjunto de datos.
• Recursos de cómputo.

Según NVIDIA, escalar cualquiera de estos factores en el régimen correcto da como resultado mejoras predecibles en la calidad del modelo.

El artículo también enfatiza la importancia del cómputo en tiempo de prueba. Los sistemas modernos dedican más tiempo a la inferencia utilizando técnicas como secuencias de razonamiento extendidas. Esto añade una nueva dimensión a las leyes de escalado, extendiéndose más allá del enfoque original en los tokens de entrenamiento y los parámetros del modelo.

NVIDIA utiliza estas ideas para explicar por qué la demanda de recursos de cómputo continúa creciendo, incluso a medida que los modelos se vuelven más eficientes en parámetros. Sugiere que tanto el entrenamiento como la inferencia seguirán siendo impulsores significativos del uso de cómputo en los futuros sistemas de procesamiento del lenguaje natural.⁹

Cameron Wolfe, investigador de LLM en Netflix

Desde el punto de vista de un profesional, Cameron Wolfe explica en 2025 cómo las relaciones originales de ley de potencia en la literatura académica se aplican a los modelos actuales y cómo los profesionales pueden usar estas curvas para estimar el rendimiento alcanzable del modelo antes de entrenar modelos más grandes.

Wolfe discute los roles de la forma y la arquitectura del modelo en el escalado y señala que, si bien las leyes de escalado tradicionales se centran en el número de parámetros, los sistemas prácticos también deben considerar la calidad de los datos y los algoritmos de entrenamiento. El artículo destaca las preocupaciones sobre la disponibilidad de datos de alta calidad y cómo estas limitaciones pueden afectar el entrenamiento de futuros modelos más grandes.

La discusión presenta las leyes de escalado como guía para evaluar modelos existentes y para estimar cómo puede cambiar el rendimiento del modelo cuando se amplían los datos de entrenamiento o cuando se ajustan los parámetros del modelo.¹⁰

Laboratorio de IA Watson de MIT-IBM

Adoptando una visión más metodológica, los investigadores del Laboratorio de IA Watson de MIT-IBM analizan las leyes de escalado en múltiples arquitecturas y conjuntos de datos en 2025.

Los investigadores compilan un amplio meta-conjunto de datos que incluye 485 modelos preentrenados, metadatos detallados de entrenamiento y 1.9 millones de métricas de rendimiento. Los modelos provienen de 40 familias de modelos (Pythia, OPT, OLMo, LLaMA, Bloom, T5-Pile, GPT, y más). Este conjunto de datos se utiliza para probar más de 1,000 leyes de escalado candidatas e identificar patrones que se generalizan en diferentes familias de modelos.

El estudio describe pasos claros para ajustar leyes de escalado bajo restricciones de cómputo. Recomienda definir un presupuesto de cómputo y un rendimiento objetivo, luego entrenar una pequeña colección de modelos de diferentes tamaños en lugar de centrarse en los modelos más grandes. Los puntos de control intermedios se destacan como fuentes valiosas de información, mientras que se desaconseja el uso de datos de entrenamiento tempranos debido al ruido.

Los autores muestran que cuando se siguen estas pautas, las predicciones pueden acercarse al límite inferior establecido por la variabilidad de semilla aleatoria. Incluso cuando las predicciones son menos precisas, las leyes de escalado siguen siendo útiles para comparar opciones de entrenamiento e identificar configuraciones prometedoras.

El trabajo señala que el rendimiento varía significativamente entre familias de modelos, lo que refuerza la importancia de utilizar configuraciones de entrenamiento diversas al ajustar leyes de escalado.¹¹

¿Qué dicen los investigadores líderes sobre el futuro del escalado?

Opiniones que respaldan la validez continua de las leyes de escalado

En el panorama de la investigación, hay evidencia consistente de que las leyes de escalado se mantienen dentro de los regímenes probados. El trabajo fundamental muestra claras relaciones de ley de potencia entre los parámetros del modelo, el tamaño de los datos de entrenamiento y el cómputo de entrenamiento cuando los modelos se entrenan en configuraciones equilibradas.

Estudios posteriores refinan esta imagen demostrando que el entrenamiento óptimo en cómputo requiere alinear el tamaño del modelo con el volumen de tokens de entrenamiento, y que esta alineación mejora el rendimiento del modelo en relación con enfoques anteriores.

Trabajos adicionales sobre evaluación multitarea muestran que el rendimiento en benchmarks también escala de manera predecible cuando se expresa en términos de un conjunto más pequeño de habilidades latentes. Esto refuerza la opinión de que las leyes de escalado de modelos de lenguaje siguen siendo herramientas confiables para pronosticar el rendimiento del modelo cuando el tamaño del conjunto de datos y los recursos de cómputo se asignan de manera adecuada.

Opiniones que enfatizan la asignación eficiente de cómputo

Una segunda línea de investigación argumenta que el progreso depende cada vez más de cómo se distribuye el cómputo en lugar de solo expandir el número de parámetros. Los análisis del entrenamiento óptimo en cómputo muestran que los modelos requieren suficientes datos de entrenamiento para alcanzar su potencial y que los modelos más grandes entrenados con datos limitados a menudo son ineficientes.

El trabajo que incorpora los costos de inferencia extiende esta idea al mostrar que el costo total de un modelo depende tanto del cómputo de entrenamiento como del cómputo en tiempo de inferencia.

Esta perspectiva sugiere que los futuros esfuerzos de escalado enfatizarán configuraciones eficientes que optimicen conjuntamente el tamaño del modelo, los tokens de entrenamiento y el volumen esperado de inferencia. Enmarca el diseño de modelos de lenguaje grandes como un ejercicio de asignación de cómputo en lugar de una búsqueda de crecimiento máximo de parámetros.

Opiniones que enfatizan la creciente importancia de la eficiencia y la densidad

Otro punto de vista se centra en la eficiencia de parámetros y el uso efectivo de los recursos computacionales. La investigación que rastrea la densidad de parámetros muestra que los modelos más nuevos logran un rendimiento más fuerte con menos parámetros que los modelos anteriores. Esto indica que las mejoras arquitectónicas, la calidad de los datos y los algoritmos de entrenamiento juegan un papel significativo en las ganancias de rendimiento.

Los comentarios técnicos también destacan la creciente importancia del comportamiento de inferencia y las mejoras posteriores al entrenamiento. Cuando se combinan, estos hallazgos sugieren que los sistemas futuros dependerán de un diseño de modelo eficiente y mejores métodos de entrenamiento en lugar de una expansión incontrolada del número de parámetros. El énfasis pasa de modelos más grandes a modelos más capaces que utilizan sus parámetros de manera más efectiva.

Limitaciones del futuro escalado de los LLM

Límites de cómputo y energía

Un tema recurrente en la literatura es la gran demanda de cómputo requerida para entrenar e implementar modelos de lenguaje grandes. Entrenar modelos grandes consume importantes recursos de cómputo, mientras que la inferencia a escala incurre en costos operativos sustanciales.

Estos factores imponen límites económicos al escalado incluso cuando las leyes de escalado teóricas indican ganancias adicionales. A medida que los modelos crecen, el consumo de energía y los requisitos de hardware se vuelven cada vez más difíciles de gestionar.

Limitaciones de disponibilidad de datos

Otra limitación es la disponibilidad de datos de alta calidad. Las formulaciones tradicionales de las leyes de escalado asumen acceso a abundantes datos de entrenamiento, pero esta suposición ya no es confiable.

Varios análisis apuntan al suministro limitado de texto de alta calidad y la creciente necesidad de datos curados o sintéticos. A medida que el tamaño de los datos de entrenamiento se convierte en un factor limitante, la calidad de los datos se vuelve tan crucial como el número de parámetros para determinar el rendimiento del modelo.

Limitaciones económicas y de presupuesto de cómputo

El escalado práctico está limitado por factores técnicos, así como por consideraciones financieras y organizativas. La investigación que se centra en la predicción del rendimiento muestra que la planificación del presupuesto de cómputo es esencial para determinar qué ejecuciones de entrenamiento son factibles.

Los comentarios sobre las prácticas de la industria destacan el creciente costo del cómputo y la necesidad de que las organizaciones asignen sus recursos con cuidado. Estos factores limitan hasta dónde se puede impulsar el escalado en entornos del mundo real.

Limitaciones algorítmicas y arquitectónicas

La investigación sobre leyes de escalado enfatiza que las mejoras predecibles ocurren cuando los modelos se entrenan en regímenes equilibrados. El trabajo que analiza la eficiencia de parámetros demuestra que los avances arquitectónicos pueden desplazar la relación entre el tamaño del modelo y el rendimiento.

Comentarios adicionales muestran que los algoritmos de entrenamiento influyen en la eficacia con la que se aplican las leyes de escalado. Estas ideas implican que el escalado simple de parámetros no puede continuar indefinidamente y que el progreso dependerá cada vez más de nuevos métodos de entrenamiento y arquitecturas de modelos.

Descubre más de nuestros análisis comparativos e insights basados en datos en la Búsqueda de Google.

Añadir como fuente preferida

Preguntas frecuentes

Cita esta investigación

Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.

@misc{ermut2026,
  author = {Ermut, Sıla},
  title  = {{LLM Leyes de Escalado: Análisis de Investigadores de IA}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/llm-scaling-laws}},
  note   = {AIMultiple. Recuperado el 24 de Julio de 2026}
}

Enlaces de referencia

1.

https://arxiv.org/pdf/2509.25300

2.

https://arxiv.org/pdf/2510.18245

3.

Densing law of LLMs | Nature Machine Intelligence

Nature Publishing Group UK

4.

https://arxiv.org/pdf/2412.06540

5.

https://arxiv.org/pdf/2401.00448

6.

Can AI scaling continue through 2030? | Epoch AI

7.

https://arxiv.org/pdf/2203.15556

8.

https://arxiv.org/pdf/2001.08361

9.

How Scaling Laws Drive Smarter, More Powerful AI | NVIDIA Blog

10.

Scaling Laws for LLMs: From GPT-3 to o3

Deep (Learning) Focus

11.

How to build AI scaling laws for efficient LLM training and budget maximization | MIT News | Massachusetts Institute of Technology

Sıla Ermut

Analista de la industria

Síguenos

Sıla Ermut es una analista de la industria en AIMultiple centrada en el marketing por correo electrónico y los vídeos de ventas. Anteriormente trabajó como reclutadora en empresas de gestión de proyectos y consultoría. Sıla tiene un máster en Psicología Social y una licenciatura en Relaciones Internacionales.

Ver perfil completo

Sé el primero en comentar

Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.

Nombre

Dirección de correo electrónico

Comentario

0/450

Publicar comentario