LLM Leyes de Escalado: Análisis de Investigadores de IA

Los modelos de lenguaje grandes predicen el siguiente token basándose en patrones aprendidos de datos de texto. El término LLM leyes de escalado se refiere a regularidades empíricas que vinculan el rendimiento del modelo con la cantidad de cómputo, datos de entrenamiento y parámetros del modelo utilizados durante el entrenamiento.

Para comprender cómo estas relaciones influyen en el diseño moderno de modelos en la práctica, revisamos hallazgos de cinco artículos académicos y perspectivas de tres importantes laboratorios e investigadores de IA.

Puntos clave

Los principales investigadores convergen en las siguientes ideas clave:

• El rendimiento del modelo no depende únicamente del número de parámetros. La cantidad y calidad de los datos son igualmente críticas.
• Las decisiones de escalado deben basarse en los requisitos de la tarea en lugar de asumir que los modelos más grandes son siempre mejores.
• Las arquitecturas eficientes en parámetros pueden lograr un rendimiento competitivo con menores costos de entrenamiento e inferencia.
• En implementaciones del mundo real, los costos de inferencia pueden superar los costos de entrenamiento y deben considerarse al elegir el tamaño del modelo.

Evidencia de la investigación académica sobre leyes de escalado

"Leyes de Escalado para Modelos de Lenguaje Neurales", Kaplan & McCandlish, 2020

Kaplan et al. introdujeron las primeras leyes de escalado ampliamente citadas para modelos de lenguaje neurales.

En su análisis, el rendimiento del modelo sigue relaciones de ley de potencias con respecto a tres variables clave: el número de parámetros del modelo, el tamaño del conjunto de datos de entrenamiento (medido en tokens) y el cómputo total de entrenamiento.

Al variar sistemáticamente estos tres factores, los autores mostraron que aumentar cualquiera de ellos conduce a reducciones predecibles en la pérdida, siempre que los demás se escalen apropiadamente.

Figura 1: La figura muestra cómo cambia la pérdida de prueba con el tamaño del modelo bajo diferentes presupuestos de cómputo y conteos de pasos de entrenamiento, revelando el equilibrio óptimo entre el tamaño del modelo, el cómputo y la duración del entrenamiento para el mejor rendimiento.

Este trabajo estableció la base para investigaciones posteriores sobre leyes de escalado de modelos de lenguaje. También demostró que la forma y profundidad del modelo tienen un efecto menor que el número total de parámetros y los tokens de entrenamiento cuando el cómputo es fijo. Esta idea influyó en cómo los investigadores posteriores diseñaron algoritmos de entrenamiento para modelos de lenguaje grandes.¹

"Entrenamiento de Modelos de Lenguaje Grandes Óptimos en Cómputo", Hoffmann, Borgeaud & Mensch, 2022

Este artículo reevalúa las leyes anteriores para modelos de lenguaje neurales utilizando un gran conjunto de experimentos controlados. Modela la pérdida como una función conjunta de los parámetros del modelo y el tamaño de los datos de entrenamiento, y encuentra que muchos modelos grandes anteriores estaban subentrenados para su número de parámetros. Cuando los investigadores entrenan modelos más grandes con datos de entrenamiento insuficientes, la calidad resultante del modelo no se alinea con las predicciones de las leyes de escalado tradicionales.

Los autores muestran que, para un presupuesto de cómputo fijo, el rendimiento óptimo se logra cuando los modelos utilizan conteos de parámetros y tokens de entrenamiento de órdenes de magnitud similares. Este resultado es ampliamente conocido como la ley de escalado Chinchilla. Establece que el entrenamiento óptimo de cómputo requiere una relación casi proporcional entre el número de parámetros y el número de tokens de entrenamiento.

Este enfoque produce modelos más pequeños que funcionan mejor que modelos más grandes entrenados con datos limitados. También respalda la selección eficiente de modelos, ya que los investigadores pueden ajustar leyes de escalado a modelos más pequeños y predecir el rendimiento de modelos de lenguaje para configuraciones más grandes antes de entrenar.

Figura 2: La figura superpone predicciones de varios métodos, todos indicando que los modelos grandes de hoy son demasiado grandes y deberían ser más pequeños y entrenados por más tiempo.²

"Más allá de Óptimo Chinchilla: Contabilizando la Inferencia en las Leyes de Escalado de Modelos de Lenguaje", Sardana, Portes & Doubov, 2025

Sardana et al. extienden el marco Chinchilla incorporando costos de inferencia en el escalado óptimo de cómputo.

En lugar de minimizar solo el cómputo de entrenamiento, fijan un nivel de rendimiento objetivo y optimizan el costo combinado de entrenamiento e inferencia durante la vida útil del modelo.

Este cambio conduce a una idea práctica importante: en entornos de alto uso, modelos más pequeños entrenados con más datos a menudo pueden igualar el rendimiento de modelos más grandes mientras incurren en costos totales de cómputo más bajos.

Figura 3: Los gráficos comparan las relaciones de costo total, número de parámetros y tokens de entrenamiento entre modelos óptimos en costos del mundo real y modelos estilo Chinchilla.³

"Sloth: Leyes de escalado para habilidades de LLM para predecir el rendimiento multi-referencia entre familias", Polo, Somerstep & Choshen, 2025

Sloth introduce un nuevo enfoque para modelar leyes de escalado para modelos de lenguaje grandes cambiando el enfoque de la pérdida del modelo al rendimiento a nivel de referencia. En lugar de tratar las tareas por separado, Sloth identifica un conjunto de habilidades latentes que capturan el rendimiento de los modelos de lenguaje en diferentes referencias. Estas habilidades representan capacidades generales como el razonamiento o la recuperación de conocimientos.

El marco modela cómo escala cada habilidad con los parámetros del modelo y los datos de entrenamiento. Sloth utiliza características simples, como los logaritmos de los tamaños del modelo y del conjunto de datos, para describir cómo cambian estas habilidades dentro de una familia de modelos. Una vez ajustado, Sloth puede predecir cómo se desempeñarán modelos más grandes en la misma familia en muchas referencias sin entrenarlos.

Al usar las predicciones de Sloth, las organizaciones pueden decidir dónde asignar recursos computacionales y evitar configuraciones de entrenamiento poco probables de lograr el rendimiento deseado. Esto respalda una planificación más racional de modelos de entrenamiento bajo restricciones del mundo real.⁴

"Ley de Densificación de LLMs", Xiao, Cai & Zhao, 2025

El artículo examina qué tan eficientemente los modelos utilizan sus parámetros. Introduce el concepto de densidad de capacidad, definida como la relación entre el número de parámetros efectivos de un modelo y su número de parámetros reales. El número de parámetros efectivos se estima ajustando leyes de escalado a modelos existentes y preguntando qué tan grande debería ser un modelo de referencia para igualar el rendimiento actual.

Los autores observan que los mejores modelos en cada punto temporal muestran una densidad de capacidad creciente. Esto significa que los modelos más nuevos logran un rendimiento dado con menos parámetros que los modelos más antiguos. La tendencia parece aproximadamente exponencial a lo largo del tiempo.

Esta observación sugiere que el progreso en los modelos de lenguaje grandes no se trata solo de escalar el tamaño del modelo, sino también de mejorar la arquitectura del modelo, la calidad de los datos de entrenamiento y los algoritmos de entrenamiento. El artículo argumenta que rastrear la eficiencia de los parámetros es esencial para comprender las direcciones futuras en el procesamiento del lenguaje natural y el aprendizaje automático.

Figura 4: El gráfico muestra la densidad de capacidad estimada para LLMs base de código abierto en cinco referencias de razonamiento y codificación, con el tamaño del círculo indicando el número de parámetros del modelo, y una línea de tendencia que sugiere una "ley de densificación" en la que la densidad de capacidad máxima aumenta exponencialmente con el tiempo.⁵

Opiniones sobre leyes de escalado de LLM de importantes laboratorios e investigadores de IA

Más allá de las leyes de escalado académicas, los investigadores y profesionales de la industria enfatizan cómo estos principios se traducen en el desarrollo e implementación de modelos del mundo real.

Las siguientes perspectivas ilustran cómo diferentes partes interesadas, desde proveedores de hardware hasta investigadores aplicados, interpretan y aplican las leyes de escalado en la práctica.

NVIDIA, 2025

Desde una perspectiva de infraestructura, NVIDIA presenta las leyes de escalado como herramientas prácticas para diseñar y entrenar modelos de lenguaje grandes. Destaca tres ejes principales de escalado:

• Tamaño del modelo.
• Tamaño del conjunto de datos.
• Recursos de cómputo.

Según NVIDIA, escalar cualquiera de estos factores en el régimen correcto resulta en mejoras predecibles en la calidad del modelo.

El artículo también enfatiza la importancia del cómputo en tiempo de prueba. Los sistemas modernos pasan más tiempo en inferencia utilizando técnicas como secuencias de razonamiento extendidas. Esto añade una nueva dimensión a las leyes de escalado, extendiéndose más allá del enfoque original en tokens de entrenamiento y parámetros del modelo.

NVIDIA utiliza estas ideas para explicar por qué la demanda de recursos de cómputo continúa creciendo, incluso a medida que los modelos se vuelven más eficientes en parámetros. Sugiere que tanto el entrenamiento como la inferencia seguirán siendo impulsores significativos del uso de cómputo en futuros sistemas de procesamiento del lenguaje natural.⁶

Cameron Wolfe, investigador de LLM en Netflix, 2025

Desde el punto de vista de un profesional, Cameron Wolfe explica cómo las relaciones de ley de potencias originales de la literatura académica se aplican a los modelos actuales y cómo los profesionales pueden usar estas curvas para estimar el rendimiento alcanzable del modelo antes de entrenar modelos más grandes.

Wolfe discute los roles de la forma y arquitectura del modelo en el escalado y señala que, aunque las leyes de escalado tradicionales se centran en el número de parámetros, los sistemas prácticos también deben considerar la calidad de los datos y los algoritmos de entrenamiento. La pieza destaca preocupaciones sobre la disponibilidad de datos de alta calidad y cómo estas restricciones pueden afectar el entrenamiento de futuros modelos más grandes.

La discusión presenta las leyes de escalado como guía para evaluar modelos existentes y para estimar cómo puede cambiar el rendimiento del modelo cuando se expanden los datos de entrenamiento o cuando se ajustan los parámetros del modelo.⁷

Laboratorio de IA MIT-IBM Watson, 2025

Tomando una visión más metodológica, los investigadores del Laboratorio de IA MIT-IBM Watson analizan las leyes de escalado en múltiples arquitecturas y conjuntos de datos.

Los investigadores compiló un amplio metadataset que incluye 485 modelos preentrenados, metadatos detallados de entrenamiento y más de 1 millón de mediciones de rendimiento. Este conjunto de datos se utiliza para probar más de 1,000 leyes de escalado candidatas e identificar patrones que se generalizan entre diferentes familias de modelos.

El estudio describe pasos claros para ajustar leyes de escalado bajo restricciones de cómputo. Recomienda definir un presupuesto de cómputo y un rendimiento objetivo, luego entrenar una pequeña colección de modelos de diferentes tamaños en lugar de centrarse en los modelos más grandes. Los puntos de control intermedios se destacan como fuentes valiosas de información, mientras que los datos de entrenamiento muy tempranos se desalientan debido al ruido.

Los autores muestran que cuando se siguen estas pautas, las predicciones pueden acercarse al límite inferior establecido por la variabilidad de la semilla aleatoria. Incluso cuando las predicciones son menos precisas, las leyes de escalado siguen siendo útiles para comparar opciones de entrenamiento e identificar configuraciones prometedoras.

El trabajo nota que el rendimiento varía significativamente entre familias de modelos, lo que refuerza la importancia de usar configuraciones de entrenamiento diversas al ajustar leyes de escalado.⁸

¿Qué dicen los principales investigadores sobre el futuro del escalado?

Vistas que apoyan la validez continua de las leyes de escalado

En todo el panorama de investigación, hay evidencia consistente de que las leyes de escalado se mantienen dentro de los regímenes probados. El trabajo fundamental muestra claras relaciones de ley de potencias entre los parámetros del modelo, el tamaño de los datos de entrenamiento y el cómputo de entrenamiento cuando los modelos se entrenan en entornos equilibrados.

Estudios posteriores refinan este panorama al demostrar que el entrenamiento óptimo de cómputo requiere alinear el tamaño del modelo con el volumen de tokens de entrenamiento, y que esta alineación mejora el rendimiento del modelo en comparación con enfoques anteriores.

Trabajo adicional sobre evaluación de múltiples tareas muestra que el rendimiento de referencia también escala de manera predecible cuando se expresa en términos de un conjunto más pequeño de habilidades latentes. Esto refuerza la visión de que las leyes de escalado de modelos de lenguaje siguen siendo herramientas confiables para pronosticar el rendimiento del modelo cuando el tamaño del conjunto de datos y los recursos de cómputo se asignan apropiadamente.

Vistas que enfatizan la asignación eficiente de cómputo

Una segunda línea de investigación argumenta que el progreso depende cada vez más de cómo se distribuye el cómputo en lugar de expandir solo el número de parámetros. Análisis de entrenamiento óptimo de cómputo muestran que los modelos requieren suficientes datos de entrenamiento para alcanzar su potencial y que los modelos más grandes entrenados con datos limitados a menudo son ineficientes.

El trabajo que incorpora costos de inferencia extiende esta idea al mostrar que el costo total de un modelo depende tanto del cómputo de entrenamiento como del cómputo de tiempo de inferencia.

Esta perspectiva sugiere que los futuros esfuerzos de escalado enfatizarán configuraciones eficientes que optimicen conjuntamente el tamaño del modelo, los tokens de entrenamiento y el volumen de inferencia esperado. Enmarca el diseño de modelos de lenguaje grandes como un ejercicio en asignación de cómputo en lugar de como una búsqueda de crecimiento máximo de parámetros.

Vistas que enfatizan la creciente importancia de la eficiencia y la densidad

Otro punto de vista se centra en la eficiencia de los parámetros y el uso efectivo de los recursos computacionales. La investigación que rastrea la densidad de parámetros muestra que los modelos más nuevos logran un rendimiento más fuerte con menos parámetros que los modelos anteriores. Esto indica que las mejoras arquitectónicas, la calidad de los datos y los algoritmos de entrenamiento juegan un papel significativo en las ganancias de rendimiento.

El comentario técnico también destaca la creciente importancia del comportamiento de inferencia y las mejoras posteriores al entrenamiento. Cuando se combinan, estos hallazgos sugieren que los sistemas futuros dependerán de un diseño eficiente de modelos y mejores métodos de entrenamiento en lugar de una expansión descontrolada del número de parámetros. El énfasis se desplaza de modelos más grandes a modelos más capaces que utilizan sus parámetros de manera más efectiva.

No te pierdas nuestros análisis comparativos e insights basados en datos. El botón abre Google; seleccionar AIMultiple confirma que deseas ver AIMultiple con más frecuencia en los resultados de búsqueda de Google.

Añadir como fuente preferida

Restricciones en el futuro escalado de LLM

Límites de cómputo y energía

Un tema recurrente en la literatura es la alta demanda de cómputo requerida para entrenar e implementar modelos de lenguaje grandes. Entrenar modelos grandes consume recursos de cómputo significativos, mientras que la inferencia a escala incurre en costos operativos sustanciales.

Estos factores imponen límites económicos al escalado incluso cuando las leyes de escalado teóricas indican mayores ganancias. A medida que los modelos crecen, el consumo de energía y los requisitos de hardware se vuelven cada vez más difíciles de gestionar.

Restricciones de disponibilidad de datos

Otra restricción es la disponibilidad de datos de alta calidad. Las formulaciones tradicionales de leyes de escalado asumen acceso a abundantes datos de entrenamiento, pero esta suposición ya no es confiable.

Varios análisis señalan el suministro limitado de texto de alta calidad y la creciente necesidad de datos curados o datos sintéticos. A medida que el tamaño de los datos de entrenamiento se convierte en un factor limitante, la calidad de los datos se vuelve tan crucial como el número de parámetros para determinar el rendimiento del modelo.

Restricciones económicas y de presupuesto de cómputo

El escalado práctico no está limitado solo por factores técnicos, sino también por consideraciones financieras y organizacionales. La investigación que se centra en la predicción de rendimiento muestra que la planificación del presupuesto de cómputo es esencial para determinar qué ejecuciones de entrenamiento son factibles.

El comentario sobre las prácticas de la industria destaca el creciente costo del cómputo y la necesidad de que las organizaciones asignen sus recursos cuidadosamente. Estos factores limitan hasta dónde se puede impulsar el escalado en entornos del mundo real.

Restricciones algorítmicas y arquitectónicas

La investigación sobre leyes de escalado enfatiza que las mejoras predecibles ocurren solo cuando los modelos se entrenan en regímenes equilibrados. El trabajo que analiza la eficiencia de los parámetros demuestra que los avances arquitectónicos pueden cambiar la relación entre el tamaño del modelo y el rendimiento.

El comentario adicional muestra que los algoritmos de entrenamiento influyen en qué tan efectivamente se aplican las leyes de escalado. Estas ideas implican que el escalado simple de parámetros no puede continuar indefinidamente y que el progreso dependerá cada vez más de nuevos métodos de entrenamiento y arquitecturas de modelos.

Preguntas frecuentes

Cita esta investigación

Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.

@misc{ermut2026,
  author = {Ermut, Sıla},
  title  = {{LLM Leyes de Escalado: Análisis de Investigadores de IA}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/llm-scaling-laws}},
  note   = {AIMultiple. Recuperado el 22 de Mayo de 2026}
}

Enlaces de referencia

1.

https://arxiv.org/pdf/2509.25300

2.

https://arxiv.org/pdf/2510.18245

3.

Densing law of LLMs | Nature Machine Intelligence

Nature Publishing Group UK

4.

https://arxiv.org/pdf/2412.06540

5.

https://arxiv.org/pdf/2401.00448

6.

Can AI scaling continue through 2030? | Epoch AI

7.

https://arxiv.org/pdf/2203.15556

8.

https://arxiv.org/pdf/2001.08361

Sıla Ermut

Analista de la industria

Síguenos

Sıla Ermut es analista de la industria en AIMultiple, especializada en marketing por correo electrónico y vídeos de ventas. Anteriormente trabajó como reclutadora en empresas de gestión de proyectos y consultoría. Sıla es licenciada en Psicología Social y en Relaciones Internacionales.

Ver perfil completo

Sé el primero en comentar

Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.

Nombre

Dirección de correo electrónico

Comentario

0/450

Publicar comentario