LLM Parámetros: Tipos, Escalado y Guía de Fine-Tuning
El recuento de parámetros es una de las especificaciones más citadas de un large language model, pero no determina qué tan bien se desempeña un model ni cuánto cuesta ejecutarlo. El gráfico a continuación compara 31 models según su puntuación del índice LLM y su costo promedio por tarea en siete benchmarks.
Cuatro models forman la línea de Pareto, donde ningún otro model ofrece una puntuación más alta a un costo menor: GPT-6 Luna, Xiaomi de MiMo-V2.6-Pro, GPT-6.1 Sol y Claude Opus 5.5. El gráfico señala tres patrones:
- Rendimientos decrecientes en la cima: Claude Opus 5.5 tiene la puntuación más alta, pero su ganancia sobre GPT-6.1 Sol es pequeña en relación con la diferencia de costo. Los últimos puntos de rendimiento cuestan más.
- Un costo más alto no garantiza una puntuación más alta: La mayoría de los models se sitúan muy por debajo de la línea de Pareto, y varios cuestan más por tarea que GPT-6.1 Sol aunque obtienen una puntuación más baja. El precio refleja la tarifa del proveedor y la cantidad de tokens que genera un model.
- Los models de pesos abiertos compiten en eficiencia: MiMo-V2.6-Pro es el único model de pesos abiertos en la línea de Pareto. Alcanza una puntuación de rango medio con uno de los costes más bajos de la comparación, a pesar de tener más de un billón de parámetros totales. Debido a que utiliza una arquitectura de mezcla de expertos, una fracción de esos parámetros procesa cada token, lo que mantiene barata la inference.
Definiciones y tipos de parámetros de LLM
Un parámetro de model es una variable que un sistema de aprendizaje automático entrena por sí mismo, distinta de los valores establecidos por los operadores humanos. En la implementación de redes neuronales, los parámetros son tensores registrados con el cálculo de gradiente automático habilitado, lo que permite a los algoritmos de optimización actualizar sus valores durante la retropropagación.
Los parámetros incluyen pesos, que escalan las señales de entrada, sesgos, que compensan las activaciones, y embeddings. Proporcionan representaciones vectoriales aprendidas de tokens discretos.1
Parámetros entrenables vs hiperparámetros
Pesos, sesgos y embeddings
Pesos y sesgos
Los pesos y los sesgos constituyen los componentes aprendibles de las transformaciones lineales. En una capa totalmente conectada, la matriz de pesos tiene la forma (out_features, in_features) y escala la entrada, mientras que el vector de sesgo, de forma (out_features), desplaza la función de activación para permitir salidas distintas de cero cuando las entradas son cero.2
Dentro de un transformer, cada subcapa de atención contiene matrices de proyección de consulta, clave, valor y salida (W_q, W_k, W_v, W_o), y las implementaciones comunes como MultiheadAttention de PyTorch añaden términos de sesgo opcionales a las cuatro proyecciones.3
Embeddings
Los embeddings son la tercera categoría de parámetros: una tabla de búsqueda que almacena un vector aprendido para cada token del vocabulario, inicializada desde una distribución normal y entrenada mediante retropropagación como los demás pesos.4
La arquitectura transformer original comparte la misma matriz de pesos entre los embeddings de entrada, los embeddings de salida y la transformación lineal previa al softmax, escalando los pesos por la raíz cuadrada de la dimensión del model.
Cómo funcionan los parámetros dentro de los LLMs
Un large language model opera manteniendo fijos los valores de parámetros entrenados durante la inference y aplicándolos para transformar los embeddings de tokens de entrada en distribuciones de probabilidad de salida.
La arquitectura transformer consta de capas apiladas, cada una con bloques de autoatención multi-cabeza y feed-forward parametrizados por matrices de pesos y vectores de sesgo.5
Antes del entrenamiento, la inicialización de pesos extrae valores de distribuciones diseñadas para mantener una varianza de señal estable hacia adelante y hacia atrás a través de las capas.
Cómo se aprenden los parámetros de LLM durante el entrenamiento
El entrenamiento avanza mediante ciclos de propagación hacia adelante, cálculo de la pérdida y retropropagación. El pase hacia adelante calcula activaciones intermedias y salidas finales aplicando las matrices de pesos secuencialmente.
La retropropagación aplica la regla de la cadena del cálculo para calcular el gradiente de la pérdida con respecto a cada parámetro, propagando señales de error desde las capas de salida hasta las de entrada. El descenso de gradiente actualiza luego cada parámetro en la dirección que reduce la pérdida, y este proceso iterativo continúa hasta la convergencia.
Parámetros de generación en tiempo de inference
Durante la inference, los pesos entrenados permanecen congelados mientras los hiperparámetros de muestreo controlan la selección de tokens. Temperatura escala los logits antes del softmax, con un rango de 0 a 2; los valores más altos aumentan la aleatoriedad y los más bajos aumentan la determinación.6
Top-p (muestreo por núcleo) restringe la selección al conjunto más pequeño de tokens cuya masa de probabilidad acumulada supera el umbral especificado, normalmente entre 0 y 1. Muestreo top-k restringe la selección a los k tokens con mayor probabilidad.
La penalización por frecuencia y la penalización por presencia varían de -2 a 2; los valores positivos reducen la probabilidad de los tokens según su frecuencia existente en el texto generado o su presencia en el texto hasta el momento, respectivamente.
Los models recientes han dejado obsoletos los controles de temperatura y top-p, rechazando los valores no predeterminados o tratándolos como no-ops:
Anthropic de Claude Opus 4.7 y los models posteriores devuelven un error 400 cuando temperature, top-p o top-k se establecen en cualquier valor distinto del predeterminado, y Anthropic recomienda orientar la salida mediante prompting.7
OpenAI de los models de razonamiento, incluidos o1, o3, o4-mini y GPT-5, también rechazan los valores no predeterminados. Aceptan temperature en su valor predeterminado de 1 y no admiten ajustes personalizados de top-p, penalización por frecuencia o penalización por presencia.8
Google de Gemini 4 Argon adopta la vía no-op: las solicitudes que incluyen temperature, top-p o top-k siguen pasando, pero el model ignora esos valores.9
Recuento de parámetros y escala del model
OpenAI de GPT, Anthropic de Claude y Google de Gemini no revelan el recuento de parámetros, por lo que las cifras publicadas para esos models son estimaciones externas. Los models de pesos abiertos publican sus tamaños y representan una gran parte del uso en el mundo real: DeepSeek lideró OpenRouter con un 43 % de las solicitudes de texto en la semana al inicio de noviembre de 2026.10
La mayoría de los buques insignia actuales de pesos abiertos utilizan una arquitectura de mezcla de expertos (MoE), que divide las capas feed-forward en muchas redes expertas más pequeñas y enruta cada token a algunas de ellas. Por lo tanto, estos models informan dos cifras:
- Parámetros totales: Cada experto almacenado en memoria.
- Parámetros activos: Los expertos que procesan un token determinado.
Kimi K3, por ejemplo, tiene 2.8 billones de parámetros totales pero activa 104 mil millones por token, usando 16 de sus 896 expertos.11
El cómputo por token escala con el recuento activo, mientras que los requisitos de memoria y almacenamiento escalan con el total. Por eso gpt-oss-120b, con 117 mil millones de parámetros totales y 5.1 mil millones activos, cabe en una sola 80 GB GPU.12
Leyes de escalado para parámetros, datos y cómputo
Las leyes de escalado son relaciones empíricas que vinculan el rendimiento del model con el recuento de parámetros, los datos de entrenamiento y el cómputo. Kaplan et al. descubrieron que la pérdida disminuye según una ley de potencia a medida que crece cada uno de estos tres factores, siempre que los demás escalen con él. Con un presupuesto de cómputo fijo, el recuento total de parámetros y los tokens de entrenamiento importaban más que la forma o la profundidad del model.13
Entrenamiento óptimo en cómputo
El estudio de Chinchilla revisó esta idea al mostrar que muchos models grandes estaban subentrenados para su tamaño. Con un presupuesto de cómputo fijo, los parámetros y los tokens de entrenamiento deberían crecer en proporción aproximadamente igual, lo que equivale a unos 20 tokens de entrenamiento por parámetro.14
Los models anteriores, como GPT-3, Gopher y MT-NLG, se entrenaron con cerca de un token por parámetro. Los models recientes superan con creces la proporción de Chinchilla: Llama 3 8B se entrenó con aproximadamente 1.900 tokens por parámetro. Lea LLM leyes de escalado para obtener más información.
Entrenar más allá del punto óptimo en cómputo tiene sentido una vez que se cuentan los costes de inference. Sardana et al. optimizaron el costo combinado de entrenamiento e inference a lo largo de la vida útil de un model, en lugar del cómputo de entrenamiento solamente. Descubrieron que, en entornos de alto uso, los models más pequeños entrenados con más datos pueden igualar a los models más grandes con un costo total menor.15
Más allá del recuento de parámetros
Las investigaciones posteriores añaden variables que las leyes originales omitieron. Bian et al. ampliaron el framework de Chinchilla con factores arquitectónicos, incluidos el tamaño oculto, la división de parámetros entre capas MLP y de atención, y la atención de consulta agrupada. Entrenaron más de 200 models desde 80 millones hasta 3 mil millones de parámetros y demostraron que estas elecciones modifican la compensación entre precisión y costo de inference de maneras predecibles.16
Técnicas para la gestión eficiente de parámetros
El fine-tuning eficiente en parámetros y la cuantización reducen los costes de memoria y cómputo asociados con grandes recuentos de parámetros. Estas técnicas permiten el fine-tuning y la inference de models que de otro modo excederían las restricciones de hardware.
Fine-tuning eficiente en parámetros (LoRA y variantes)
Low-Rank Adaptation (LoRA) congela las matrices de pesos preentrenadas e inyecta matrices de descomposición de rango entrenables junto a ellas. Para una matriz de pesos de dimensiones d × k, LoRA añade las matrices A y B con dimensión interior r << d, k, reduciendo los parámetros entrenables de d × k a r × (d + k).17
Aplicado a GPT-3 175B, LoRA reduce los parámetros entrenables 10.000 veces y reduce los requisitos de memoria de GPU en un factor de 3 en comparación con el fine-tuning completo con Adam, al tiempo que iguala o supera la calidad del fine-tuning completo en benchmarks. Por ejemplo, el fine-tuning de Llama-3.2-1B entrena 0,04 % de los parámetros.18
LoRA-XS reduce aún más los requisitos de almacenamiento en más de 100 veces en comparación con LoRA estándar en models de 7 mil millones de parámetros al insertar matrices entrenables entre descomposiciones de bajo rango congeladas.19
Cuantización de los parámetros del model
Cuantización reduce el ancho de bits utilizado para almacenar los valores de los parámetros, normalmente de punto flotante de 16 bits a representaciones de 4 u 8 bits.
QLoRA combina la cuantización NormalFloat de 4 bits del model base congelado con fine-tuning LoRA, reduciendo la memoria necesaria para hacer fine-tuning de un model de 65 mil millones de parámetros de más de 780GB a menos de 48GB, al tiempo que iguala el rendimiento del fine-tuning completo de 16 bits.20
GPTQ cuantiza los pesos a 3 o 4 bits usando información aproximada de segundo orden, procesando un model de 175 mil millones de parámetros en aproximadamente 4 GPU-horas con un aumento de perplejidad insignificante y permitiendo la inference en una sola GPU.21
GPTQ logra aceleraciones de inference de extremo a extremo de aproximadamente 3.25x en NVIDIA A100 GPUs y 4.5x en NVIDIA A6000 GPUs en comparación con FP16. La cuantización INT8 de PyTorch reduce el tamaño del model en 4x y el ancho de banda de memoria en 2-4x, con aceleraciones de inference de media geométrica de 2.97x en CPUs x86 en comparación con FP32.22
Apple de model de fundación en el dispositivo emplea entrenamiento consciente de cuantización para comprimir pesos a 2 bits por peso y embeddings a 4 bits, recuperando calidad mediante adaptadores de bajo rango sobre la base cuantizada.23
Añadir como fuente preferidaCita esta investigación
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Ermut, Sıla},
title = {{LLM Parámetros: Tipos, Escalado y Guía de Fine-Tuning}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/llm-parameters}},
note = {AIMultiple. Recuperado el 14 de octubre de 2026}
}Resultados y marcas de tiempo de 34 puntos de datos. Descargue los datos resumidos que se muestran en los gráficos y las tablas de este artículo como un archivo ZIP que contiene 3 archivos CSV.
¿Quieres los datos granulares que hay detrás? Únete a Premium
Enlaces de referencia
El trabajo de Cem en AIMultiple ha sido citado por publicaciones líderes mundiales como Business Insider, Forbes, Morning Brew y Washington Post, empresas globales como Deloitte y HPE, ONG como World Economic Forum y organizaciones supranacionales como European Commission. [1], [2], [3], [4], [5]
A lo largo de su carrera, Cem trabajó como consultor tecnológico, comprador de tecnología y emprendedor tecnológico. Asesoró a empresas en sus decisiones tecnológicas en McKinsey & Company y Altman Solon durante más de una década. También publicó un informe de McKinsey sobre digitalización.
Dirigió la estrategia tecnológica y las adquisiciones de una empresa de telecomunicaciones reportando al CEO. También lideró el crecimiento comercial de la empresa de deep tech Hypatos, que alcanzó unos ingresos recurrentes anuales de 7 dígitos y una valoración de 9 dígitos desde 0 en 2 años. El trabajo de Cem en Hypatos fue cubierto por publicaciones tecnológicas líderes como TechCrunch y Business Insider.
Cem participa habitualmente en conferencias internacionales de tecnología. Se graduó en Bogazici University como ingeniero informático y tiene un MBA de Columbia Business School.
Anteriormente trabajó como reclutadora en empresas de gestión de proyectos y consultoría. Sıla tiene un máster en Psicología Social y una licenciatura en Relaciones Internacionales.
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.