Cómo diseñar una infraestructura de IA y sus componentes clave.
La infraestructura de IA es la base de las aplicaciones de IA actuales, ya que combina hardware, software y métodos operativos especializados para satisfacer las necesidades de la IA.
Empresas de diversos sectores la utilizan para integrar la IA en productos y procesos, como chatbots (por ejemplo, ChatGPT), reconocimiento facial/de voz y visión artificial.
Este artículo explica cómo funciona la infraestructura de IA, sus componentes clave y en qué se diferencia de la infraestructura de TI tradicional.
¿Qué es la infraestructura de IA?
La infraestructura de IA (inteligencia artificial), también conocida como pila de IA, se refiere al entorno integrado de hardware y software necesario para desarrollar, entrenar e implementar aplicaciones de aprendizaje automático e inteligencia artificial.
Algunos ejemplos de aplicaciones que dependen de la infraestructura de IA incluyen Google Translate, OpenAI GPT y Google Assistant.
Infraestructura de IA frente a infraestructura de TI tradicional
Los sistemas informáticos tradicionales están diseñados para la computación de propósito general, mientras que la infraestructura de IA se construye específicamente para las exigencias de computación de alto rendimiento de las tareas de IA/aprendizaje automático.
La infraestructura de IA se basa en GPU (Unidades de Procesamiento Gráfico) y, a menudo, en TPU (Unidades de Procesamiento Tensorial) para gestionar los cálculos masivos del entrenamiento de modelos. Las GPU (y las TPU) ofrecen capacidades de procesamiento paralelo, lo que las hace idóneas para manejar multiplicaciones de matrices a gran escala.
Los entornos de TI tradicionales suelen utilizar unidades centrales de procesamiento (CPU) convencionales para sistemas web, de bases de datos o ERP. Estos entornos se encargan principalmente de tareas como el tráfico web o el almacenamiento de datos.
La infraestructura de IA comprende marcos de trabajo de aprendizaje automático/aprendizaje profundo (como TensorFlow y PyTorch), bibliotecas (NumPy y Pandas) y lenguajes (Python y CUDA), así como marcos de computación distribuida (Spark y Hadoop) para la gestión de modelos.
Por el contrario, la infraestructura informática tradicional suele ejecutar software de propósito general (servidores web, bases de datos, aplicaciones empresariales) y carece de estas bibliotecas específicas de IA.
Cómo la infraestructura de IA respalda la IA generativa
Los modelos de IA generativa , como GPT-4 (LLM) o DALL-E (modelos de texto a imagen), crean nuevos datos y requieren un nivel extraordinario de infraestructura computacional para su desarrollo e implementación.
Los proveedores de servicios en la nube (como Azure, AWS y Cloud) y los centros de datos centrados en la IA construyen clústeres de GPU ultragrandes para admitir cargas de trabajo de IA a gran escala.
Por ejemplo, el "UltraCluster " de Amazon, con más de 20.000 GPU, está diseñado para gestionar los enormes requisitos computacionales de los modelos modernos de IA y aprendizaje automático, en particular los utilizados en el aprendizaje profundo. 1
Más recientemente, los proveedores de infraestructura de IA han comenzado a diseñar entornos de ejecución especializados y optimizados para cargas de trabajo de IA generativa. Por ejemplo, los proveedores de servicios en la nube están desarrollando arquitecturas de ejecución con estado que permiten a los agentes de IA y a los modelos de lenguaje complejos mantener contextos de larga duración entre sesiones, lo que posibilita aplicaciones de IA más complejas que la inferencia tradicional sin estado.
Cómo funciona la infraestructura de IA y sus componentes clave
Almacenamiento de datos:
Esto puede incluir lagos de datos locales o en la nube, sistemas de archivos distribuidos, almacenes de datos y soluciones de almacenamiento escalables. Por ejemplo, bases de datos SQL/NoSQL para datos estructurados y Hadoop HDFS o almacenamiento de objetos en la nube para archivos sin procesar.
Debido al gran volumen de datos, el almacenamiento para IA suele hacer hincapié no solo en la capacidad, sino también en el acceso de baja latencia mediante unidades SSD NVMe y sistemas de archivos paralelos para alimentar la capa de procesamiento sin cuellos de botella.
Recursos informáticos:
Las GPU (Unidades de Procesamiento Gráfico) son los motores de computación más comunes para la IA. Los servidores de IA suelen contener varias GPU para escalar las tareas de entrenamiento.
La infraestructura de IA se basa cada vez más en plataformas de IA a escala de rack en lugar de GPU independientes. Por ejemplo, NVIDIA presentó la plataforma de IA Rubin, que integra GPU, CPU, redes y conmutadores en un único sistema de supercomputación de IA diseñado para el entrenamiento e inferencia de modelos a gran escala.
Estos sistemas tienen como objetivo reducir significativamente los costos de inferencia y mejorar la eficiencia del rendimiento en comparación con los clústeres de GPU anteriores.
Redes de contactos:
Las GPU en diferentes servidores deben sincronizar los parámetros del modelo con frecuencia. La infraestructura de IA utiliza redes de alto ancho de banda y baja latencia para facilitar la transferencia rápida de grandes volúmenes de datos.
A medida que los clústeres de IA escalan a decenas de miles de aceleradores, la conectividad se ha convertido en un cuello de botella crítico. Las empresas de hiperescala implementan cada vez más pilas de redes de IA especializadas, como las redes Ethernet Spectrum-X o InfiniBand, para admitir la comunicación de baja latencia entre las GPU durante el entrenamiento distribuido.
Bibliotecas de IA:
Los marcos de aprendizaje automático como TensorFlow, PyTorch y JAX proporcionan interfaces de programación para definir redes neuronales y algoritmos de entrenamiento en el hardware subyacente.
Además de los marcos de entrenamiento, la infraestructura de IA moderna depende cada vez más de marcos de inferencia y servicio especializados, como vLLM, así como de sistemas de tiempo de ejecución optimizados que mejoran la eficiencia del despliegue de modelos de lenguaje a gran escala.
Estos marcos de trabajo suelen integrarse con la capa de cómputo para utilizar múltiples GPU de forma transparente, como por ejemplo el procesamiento paralelo de datos distribuidos de PyTorch.
Herramientas de orquestación y MLOps:
Las herramientas de orquestación ayudan a gestionar los recursos informáticos y los flujos de trabajo. Por ejemplo, Kubernetes (con Kubeflow para IA) o el gestor de clústeres de Apache Spark pueden programar trabajos de aprendizaje automático en todo un clúster.
La orquestación de infraestructuras de IA modernas admite cada vez más cargas de trabajo de entrenamiento distribuido a gran escala e inferencia LLM. Por ejemplo, las actualizaciones recientes de herramientas como Kubeflow y Ray han introducido funciones para mejorar el autoescalado, la coordinación del entrenamiento distribuido y la programación sensible al hardware en clústeres de computación heterogéneos.
Incluyen funciones para el control de versiones de conjuntos de datos y modelos, el seguimiento de experimentos y la integración/entrega continua para el aprendizaje automático. La infraestructura tradicional carece de este tipo de orquestación específica para el aprendizaje automático.
Cómo construir infraestructura de IA
La infraestructura de IA puede compararse con una pila de varios niveles, cada uno de los cuales desempeña un papel en el proceso que abarca desde la gestión de datos hasta la implementación de modelos de IA.
- Nube frente a infraestructura local: La decisión inicial consiste en si utilizar infraestructura en la nube, desarrollar en las propias instalaciones o adoptar una estrategia híbrida.
Infraestructura de IA en la nube frente a infraestructura local
La elección entre soluciones en la nube y soluciones locales depende de consideraciones de costos, requisitos de seguridad y capacidades organizativas.
Los servicios en la nube eliminan la importante inversión inicial, mientras que las soluciones locales requieren la compra de hardware costoso (por ejemplo, servidores con GPU) y la inversión en espacio en un centro de datos. Sin embargo, una vez adquirido, el hardware local se puede utilizar a un costo fijo.
Si bien el precio unitario de la nube suele ser más elevado, ofrece flexibilidad: solo se paga cuando se necesita y se pueden desactivar los recursos cuando están inactivos. Por ejemplo, el costo de un DGX H200 (NVIDIA), un sistema de IA local con 8 GPU, oscila entre $400,000 y $500,000. 2
Bajo demanda, la solución en la nube comparable (la instancia p5.48xlarge de AWS con 8 GPU H100) cuesta aproximadamente 84 dólares por hora. Con un uso constante, esto equivale a unos 735 000 dólares anuales; por lo tanto, la inversión inicial se recuperaría en menos de un año.
Todos los principales proveedores de servicios en la nube admiten grupos de escalado automático, y su servicio de IA puede reducirse automáticamente en función de la carga. La infraestructura local se limita a los servidores y las GPU.
- Componentes clave: Construir una infraestructura de IA implica reunir la combinación adecuada de componentes de hardware y software. En cuanto al hardware, los componentes centrales son los aceleradores de computación, y el hardware de apoyo incluye servidores de alta capacidad de memoria y soluciones de almacenamiento a gran escala.
- Escalabilidad : A medida que los proyectos y modelos de IA se vuelven más complejos, los conjuntos de datos se expanden. Esto significa que su infraestructura de IA podría requerir máquinas o GPU más potentes, así como nodos adicionales en su clúster. Por ejemplo, utilizando un sistema de archivos distribuido escalable con capacidad de crecimiento.
- Consideraciones de costos: Existen dos modelos de costos principales: Gastos de capital (CapEx) frente a Gastos operativos (OpEx). La infraestructura local implica gastos de capital (CapEx), como la compra de hardware y la construcción de centros de datos. La nube traslada los costos a los Gastos operativos, ofreciendo un modelo bajo demanda. Esto permite a los usuarios evitar costos iniciales significativos y resulta eficiente para cargas de trabajo variables o impredecibles. Por ejemplo, para un uso intensivo y constante, invertir en soluciones locales puede ser más rentable, mientras que para cargas de trabajo experimentales, una nube bajo demanda es ideal.
Cómo los datos extraídos de la web mejoran los flujos de trabajo de la IA
Muchos modelos de IA se basan en texto (e imágenes) extraídos de la web , como la serie GPT de OpenAI, los LLM de Google y el LLaMA de Meta. Por ejemplo, el conjunto de datos de entrenamiento de GPT-3 incluía cientos de miles de millones de tokens de Common Crawl. 3
Los corpus extraídos de la web incluyen lenguaje informal de redes sociales, múltiples dialectos e idiomas, noticias de actualidad y textos históricos. Esta diversidad ayuda a los modelos a comprender diferentes estilos. A diferencia de los conjuntos de datos seleccionados, que pueden ser estáticos o limitados a un dominio específico, la extracción continua de datos puede proporcionar información en tiempo real a los sistemas de IA.
Enlaces de referencia
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios.