Como projetar uma infraestrutura de IA e seus principais componentes
A infraestrutura de IA é a base das aplicações de IA atuais, combinando hardware especializado, software e métodos operacionais para atender às necessidades da IA.
Empresas de diversos setores utilizam essa tecnologia para integrar IA em produtos e processos, como chatbots (por exemplo, ChatGPT), reconhecimento facial/de voz e visão computacional.
Este artigo explica como funciona a infraestrutura de IA, seus principais componentes e como ela difere da infraestrutura de TI tradicional.
O que é infraestrutura de IA?
A infraestrutura de IA (inteligência artificial), também conhecida como pilha de IA, refere-se ao ambiente integrado de hardware e software necessário para desenvolver, treinar e implantar aplicações de aprendizado de máquina e IA.
Alguns exemplos de aplicações que dependem de infraestrutura de IA incluem o Google Translate, o GPT do OpenAI e o Google Assistant.
Infraestrutura de IA versus infraestrutura de TI tradicional
Os sistemas de TI tradicionais são projetados para computação de propósito geral, enquanto a infraestrutura de IA é construída explicitamente para as demandas de computação de alto desempenho das tarefas de IA/ML.
A infraestrutura de IA depende de GPUs (Unidades de Processamento Gráfico) e, frequentemente, de TPUs (Unidades de Processamento de Tensores) para lidar com os cálculos massivos do treinamento de modelos. As GPUs (e TPUs) oferecem recursos de processamento paralelo, o que as torna adequadas para lidar com multiplicações de matrizes em larga escala.
Os ambientes de TI tradicionais normalmente utilizam unidades centrais de processamento (CPUs) tradicionais para sistemas web, de banco de dados ou ERP. Esses ambientes lidam principalmente com tarefas como tráfego web ou armazenamento de dados.
A infraestrutura de IA compreende frameworks de ML/DL (como TensorFlow e PyTorch), bibliotecas (NumPy e Pandas) e linguagens (Python e CUDA), bem como frameworks de computação distribuída (Spark e Hadoop) para gerenciar modelos.
Em contrapartida, a infraestrutura de TI tradicional normalmente executa software de uso geral (servidores web, bancos de dados, aplicativos comerciais) e não possui essas bibliotecas específicas de IA.
Como a infraestrutura de IA dá suporte à IA generativa
Os modelos generativos de IA , como o GPT-4 (LLM) ou o DALL-E (modelos de texto para imagem), criam novos dados e exigem um nível extraordinário de infraestrutura computacional para serem desenvolvidos e implementados.
Os provedores de nuvem (como Azure, AWS e Google Cloud) e os data centers focados em IA constroem clusters de GPUs ultragrandes para suportar cargas de trabalho de IA em larga escala.
Por exemplo, o "UltraCluster " da Amazon, com mais de 20.000 GPUs, foi projetado para lidar com as enormes exigências computacionais dos modelos modernos de IA e aprendizado de máquina, particularmente aqueles usados em aprendizado profundo. 1
Mais recentemente, os provedores de infraestrutura de IA começaram a projetar ambientes de execução especializados, otimizados para cargas de trabalho de IA generativa. Por exemplo, os provedores de nuvem estão desenvolvendo arquiteturas de execução com estado que permitem que agentes de IA e grandes modelos de linguagem mantenham contextos de longa duração entre sessões, possibilitando aplicações de IA mais complexas que vão além da inferência tradicional sem estado.
Como funciona a infraestrutura de IA e seus principais componentes.
Armazenamento de dados:
Isso pode envolver data lakes locais ou em nuvem, sistemas de arquivos distribuídos, data warehouses e soluções de armazenamento escaláveis. Por exemplo, bancos de dados SQL/NoSQL para dados estruturados e Hadoop HDFS ou armazenamento de objetos em nuvem para arquivos brutos.
Devido aos grandes volumes de dados, o armazenamento de IA geralmente prioriza não apenas a capacidade, mas também o acesso de baixa latência, utilizando SSDs NVMe e sistemas de arquivos paralelos para alimentar continuamente a camada de computação sem gargalos.
Recursos computacionais:
As GPUs (Unidades de Processamento Gráfico) são os mecanismos de computação mais comuns para IA. Os servidores de IA normalmente contêm várias GPUs para dimensionar as tarefas de treinamento.
A infraestrutura de IA está sendo cada vez mais construída em torno de plataformas de IA em escala de rack, em vez de GPUs independentes. Por exemplo, a Rubin AI Platform, plataforma que integra GPUs, CPUs, redes e switches em um único sistema de supercomputação de IA projetado para treinamento e inferência de modelos em larga escala, foi introduzida pela empresa NVIDIA.
Esses sistemas visam reduzir significativamente os custos de inferência e melhorar a eficiência de desempenho em comparação com os clusters de GPU anteriores.
Networking:
As GPUs em servidores diferentes precisam sincronizar os parâmetros do modelo com frequência. A infraestrutura de IA utiliza redes de alta largura de banda e baixa latência para facilitar a transferência rápida de grandes volumes de dados.
À medida que os clusters de IA escalam para dezenas de milhares de aceleradores, a rede se tornou um gargalo crítico. Empresas de hiperescala implantam cada vez mais soluções de rede especializadas para IA, como Ethernet Spectrum-X ou InfiniBand, para suportar comunicação de baixa latência entre GPUs durante o treinamento distribuído.
Bibliotecas de IA:
Frameworks de aprendizado de máquina como TensorFlow, PyTorch e JAX fornecem interfaces de programação para definir redes neurais e treinar algoritmos em hardware subjacente.
Além das estruturas de treinamento, a infraestrutura moderna de IA depende cada vez mais de estruturas especializadas de inferência e disponibilização, como o vLLM, bem como de sistemas de tempo de execução otimizados que melhoram a eficiência da implantação de grandes modelos de linguagem.
Essas estruturas são frequentemente integradas à camada de computação para usar várias GPUs de forma transparente, como o paralelismo de dados distribuído do PyTorch.
Ferramentas de orquestração e MLOps:
As ferramentas de orquestração ajudam a gerenciar recursos computacionais e fluxos de trabalho. Por exemplo, o Kubernetes (com o Kubeflow para IA) ou o gerenciador de clusters do Apache Spark podem agendar tarefas de aprendizado de máquina em um cluster.
A orquestração de infraestrutura de IA moderna oferece suporte cada vez maior a cargas de trabalho de treinamento distribuído em larga escala e inferência de modelos de aprendizado de máquina (LLM). Por exemplo, atualizações recentes em ferramentas como Kubeflow e Ray introduziram recursos para escalonamento automático aprimorado, coordenação de treinamento distribuído e agendamento com reconhecimento de hardware em clusters de computação heterogêneos.
Elas incluem funcionalidades para versionamento de conjuntos de dados e modelos, rastreamento de experimentos e integração/entrega contínua para aprendizado de máquina. A infraestrutura tradicional carece dessa orquestração específica para aprendizado de máquina.
Como construir uma infraestrutura de IA
A infraestrutura de IA pode ser comparada a uma pilha com vários níveis, cada um desempenhando um papel no processo que vai desde o gerenciamento de dados até a implantação de modelos de IA.
- Nuvem versus infraestrutura local: a decisão inicial é optar por usar infraestrutura em nuvem, desenvolver localmente ou adotar uma estratégia híbrida.
Infraestrutura de IA baseada em nuvem versus infraestrutura local
A escolha entre soluções em nuvem e soluções locais depende de considerações de custo, requisitos de segurança e capacidades organizacionais.
Os serviços em nuvem eliminam o investimento inicial significativo, enquanto a infraestrutura local exige a compra de hardware caro (por exemplo, servidores com GPU) e investimento em espaço de data center. No entanto, uma vez adquirido, o hardware local pode ser usado a um custo fixo.
Embora o preço unitário da nuvem seja geralmente mais alto, ela oferece flexibilidade; você paga somente quando necessário e pode desligar recursos quando ociosos. Por exemplo, o custo de um DGX H200, um sistema de IA local com 8 GPUs, varia de US$ 400.000 a US$ 500.000. 2
Sob demanda, a solução em nuvem comparável (instância p5.48xlarge da AWS com 8 GPUs H100) custa aproximadamente US$ 84 por hora. Com uso constante, isso equivale a cerca de US$ 735.000 anualmente; portanto, o investimento inicial seria recuperado em menos de um ano.
Todos os principais provedores de nuvem oferecem suporte a grupos de escalonamento automático, e seu serviço de IA pode ser reduzido automaticamente com base na carga. A infraestrutura local se limita aos servidores e GPUs.
- Componentes-chave: Construir uma infraestrutura de IA significa reunir a combinação certa de componentes de hardware e software. No lado do hardware, os componentes centrais são os aceleradores de computação, e o hardware de suporte inclui servidores de alta memória e soluções de armazenamento em larga escala.
- Escalabilidade : À medida que os projetos e modelos de IA se tornam mais complexos, os conjuntos de dados se expandem. Isso significa que sua infraestrutura de IA pode exigir máquinas ou GPUs mais potentes, bem como nós adicionais em seu cluster. Por exemplo, utilizando um sistema de arquivos distribuído escalável que possa aumentar sua capacidade.
- Considerações sobre custos: Existem dois modelos principais de custos: Despesas de Capital (CapEx) e Despesas Operacionais (OpEx). A infraestrutura local envolve despesas de capital (CapEx), como a compra de hardware e a construção de capacidade de data center. A nuvem transfere os custos para Despesas Operacionais, oferecendo um modelo sob demanda. Isso permite que os usuários evitem custos iniciais significativos e é eficiente para cargas de trabalho variáveis ou imprevisíveis. Por exemplo, para uso intenso e constante, investir em soluções locais pode ser mais econômico, enquanto para cargas de trabalho experimentais, uma nuvem sob demanda é ideal.
Como os dados extraídos da web aprimoram os fluxos de trabalho de IA
Muitos modelos de IA dependem de textos (e imagens) extraídos da web , como a série GPT de OpenAI, os LLMs de Google e o LLaMA de Meta. Por exemplo, o conjunto de dados de treinamento do GPT-3 incluía centenas de bilhões de tokens do Common Crawl. 3
Os corpora extraídos da web incluem linguagem informal de mídias sociais, múltiplos dialetos e idiomas, eventos atuais e textos históricos. Essa diversidade ajuda os modelos a compreenderem diferentes estilos. Ao contrário de conjuntos de dados selecionados, que podem ser estáticos ou limitados a um domínio específico, a extração contínua de dados pode fornecer informações em tempo real para os sistemas de IA.
Links de referência
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios.