Comment concevoir une infrastructure d'IA et ses composants clés
L'infrastructure d'IA constitue le fondement des applications d'IA actuelles, combinant matériel, logiciel et méthodes d'exploitation spécialisés pour répondre aux besoins de l'IA.
Les entreprises de divers secteurs l'utilisent pour intégrer l'IA dans leurs produits et processus, tels que les chatbots (par exemple, ChatGPT), la reconnaissance faciale/vocale et la vision par ordinateur.
Cet article explique le fonctionnement de l'infrastructure d'IA, ses composants clés et en quoi elle diffère de l'infrastructure informatique traditionnelle.
Qu'est-ce que l'infrastructure d'IA ?
L'infrastructure d'IA (intelligence artificielle), également connue sous le nom de pile d'IA, désigne l'environnement matériel et logiciel intégré nécessaire au développement, à l'entraînement et au déploiement d'applications d'apprentissage automatique et d'IA.
Voici quelques exemples d'applications qui s'appuient sur une infrastructure d'IA : Google Translate, OpenAI's GPT et Google Assistant.
Infrastructure d'IA vs infrastructure informatique traditionnelle
Les systèmes informatiques traditionnels sont conçus pour l'informatique à usage général, tandis que l'infrastructure d'IA est spécifiquement conçue pour répondre aux exigences de calcul haute performance des tâches d'IA/ML.
L'infrastructure d'IA s'appuie sur les GPU (processeurs graphiques) et souvent sur les TPU (processeurs tensoriels) pour gérer les calculs massifs nécessaires à l'entraînement des modèles. Les GPU (et les TPU) offrent des capacités de traitement parallèle, ce qui les rend particulièrement adaptés aux multiplications matricielles de grande taille.
Les environnements informatiques traditionnels utilisent généralement des unités centrales de traitement (CPU) classiques pour les systèmes web, de bases de données ou ERP. Ces environnements gèrent principalement des tâches telles que le trafic web ou le stockage de données.
La pile d'infrastructure d'IA comprend des frameworks ML/DL (tels que TensorFlow et PyTorch), des bibliothèques (NumPy et Pandas) et des langages (Python et CUDA), ainsi que des frameworks de calcul distribué (Spark et Hadoop) pour la gestion des modèles.
À l'inverse, l'infrastructure informatique traditionnelle exécute généralement des logiciels à usage général (serveurs web, bases de données, applications métier) et ne dispose pas de ces bibliothèques spécifiques à l'IA.
Comment l'infrastructure d'IA soutient l'IA générative
Les modèles d'IA génératifs , tels que GPT-4 (LLM) ou DALL-E (modèles texte-image), créent de nouvelles données et nécessitent un niveau extraordinaire d'infrastructure informatique pour être développés et déployés.
Les fournisseurs de cloud (tels qu'Azure, AWS et Google Cloud) et les centres de données axés sur l'IA construisent des clusters GPU ultra-larges pour prendre en charge des charges de travail d'IA à grande échelle.
Par exemple, l'« UltraCluster » d'Amazon, avec plus de 20 000 GPU, est conçu pour répondre aux besoins de calcul massifs des modèles modernes d'IA et d'apprentissage automatique, en particulier ceux utilisés dans l'apprentissage profond. 1
Plus récemment, les fournisseurs d'infrastructures d'IA ont commencé à concevoir des environnements d'exécution spécialisés, optimisés pour les charges de travail d'IA générative. Par exemple, les fournisseurs de cloud développent des architectures d'exécution avec état qui permettent aux agents d'IA et aux grands modèles de langage de maintenir des contextes de longue durée entre les sessions, rendant ainsi possibles des applications d'IA plus complexes, au-delà de l'inférence sans état traditionnelle.
Fonctionnement et composants clés de l'infrastructure d'IA
Stockage des données :
Cela peut impliquer des lacs de données sur site ou dans le cloud, des systèmes de fichiers distribués, des entrepôts de données et des solutions de stockage évolutives. Par exemple, des bases de données SQL/NoSQL pour les données structurées et Hadoop HDFS ou le stockage d'objets dans le cloud pour les fichiers bruts.
Étant donné l'importance des volumes de données, le stockage IA met souvent l'accent non seulement sur la capacité, mais aussi sur un accès à faible latence grâce à l'utilisation de SSD NVMe et de systèmes de fichiers parallèles pour alimenter en continu la couche de calcul sans goulots d'étranglement.
Ressources de calcul :
Les GPU (processeurs graphiques) sont les moteurs de calcul les plus courants pour l'IA. Les serveurs d'IA contiennent généralement plusieurs GPU pour permettre la mise à l'échelle des tâches d'entraînement.
L'infrastructure d'IA s'articule de plus en plus autour de plateformes d'IA à l'échelle du rack plutôt que de GPU autonomes. Par exemple, Rubin AI a été présenté ; cette plateforme intègre GPU, CPU, réseau et commutateurs au sein d'un système de supercalcul unique, conçu pour l'entraînement et l'inférence de modèles à grande échelle.
Ces systèmes visent à réduire considérablement les coûts d'inférence et à améliorer l'efficacité des performances par rapport aux clusters GPU précédents.
Réseautage :
Les GPU situés sur différents serveurs doivent synchroniser fréquemment les paramètres des modèles. L'infrastructure d'IA utilise des réseaux à haut débit et à faible latence pour faciliter le transfert rapide de volumes importants de données.
À mesure que les clusters d'IA atteignent des dizaines de milliers d'accélérateurs, la mise en réseau devient un goulot d'étranglement critique. Les entreprises hyperscale déploient de plus en plus de piles réseau spécialisées pour l'IA, telles que Spectrum-X Ethernet ou les architectures InfiniBand, afin de prendre en charge la communication à faible latence entre les GPU lors de l'entraînement distribué.
Bibliothèques d'IA :
Les frameworks d'apprentissage automatique tels que TensorFlow, PyTorch et JAX fournissent des interfaces de programmation permettant de définir des réseaux neuronaux et des algorithmes d'entraînement sur le matériel sous-jacent.
Outre les cadres d'entraînement, l'infrastructure d'IA moderne s'appuie de plus en plus sur des cadres d'inférence et de service spécialisés, tels que vLLM, ainsi que sur des systèmes d'exécution optimisés qui améliorent l'efficacité du déploiement de grands modèles de langage.
Ces frameworks sont souvent intégrés à la couche de calcul pour utiliser plusieurs GPU de manière transparente, comme le traitement parallèle de données distribuées de PyTorch.
Outils d'orchestration et de MLOps :
Les outils d'orchestration facilitent la gestion des ressources informatiques et des flux de travail. Par exemple, Kubernetes (avec Kubeflow pour l'IA) ou le gestionnaire de clusters d'Apache Spark peuvent planifier des tâches d'apprentissage automatique sur un cluster.
L'orchestration des infrastructures d'IA modernes prend de plus en plus en charge les charges de travail d'entraînement distribué à grande échelle et d'inférence LLM. Par exemple, les récentes mises à jour d'outils tels que Kubeflow et Ray ont introduit des fonctionnalités pour une mise à l'échelle automatique améliorée, une coordination de l'entraînement distribué et une planification prenant en compte le matériel sur des clusters de calcul hétérogènes.
Elles incluent des fonctionnalités de gestion des versions des jeux de données et des modèles, de suivi des expériences et d'intégration/déploiement continus pour l'apprentissage automatique. L'infrastructure traditionnelle ne dispose pas d'une telle orchestration spécifique à l'apprentissage automatique.
Comment construire une infrastructure d'IA
L'infrastructure d'IA peut être comparée à une pile à plusieurs niveaux, chacun jouant un rôle dans le pipeline qui s'étend de la gestion des données au déploiement des modèles d'IA.
- Cloud ou infrastructure sur site : la décision initiale consiste à choisir entre une infrastructure cloud, un développement sur site ou une stratégie hybride.
Infrastructure d'IA basée sur le cloud ou sur site
Le choix entre une solution basée sur le cloud et une solution sur site dépend de considérations de coûts, d'exigences de sécurité et de capacités organisationnelles.
Les services cloud éliminent l'investissement initial important, tandis que les solutions sur site nécessitent l'achat de matériel coûteux (par exemple, des serveurs GPU) et l'investissement dans un espace de centre de données. Cependant, une fois acquis, le matériel sur site peut être utilisé à un coût fixe.
Bien que le prix unitaire du cloud soit souvent plus élevé, il offre une grande flexibilité : vous ne payez que lorsque c’est nécessaire et vous pouvez désactiver les ressources inactives. Par exemple, le coût d’un DGX H200 (référence 991259_1745), un système d’IA sur site doté de 8 GPU, varie entre 400 000 $ et 500 000 $. 2
À la demande, la solution cloud comparable (instance p5.48xlarge d'AWS avec 8 GPU H100) coûte environ 84 $ de l'heure. En cas d'utilisation continue, cela représente environ 735 000 $ par an ; l'investissement initial serait donc amorti en moins d'un an.
Tous les principaux fournisseurs de cloud prennent en charge les groupes de mise à l'échelle automatique, et votre service d'IA peut réduire automatiquement sa capacité en fonction de la charge. L'infrastructure sur site se limite aux serveurs et aux GPU.
- Composants clés : La mise en place d’une infrastructure d’IA implique l’assemblage d’une combinaison adéquate de composants matériels et logiciels. Côté matériel, les composants centraux sont les accélérateurs de calcul, tandis que le matériel de support comprend des serveurs à haute capacité de mémoire et des solutions de stockage à grande échelle.
- Évolutivité : À mesure que les projets et les modèles d’IA se complexifient, les ensembles de données s’étendent. Votre infrastructure d’IA pourrait donc nécessiter des machines ou des GPU plus puissants, ainsi que des nœuds supplémentaires dans votre cluster. Par exemple, l’utilisation d’un système de fichiers distribué et évolutif, capable d’augmenter sa capacité, est recommandée.
- Considérations relatives aux coûts : Il existe deux principaux modèles de coûts : les dépenses d’investissement (CapEx) et les dépenses d’exploitation (OpEx). L’infrastructure sur site implique des dépenses d’investissement (CapEx), telles que l’achat de matériel et la construction de centres de données. Le cloud transfère les coûts vers les dépenses d’exploitation, offrant un modèle à la demande. Cela permet aux utilisateurs d’éviter des coûts initiaux importants et s’avère efficace pour les charges de travail variables ou imprévisibles. Par exemple, pour une utilisation intensive et constante, investir dans des solutions sur site peut être plus rentable, tandis que pour des charges de travail expérimentales, un cloud à la demande est idéal.
Comment les données extraites du Web améliorent les flux de travail de l'IA
De nombreux modèles d'IA s'appuient sur du texte (et des images) extraits du Web , comme la série GPT de OpenAI, les LLM de Google et LLaMA de Meta. Par exemple, l'ensemble de données d'entraînement de GPT-3 comprenait des centaines de milliards de jetons provenant de Common Crawl. 3
Les corpus extraits du Web comprennent le langage informel des réseaux sociaux, de multiples dialectes et langues, l'actualité et des textes historiques. Cette diversité permet aux modèles de saisir différents styles. Contrairement aux ensembles de données organisés, qui peuvent être statiques ou limités à un domaine, l'extraction continue de données peut alimenter les systèmes d'IA en informations en temps réel.
Liens de référence
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires.