Formation de modèles de langage à grande échelle
L'intégration des modèles linguistiques existants dans les flux de travail des entreprises est de plus en plus courante. Cependant, certaines entreprises développent des modèles personnalisés, entraînés sur des données propriétaires, afin d'améliorer les performances pour des tâches spécifiques.
La création et la maintenance de tels modèles nécessitent des ressources importantes, notamment des talents spécialisés en IA, de vastes ensembles de données d'entraînement et une infrastructure informatique, ce qui peut faire grimper les coûts à des millions de dollars.
Apprenez à construire un modèle personnalisé avec des approches moins coûteuses avant d'investir des sommes importantes :
Qu'est-ce que l'entraînement de grands modèles de langage ?
L'entraînement d'un modèle consiste à enseigner à un algorithme d'apprentissage automatique à reconnaître des modèles en l'exposant à suffisamment de données d'entraînement qui illustrent la relation entre les variables d'entrée et les résultats souhaités.
L'entraînement des grands modèles de langage comporte quatre étapes :
1. Collecte et prétraitement des données
La première étape consiste à constituer l'ensemble de données d'entraînement. Ces données peuvent provenir de diverses sources telles que des documents, des sites web, des articles, etc. Le principal avantage d'un modèle personnalisé réside dans l'exploitation des données internes de l'entreprise. La préparation de données propriétaires de haute qualité est donc une étape cruciale.
Une fois les données privées préparées, elles peuvent être enrichies avec des données publiques provenant de domaines connexes. Voici quelques sources publiques courantes pour trouver des jeux de données :
- Kaggle
- Recherche dans l'ensemble de données Google
- Visage étreint
- Données.gov
- Base de données Wikipédia
Les données doivent ensuite être nettoyées et préparées pour l'entraînement. Cela peut impliquer la conversion du jeu de données en minuscules, la suppression des mots vides et la segmentation du texte en séquences de jetons qui le composent.
Collecte de données Web réelles pour la formation LLM
L'extraction de données web est l'une des méthodes les plus efficaces pour collecter un volume important de données d'entraînement diversifiées et mises à jour en continu. Bien que les jeux de données publics (comme Kaggle ou Hugging Face) soient précieux, ils sont souvent statiques ou limités en termes de portée et de spécificité de domaine. Ils conviennent davantage à l'expérimentation et à la recherche académique, mais peuvent s'avérer insuffisants pour le développement de modèles destinés à la production.
Par exemple, les données divulguées sur GPT-4 suggèrent qu'il a été pré-entraîné sur environ 13 billions de jetons, provenant principalement des ensembles de données Common Crawl et RefinedWeb. 1 Cela indique que les LLM modernes continuent de s'appuyer fortement sur des sources Web vastes et organisées pour couvrir un large éventail de sujets.
Les fournisseurs de services de données Web prennent en charge l'entraînement des modèles de langage en permettant l'accès à des ensembles de données Web spécifiques au domaine, collectés de manière éthique et conformes aux réglementations en matière de confidentialité, telles que le RGPD et le CCPA, ainsi qu'aux conditions d'utilisation de la plateforme.
2. Sélection et configuration du modèle
Les grands modèles tels que Gemini (Google) et OpenAI (GPT-4) utilisent tous deux des modèles entraînés avec une architecture d'apprentissage profond de type Transformer qui collaborent selon une approche de type Mixture-of-Experts (MoE) . Parmi les éléments clés du modèle, on peut citer :
- Nombre d'experts
- Nombre de couches dans les blocs transformateurs
- Nombre de têtes d'attention
- Fonction de perte
- Hyperparamètres
doivent être spécifiés lors de la configuration d'un réseau neuronal transformateur.
La détermination des hyperparamètres optimaux (comme le planificateur de taux d'apprentissage ou la taille des lots) détermine si un modèle converge ou échoue.
Au lieu de procéder par essais et erreurs manuels, les équipes de formation utilisent des outils comme Weights & Biases (Sweeps) pour automatiser et visualiser l'espace de recherche. Cela permet aux ingénieurs d'identifier la configuration la plus efficace sur de petits sous-ensembles de données avant de s'engager dans des entraînements complets et coûteux.
3. Formation du modèle
Le modèle est entraîné sur des données textuelles prétraitées à l'aide d'un apprentissage supervisé . Durant l'entraînement, une séquence de mots lui est présentée et il est entraîné à prédire le mot suivant. Le modèle ajuste ses poids en fonction de l'écart entre sa prédiction et le mot suivant réel. Ce processus est répété des millions de fois jusqu'à ce que le modèle atteigne un niveau de performance satisfaisant.
Compte tenu des investissements massifs dans la puissance de calcul, l'observabilité en temps réel est indispensable. Les équipes d'IA de pointe utilisent une couche d'« enregistrement des données », telle que Weights & Biases , qui s'appuie sur l'infrastructure (comme AWS ou NVIDIA). Cela leur permet de surveiller les courbes de perte et les indicateurs système (utilisation du GPU, pics de mémoire) sur des milliers de puces distribuées, garantissant ainsi que si une session d'entraînement diverge ou qu'une panne matérielle survient, elle peut être détectée et interrompue immédiatement afin de réduire les coûts.
Étant donné la taille importante des modèles et des données, leur entraînement requiert une puissance de calcul considérable. Afin de réduire le temps d'entraînement, on utilise une technique appelée parallélisme de modèles. Le parallélisme de modèles permet de répartir différentes parties d'un modèle complexe sur plusieurs GPU, ce qui permet d'entraîner le modèle de manière distribuée grâce àdes puces d'IA .
En divisant le modèle en parties plus petites, chaque partie peut être entraînée en parallèle, ce qui accélère le processus d'entraînement par rapport à l'entraînement du modèle entier sur un seul GPU ou processeur. Il en résulte une convergence plus rapide et de meilleures performances globales, permettant ainsi d'entraîner des modèles de langage encore plus volumineux qu'auparavant. Les types courants de parallélisme de modèles incluent :
- Le parallélisme des données divise et transmet les mini-lots d'entraînement aux répliques du modèle, augmentant ainsi la vitesse de traitement.
- Le parallélisme de pipeline attribue des couches distinctes du modèle à différents GPU, afin d'étendre la taille du modèle au-delà d'un seul GPU.
- Le parallélisme tensoriel répartit une seule couche sur plusieurs GPU, généralement au sein du même serveur.
Figure 1 : Un exemple d'entraînement de modèle à 6 couches d'AWS. 2
4. Évaluation et mise au point
Après l'entraînement, le modèle est évalué sur un ensemble de données de test distinct de celui utilisé pour l'entraînement, afin de mesurer ses performances. Selon les résultats de cette évaluation, il peut être nécessaire d'affiner le modèle en ajustant ses hyperparamètres, en modifiant son architecture ou en l'entraînant sur des données supplémentaires pour améliorer ses performances.
L'évaluation des modèles génératifs est plus complexe que celle des métriques d'apprentissage automatique traditionnelles. Elle nécessite de retracer les chaînes de raisonnement du modèle et de comparer ses résultats à un jeu de données de référence.
Par exemple, W&B Weave permet aux développeurs de créer des évaluations systématiques (utilisant des techniques de « LLM en tant que juge ») afin d'évaluer le modèle sur des nuances telles que le ton, la fidélité et la sécurité avant son déploiement.
L’apprentissage par renforcement à partir de retours humains (RLHF) est une technique courante pour l’ajustement fin des modèles. Dans le RLHF, une fonction de récompense dérivée des préférences humaines guide le modèle afin d’améliorer ses résultats par essais et erreurs, en les alignant sur les valeurs humaines.
Par exemple, la recherche DeepSeek-R1 montre que l'application d'un RL pur (sans données de raisonnement étiquetées par des humains) peut améliorer considérablement les performances de raisonnement d'un LLM. 3
Formation des LLM pour des cas d'utilisation spécifiques
La formation d'un LLM comprend deux parties : la préformation et la formation spécifique à la tâche. La formation spécifique à la tâche est également appelée mise au point du LLM .
Le pré-entraînement est une étape de l'entraînement qui permet au modèle d'apprendre les règles générales et les dépendances d'un langage. Cela nécessite une quantité importante de données et
- La puissance de calcul des supercalculateurs, équipés de matériel provenant des principauxfabricants de puces d'IA (par exemple, NVIDIA), représente un investissement de plusieurs millions une fois les coûts de maintenance et d'énergie pris en compte.
- Durée : GPT-4 La formation aurait duré environ six mois.
Pour rendre les grands modèles de langage plus accessibles aux entreprises, les développeurs de LLM proposent des services de réglage fin aux entreprises souhaitant exploiter ces modèles.
Par exemple, Qwen3.5, le dernier modèle d'IA à pondération ouverte d'Alibaba, est conçu comme un agent multimodal natif, capable de comprendre et de raisonner sur du texte , des images , des vidéos et du code . Le premier modèle publié, Qwen3.5-397B-A17B, utilise une architecture hybride combinant attention linéaire et mélange parcimonieux d'experts, ce qui permet une efficacité élevée : bien que le modèle contienne 397 milliards de paramètres, seuls 17 milliards sont activés à chaque étape d'inférence.
La version 3.5 (Qwen3.5) introduit des améliorations d'infrastructure, notamment l'entraînement FP8, des pipelines d'entraînement multimodaux hétérogènes et des cadres d'apprentissage par renforcement évolutifs, permettant d'accélérer l'entraînement de 3 à 5 fois. Le modèle peut également servir d' agent d'IA , capable d'utiliser des outils, d'effectuer des recherches web, d'exécuter du code, d'interagir avec des interfaces graphiques et de raisonner de manière multimodale sur des contextes longs. 4
Architecture des grands modèles de langage
L'architecture des grands modèles de langage, tels que OpenAI, est basée sur l'architecture Transformer. Elle se compose des principaux éléments suivants (voir figure 2) :
Figure 2 : Graphique illustrant les processus d'architecture du transformateur. 5
1. Intégration des entrées
La séquence d'entrée est d'abord transformée en une représentation vectorielle dense, appelée plongement, qui capture les relations entre les mots de l'entrée.
2. Auto-attention multi-têtes
L'élément central de l'architecture du bloc transformateur est le mécanisme d'auto-attention multi-têtes, qui permet au modèle de se concentrer sur différentes parties de la séquence d'entrée afin de capturer ses relations et ses dépendances.
3. Réseau à propagation directe
Après le mécanisme d'auto-attention, la sortie est transmise à un réseau neuronal à propagation directe, qui effectue une transformation non linéaire pour générer une nouvelle représentation.
4. Normalisation et connexions résiduelles
Pour stabiliser le processus d'entraînement, la sortie de chaque couche est normalisée et une connexion résiduelle est ajoutée pour permettre à l'entrée d'être transmise directement à la sortie, permettant ainsi au modèle d'apprendre quelles parties de l'entrée sont les plus importantes.
Ces composants sont répétés plusieurs fois pour former un réseau neuronal profond, capable de traiter de longues séquences de texte et de générer des résultats de haute qualité pour diverses tâches linguistiques, telles que la génération de texte, la réponse aux questions et la traduction.
Les développeurs continuent de développer de grands modèles de langage en mettant en œuvre de nouvelles techniques pour :
- Simplifier le modèle (diminuer la taille du modèle ou la mémoire requise pour l'entraînement),
- Améliorer les performances,
- Prix inférieur,
- Réduire le temps d'entraînement du modèle.
Récemment, l'économie de la formation est remodelée par les systèmes à grande échelle de l'ère Rubin optimisés pour la formation et l'inférence MoE.
NVIDIA a introduit la plateforme Rubin, une nouvelle architecture de calcul IA combinant six puces, dont le processeur Vera, le GPU Rubin, le commutateur NVLink 6, le SuperNIC ConnectX-9, le DPU BlueField-4 et le commutateur Ethernet Spectrum-6, pour alimenter les supercalculateurs IA.
Le système est conçu grâce à une co-conception matérielle et logicielle étroite afin d'améliorer considérablement l'efficacité, en réduisant jusqu'à 10 fois les coûts des jetons d'inférence IA et en diminuant de 4 fois le nombre de GPU nécessaires pour entraîner des modèles de mélange d'experts (MoE) par rapport à la plateforme Blackwell.
Les principaux fournisseurs de cloud et laboratoires d'IA, dont AWS, Microsoft, Google, Meta et OpenAI, prévoient d'adopter une infrastructure basée sur Rubin, les systèmes partenaires étant attendus au cours du second semestre 2026. 6
Liens de référence
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires.