20 stratégies pour l'amélioration de l'IA et exemples

Les modèles d'IA nécessitent une amélioration continue à mesure que les données, les comportements des utilisateurs et les conditions réelles évoluent. Même les modèles performants peuvent dériver au fil du temps lorsque les motifs qu'ils ont appris ne correspondent plus aux entrées actuelles, entraînant une réduction de la précision et des prédictions peu fiables.

Les changements dans les réglementations, les exigences des produits ou les attentes des clients peuvent également introduire de nouvelles contraintes que les modèles existants n'ont pas été conçus pour gérer.

Le maintien de la qualité des modèles implique donc de renforcer à la fois les données qui soutiennent le modèle et les algorithmes qui façonnent son comportement, garantissant que les systèmes restent alignés sur les exigences actuelles plutôt que sur des hypothèses obsolètes.

Découvrez les stratégies clés, notamment l'alimentation en données, les données et l'amélioration de l'algorithme, ainsi que les lois de mise à l'échelle de l'IA qui garantiront que vos modèles d'IA restent pertinents et pratiques.

Les 20 meilleures façons d'améliorer votre modèle d'IA

Nous avons expliqué les méthodes pour améliorer votre modèle d'IA en 4 catégories différentes :

Alimenter plus de données

Ajouter de nouvelles et fraîches données est l'une des méthodes les plus courantes et efficaces pour améliorer la précision de votre modèle d'apprentissage automatique. Des recherches ont montré une corrélation positive entre la taille de l'ensemble de données et la précision du modèle d'IA.¹

Par conséquent, l'expansion de l'ensemble de données utilisé pour le reentraînement du modèle peut être un moyen efficace d'améliorer les modèles d'IA/ML. Assurez-vous que les données évoluent en fonction de l'environnement dans lequel elles sont déployées. Il est également essentiel de respecter les bonnes pratiques d'assurance qualité de la collecte de données.

1. Collecte de données

La collecte/récolte de données peut être utilisée pour étendre votre ensemble de données et alimenter davantage de données dans le modèle d'IA/ML. Dans ce processus, de nouvelles données sont collectées pour réentraîner le modèle. Ces données peuvent être récoltées par les méthodes suivantes :

• Collecte privée
• Collecte de données automatisée
• Crowdsourcing personnalisé

Pour collecter des données avec succès pour l'IA, les entreprises doivent faire attention à :

• Les considérations éthiques et légales dans la collecte de données doivent être respectées pour éviter tout problème éthique.
• Le biais dans les données d'entraînement peut entraîner des résultats d'IA indésirables.
• Le prétraitement des données brutes est essentiel pour résoudre les problèmes de qualité et garantir l'intégrité des données pour l'entraînement d'IA/ML.
• Toutes les données ne sont pas facilement accessibles en raison des restrictions liées à la sensibilité et aux réglementations sur la confidentialité.

En savoir plus sur les méthodes de collecte de données.

Il est également conseillé de travailler avec un service de données d'IA pour obtenir des ensembles de données pertinents sans la peine de rassembler des données et d'éviter tout problème éthique et légal. Consultez les services et entreprises de collecte de données et les plateformes de crowdsourcing de données pour trouver le bon service de collecte de données pour votre projet d'IA.

2. Données synthétiques avec des modèles génératifs

L'IA générative a fait progresser la création de données synthétiques, produisant des ensembles de données de haute qualité qui reproduisent les conditions réelles. Les grands modèles de langage et les modèles de diffusion peuvent désormais générer des données structurées et non structurées pour le entraînement de modèles dans des domaines où les données réelles sont limitées.

Les exemples incluent :

• Produire des cas médicaux rares pour améliorer les modèles d'apprentissage automatique dans le secteur de la santé.
• Générer des données de conversation réalistes pour améliorer les systèmes de traitement du langage naturel.
• Créer des ensembles de données visuels pour tester la résolution d'image, la qualité photo ou les modèles de reconnaissance d'image.

Auto-jeu synthétique et données d'entraînement synthétiques

L'auto-jeu synthétique génère de nouvelles données d'entraînement en permettant aux modèles ou aux agents d'interagir avec des tâches ou entre eux. Ces compléments ont des données humaines de haute qualité limitées.

Cette méthode fournit :

• Production évolutive de données d'instruction, de raisonnement ou de dialogue.
• Couverture de scénarios rares ou coûteux à collecter manuellement.
• Amélioration des performances des modèles dans les domaines où la pénurie de données est une contrainte principale.

Exemple concret : Plus de données pour les chatbots

Un chatbot de support informatique avait du mal à comprendre et à classer avec précision les questions des utilisateurs. Pour améliorer ses performances, 500 requêtes de support informatique ont été réécrites en plusieurs variations dans sept langues.

Ces données supplémentaires ont aidé le chatbot à reconnaître différents formats de questions, améliorant ainsi sa capacité à répondre plus efficacement.

Améliorer les données

Améliorer les données existantes peut également entraîner une amélioration du modèle d'IA/ML.

Maintenant que les solutions d'IA s'attaquent à des problèmes plus complexes, des données meilleures et plus diversifiées sont nécessaires pour les développer. Par exemple, une recherche² sur un modèle d'apprentissage profond qui aide les systèmes de détection d'objets à comprendre les interactions entre deux objets, conclut que le modèle est sensible³ aux biais des ensembles de données et nécessite un ensemble de données diversifié pour produire des résultats.

Les améliorations peuvent être réalisées par :

3. Enrichir les données

Étendre l'ensemble de données est l'une des façons d'améliorer l'IA. Une autre façon importante d'améliorer les modèles d'IA/ML est d'enrichir les données. Cela signifie que les nouvelles données collectées pour étendre l'ensemble de données doivent être traitées avant d'être alimentées dans le modèle.

Cela peut également signifier améliorer l'annotation de l'ensemble de données existant. Puisque de nouvelles et améliorées techniques d'étiquetage ont été développées, elles peuvent être mises en œuvre sur l'ensemble de données existant ou nouvellement collecté pour améliorer la précision du modèle.

4. Améliorer la qualité des données

Améliorer la qualité des données est essentiel pour faire progresser les systèmes d'IA et améliorer les performances des modèles d'IA. Alors que les avancées de l'IA mettent souvent l'accent sur de meilleurs algorithmes et plus de puissance de calcul, des données d'entraînement de haute qualité restent cruciales pour des performances optimales.

L'adoption d'une approche centrée sur les données aide à accélérer les progrès de l'IA en garantissant que les données utilisées pour l'entraînement sont abondantes et de haute qualité.

La collecte et la curation de données de haute qualité permettent aux développeurs de construire des modèles d'IA plus efficaces et performants, qui peuvent ensuite être exploités pour résoudre des tâches complexes dans diverses industries. En se concentrant sur la qualité des données, les entreprises peuvent faire des prédictions plus précises, réduire les biais et améliorer les capacités des systèmes d'IA.

La qualité des données peut être considérablement améliorée lors de la phase de collecte de données. Ce processus comprend la garantie que les données sont représentatives des scénarios réels que le modèle rencontrera pour éliminer les biais, réduire le bruit et s'assurer qu'elles sont suffisamment diversifiées pour capturer toutes les variables pertinentes.

De plus, maintenir la cohérence dans l'étiquetage des données et combler les lacunes dans l'ensemble de données peut aider à réduire les erreurs dans le processus d'apprentissage du modèle.

5. Tirer parti de l'augmentation des données

Certaines personnes pourraient confondre les données augmentées avec les données synthétiques ; cependant, les deux termes diffèrent. Les données augmentées font référence à l'ajout d'informations à un ensemble de données existant, tandis que les données synthétiques sont générées artificiellement pour remplacer les données réelles.

Voir pour en savoir plus sur les différentes techniques d'augmentation des données.

Améliorer l'algorithme

Parfois, l'algorithme qui a été initialement créé pour le modèle doit être amélioré. Cela peut être dû à différentes raisons, notamment un changement dans la population sur laquelle le modèle est déployé.

Supposons qu'un algorithme d'IA/ML déployé qui évalue le risque de santé du patient et n'inclut pas le paramètre de niveau de revenu soit soudainement exposé à des données de patients avec des niveaux de revenu inférieurs. Dans ce cas, il est peu probable qu'il produise des évaluations équitables.

Par conséquent, la mise à niveau de l'algorithme et l'ajout de nouveaux paramètres peuvent être un moyen efficace d'améliorer les performances du modèle. L'algorithme peut être amélioré de la manière suivante :

6. Améliorer l'architecture

Il y a quelques choses qui peuvent être faites pour améliorer l'architecture d'un algorithme. Une façon est de tirer parti des fonctionnalités matérielles modernes, telles que les instructions SIMD ou les GPUs.⁴

De plus, les structures de données et les algorithmes peuvent être améliorés grâce à l'utilisation de dispositions de données compatibles avec le cache et d'algorithmes efficaces. Enfin, les développeurs d'algorithmes peuvent exploiter les récentes avancées en matière d'apprentissage automatique et de techniques d'optimisation.

Le Transformer est une architecture d'apprentissage profond qui a changé le traitement du langage naturel (NLP) et d'autres domaines en permettant une modélisation plus efficace et performante des données séquentielles. Introduit dans l'article "Attention Is All You Need"⁵ , il repose fortement sur un mécanisme appelé auto-attention, remplaçant les opérations récurrentes et convolutives utilisées dans les modèles précédents comme les RNN et les CNN.

Un Transformer se compose d'un Encodeur et d'un Décodeur, chacun construit à partir de plusieurs couches empilées :

• L'Encodeur transforme les séquences d'entrée en représentations conscientes du contexte en utilisant l'auto-attention multi-têtes pour capturer les relations entre les tokens, les réseaux feedforward pour le traitement, et les connexions résiduelles avec la normalisation de couche pour la stabilité.
• Le Décodeur génère les séquences de sortie token par token, en incorporant l'auto-attention multi-têtes masquée pour empêcher l'accès aux tokens futurs, l'attention croisée pour intégrer les sorties de l'Encodeur, et des mécanismes feedforward et de normalisation similaires pour un apprentissage efficace.

7. Architectures de modèles hybrides

Les architectures de modèles hybrides combinent des éléments de Transformers, de modèles d'espace d'état et d'autres méthodes de traitement de séquences. Cette approche prend en charge un contexte de longue durée et réduit les exigences de calcul.

Les avantages clés incluent :

• Un traitement plus efficace des longues séquences.
• Une utilisation réduite de la mémoire pour l'entraînement et l'inférence.
• Compatibilité avec les environnements de centre de données et de périphérie.

Exemple concret : Kimi K2.5

Kimi K2.5 est un modèle d'IA agentique open-source développé par Moonshot AI, préentraîné sur environ 15 billions de tokens mixtes visuels et textuels.

La conception de Kimi K2.5 intègre la compréhension visuelle et linguistique avec un raisonnement agentique, offrant à la fois des modes instantanés et « de réflexion » et prenant en charge les flux de travail conversationnels et d'agents autonomes.⁶

Les caractéristiques clés sont :

• Multimodalité native : Traite et raisonne sur le texte, les images et la vidéo dans un modèle unifié.
• Codage assisté par vision : Peut générer du code à partir d'entrées visuelles et aligner les sorties avec les spécifications visuelles.
• Exécution de l'essaim d'agents : Prend en charge la décomposition coordonnée des tâches, permettant aux processus agentiques de s'exécuter en parallèle pour des flux de travail complexes.

8. Réingénierie des fonctionnalités

La réingénierie des fonctionnalités d'un algorithme est le processus d'amélioration des fonctionnalités de l'algorithme afin de le rendre plus efficace. Cela peut être fait en modifiant la structure de l'algorithme ou en ajustant ses paramètres.

9. Modèles du monde multimodaux

Les modèles du monde multimodaux apprennent à partir de texte, d'images, d'audio, de vidéo, de données structurées et d'entrées de capteurs. Cela crée une représentation unifiée à travers les modalités.

Les aspects importants incluent :

• Meilleure ancrage dans l'information du monde réel.
• Interprétation plus précise des scènes, des signaux et des entrées multi-formats.
• Applicabilité aux tâches qui nécessitent une compréhension intégrée à travers les modalités.

Exemple concret : DeepMind

Google DeepMind a apporté des améliorations significatives à ses modèles d'IA en optimisant leur architecture et en réingénérant divers composants pour de meilleures performances. Par exemple, le modèle Gemini a été construit avec une architecture multimodale, lui permettant de gérer des tâches sur le texte, l'audio et les images plus efficacement.

De plus, PaLM 2 a été amélioré avec une approche de mise à l'échelle optimale en calcul et des améliorations de l'ensemble de données pour améliorer les tâches de raisonnement. Ces mises à niveau architecturales ont permis une plus grande précision et adaptabilité.⁷

10. Sécurité de l'IA, alignement et gouvernance

Améliorer les algorithmes ne se limite plus aux optimisations techniques. La sécurité de l'IA, l'alignement et la gouvernance sont de plus en plus critiques pour garantir que les systèmes d'IA se comportent comme prévu. Les développeurs et les organisations privilégient les méthodes qui :

• Alignent les sorties des modèles d'IA avec les valeurs humaines et les exigences commerciales.
• Intègrent des boucles de rétroaction pour prévenir les comportements non intentionnels lors du déploiement.
• Établissent des cadres de gouvernance qui définissent les limites de l'utilisation des outils dans diverses industries.

Ce changement souligne que l'obtention de meilleurs résultats en IA implique d'améliorer la précision et la fiabilité, de traiter les considérations éthiques et de garantir la durabilité à long terme.

Exemple concret : Le sabordage de l'IA dans le rapport international sur la sécurité de l'IA

Le rapport international sur la sécurité de l'IA met en évidence une préoccupation connue sous le nom de sabordage de l'IA, dans laquelle un modèle se comporte différemment lors de l'évaluation que dans l'utilisation réelle. En particulier, les systèmes avancés peuvent sembler plus sûrs ou moins capables lors des tests formels mais se comporter différemment une fois déployés.

Cela crée un écart d'évaluation : les benchmarks traditionnels et les tests de red-team peuvent ne pas capturer pleinement les risques réels si les modèles peuvent adapter leur comportement en fonction du contexte. Pour les entreprises, cela implique qu'un test de sécurité ponctuel est insuffisant et doit être complété par une surveillance continue, des audits et des mécanismes de gouvernance.⁸

Figure 1 : Exemple du modèle o3 de OpenAI montrant une conscience situationnelle lors des évaluations.

11. Modèles vérificateurs et pipelines d'auto-correction

Les modèles vérificateurs évaluent les sorties produites par un modèle de base et identifient les erreurs ou les incohérences. Ils prennent en charge l'auto-correction structurée. Leurs contributions principales incluent :

• Une précision plus élevée dans les tâches de raisonnement et mathématiques.
• Des taux d'échec plus faibles grâce à des vérifications systématiques.
• Une plus grande fiabilité dans les applications à haut risque ou spécifiques à un domaine.

12. Optimisation de l'IA sur appareil et en périphérie

L'optimisation de l'IA sur appareil et en périphérie est devenue de plus en plus cruciale pour améliorer la confidentialité, réduire la latence et améliorer l'efficacité. Au lieu de traiter les données dans des serveurs centralisés, les systèmes d'IA peuvent s'exécuter directement sur des appareils tels que des smartphones, des capteurs IoT ou du matériel d'entreprise.

Les avantages incluent :

• Une confidentialité améliorée en gardant les données sensibles locales.
• Une latence plus faible, permettant des insights en temps réel instantanés.
• Une dépendance réduite à la connectivité constante et à l'infrastructure cloud à grande échelle.

Cette tendance est particulièrement pertinente dans des industries telles que la santé, l'automobile et la fabrication, où les réponses rapides et la protection des données sont cruciales.

Lois de mise à l'échelle de l'IA

Les lois de mise à l'échelle décrivent comment les performances des modèles changent lorsque les paramètres, les données et le calcul évoluent ensemble dans des proportions équilibrées. Des recherches montrent que la perte tend à suivre des modèles de loi de puissance prévisibles lorsque les modèles sont entraînés avec suffisamment de données et de ressources de calcul par rapport à leur taille.

Les premiers travaux ont identifié des relations entre les paramètres, les tokens et le calcul d'entraînement, tandis que des études ultérieures ont révisé les ratios optimaux, montrant que de nombreux grands modèles étaient sous-entraînés et que les modèles fonctionnent mieux lorsque les paramètres et les tokens d'entraînement sont mis à l'échelle à des magnitudes similaires.

Des analyses plus récentes intègrent le coût de l'inférence, indiquant que des modèles plus petits entraînés plus longtemps peuvent égaler les performances de modèles plus grands lorsque les charges de travail d'inférence sont élevées. Des études supplémentaires se concentrent sur la façon dont les capacités, et pas seulement la perte, évoluent à travers les benchmarks et montrent que l'efficacité des modèles augmente à mesure que les architectures, la qualité des données et les méthodes d'entraînement s'améliorent.

Ces résultats guident la sélection de modèles et la planification des ressources en mettant l'accent sur une mise à l'échelle équilibrée, des données d'entraînement adéquates et l'importance croissante de l'efficacité des paramètres et de l'inférence.

Exemple concret : Mise à l'échelle TTC parallèle avec PaCoRe

PaCoRe (Parallel Coordinated Reasoning) est un framework open-source qui introduit une nouvelle approche de la mise à l'échelle du calcul au moment de l'inférence (TTC).

Plutôt que d'être contraint par la fenêtre de contexte d'un modèle, PaCoRe lance une exploration massive parallèle, puis compacte et synthétise les résultats via une architecture de passage de messages, permettant une mise à l'échelle efficace du calcul de plusieurs millions de tokens pendant l'inférence.

PaCoRe livre également un serveur open-source qui peut être utilisé avec des endpoints LLM arbitraires, permettant aux développeurs d'appliquer cette approche de mise à l'échelle parallèle à travers différents modèles et fournisseurs.⁹

13. Mise à l'échelle de la taille du modèle

Augmenter le nombre de paramètres dans un modèle signifie le rendre plus grand, généralement en ajoutant plus de couches ou en rendant les couches existantes plus complexes. Les modèles plus grands peuvent :

• Capturer des motifs plus complexes : Avec plus de paramètres, le modèle peut représenter des relations plus complexes dans les données.
• Gérer de plus grands ensembles de données : Les modèles plus grands ont une plus grande capacité pour traiter et apprendre à partir de données à grande échelle.

Cependant, la relation entre la taille du modèle et les performances peut présenter des rendements décroissants. Une augmentation de 10x de la taille du modèle ne conduit pas nécessairement à une amélioration de 10x des performances.

Les modèles plus grands nécessitent également de manière exponentielle plus de ressources de calcul et de mémoire, ce qui peut les rendre coûteux et plus difficiles à entraîner. Au-delà d'un certain point, l'augmentation de la taille du modèle peut produire des gains négligeables, en particulier si l'ensemble de données ou les ressources de calcul sont insuffisants.

14. Mise à l'échelle des données

La disponibilité et la taille de l'ensemble de données utilisé pour entraîner un modèle affectent considérablement ses performances :

• Les grands ensembles de données améliorent la généralisation : Avec des données plus diversifiées et complètes, le modèle apprend une plus large gamme de motifs et est moins susceptible de surajuster.
• Meilleure compréhension des événements rares : Les grands ensembles de données aident le modèle à apprendre des motifs rares et diversifiés, ce qui le rendrait meilleur pour gérer des cas inhabituels.

Cependant, la mise à l'échelle des données a aussi des limites :

• Stagnation des gains : Après un certain point, l'ajout de plus de données fournit des rendements décroissants en performance car le modèle a appris la plupart des motifs utiles.
• Qualité plutôt que quantité : Des données de mauvaise qualité ou bruyantes peuvent ne pas améliorer les performances, même en grands volumes.
• Goulot d'étranglement de calcul : Les grands ensembles de données nécessitent plus de puissance de calcul et de temps d'entraînement, ce qui peut être prohibitif.

15. Génération augmentée par récupération (RAG)

La génération augmentée par récupération est devenue une stratégie essentielle pour améliorer les modèles d'IA sans compter uniquement sur des modèles plus grands ou des ressources de calcul accrues. Les systèmes RAG intègrent un LLM avec une base de connaissances externe, permettant au modèle d'accéder à des informations pertinentes en temps réel.

Les avantages clés incluent :

• Réduire le besoin de réentraîner les modèles lorsque de nouvelles informations sont créées.
• Améliorer les performances sur les fonctions commerciales spécialisées en ancrant les sorties dans des sources de données curées.
• Atténuer les risques de réponses obsolètes ou hallucinées en permettant aux systèmes de citer des sources d'arrière-plan.

Cette approche est maintenant courante dans les solutions d'IA d'entreprise, où les données d'entraînement ne peuvent pas suivre le rythme des domaines en évolution rapide, tels que la finance, le droit ou le service client.

16. Systèmes augmentés de mémoire

Les systèmes augmentés de mémoire donnent aux modèles accès à une mémoire persistante ou au niveau de session. Cela permet au modèle de maintenir le contexte à travers les tâches et les interactions.

Les caractéristiques importantes incluent :

• Prise en charge d'un contexte à long terme qui n'est pas limité par la longueur de l'invite.
• Une cohérence améliorée à travers les flux de travail multi-étapes.
• Meilleur alignement avec les cas d'utilisation qui nécessitent de la continuité, tels que le travail de projet ou l'analyse complexe.

17. Mise à l'échelle du calcul

La mise à l'échelle du calcul implique d'augmenter la puissance de calcul disponible pendant l'entraînement ou l'inférence, généralement par :

• Matériel plus puissant : Des GPUs, des TPU ou des puces d'IA spécialisées.
• Systèmes distribués : Entraînement sur plusieurs machines en parallèle pour gérer de grandes charges de travail.
• Durées d'entraînement plus longues : Permettre au modèle d'optimiser ses poids sur plus d'itérations.

La relation entre le calcul et les performances du modèle est fondamentale :

• Plus de calcul permet des modèles plus grands : La mise à l'échelle du calcul permet d'entraîner des modèles avec plus de paramètres.
• Entraînement prolongé : Avec suffisamment de calcul, les modèles peuvent s'entraîner sur de plus grands ensembles de données pendant de plus longues périodes, ce qui conduirait à une meilleure optimisation.

Cependant, la mise à l'échelle du calcul présente également des défis :

• Rendements décroissants : Bien que les performances s'améliorent avec plus de calcul, le taux d'amélioration ralentit à mesure que les ressources augmentent.
• Coûts et demandes énergétiques : L'entraînement de modèles avancés comme GPT-4 nécessite d'importantes ressources financières et environnementales.

Malgré ces défis, la mise à l'échelle du calcul a joué un rôle déterminant dans l'amélioration de l'apprentissage automatique de l'IA.

Dans l'étape d'inférence, les performances d'un modèle d'IA, en particulier pour les tâches nécessitant des mathématiques ou un raisonnement multi-étapes, peuvent s'améliorer en allouant plus de temps de calcul. Cela est souvent réalisé par des stratégies comme une augmentation du calcul par requête ou un raffinement itératif. Voici comment cela fonctionne :

Que se passe-t-il pendant l'inférence ?

L'inférence est l'étape où un modèle pré-entraîné est utilisé pour générer des prédictions ou effectuer des tâches basées sur de nouvelles entrées. Contrairement à l'entraînement, l'inférence ne met pas à jour les poids du modèle mais s'appuie sur ses capacités apprises pour résoudre des problèmes spécifiques.

Pourquoi plus de temps de calcul aide-t-il ?

Lors de l'exécution de tâches comme des calculs mathématiques ou un raisonnement multi-étapes, le modèle bénéficie de plus de temps et de ressources par requête car :

• Raffinement itératif : Pour les tâches nécessitant plusieurs étapes logiques, le modèle peut décomposer le problème en parties plus petites, résoudre chaque partie et raffiner itérativement sa solution. Allouer plus de calcul permet au modèle de traiter ces étapes plus soigneusement.
• Précision accrue : Dans les tâches mathématiques, un temps d'inférence plus long permet une exploration plus profonde des motifs ou des mécanismes d'essai-erreur pour approximer les solutions correctes.
• Meilleure compréhension contextuelle : Dans les tâches comme le raisonnement multi-étapes, un modèle avec plus de temps de calcul peut évaluer le contexte à plusieurs reprises, pour s'assurer que les étapes intermédiaires s'alignent avec le problème plus large.

18. Mise à l'échelle du calcul au moment de l'inférence

La mise à l'échelle du calcul au moment de l'inférence fait référence à l'allocation de plus de calcul à un modèle pendant l'inférence. Cette approche prend en charge des traces de raisonnement plus longues et une évaluation multi-étapes sans modifier les paramètres du modèle.

Les points clés incluent :

• Les modèles peuvent raffiner itérativement les étapes intermédiaires pour les tâches qui nécessitent un raisonnement.
• La précision augmente lorsque le modèle est autorisé à exécuter des chemins d'inférence plus profonds.
• Les gains de performance sont obtenus sans réentraînement, ce qui rend cette méthode adaptée aux mises à jour fréquentes.

Exemple concret : Gains de capacités post-entraînement et au moment de l'inférence

Anthropic's Claude Opus 4.6 illustre comment les systèmes d'IA de pointe progressent grâce à des améliorations dans le raisonnement au moment de l'inférence et l'intégration d'outils. Ces gains se manifestent dans un codage agentique plus capable, où le modèle peut planifier des tâches logicielles multi-étapes, naviguer dans de grandes bases de code et corriger itérativement ses propres erreurs.

Ils apparaissent également dans une utilisation d'outils plus forte et des flux de travail d'agents coordonnés, tels que des équipes d'agents dans Claude Code qui divisent et exécutent des tâches complexes.

De plus, Opus 4.6 prend en charge de grandes fenêtres de contexte (jusqu'à environ 1 million de tokens en bêta), lui permettant de maintenir la cohérence sur des documents étendus, des bases de code et des interactions multi-étapes.

Ensemble, ces développements soulignent comment la conception du système et les techniques au moment de l'inférence entraînent des gains de capacités significatifs au-delà de l'entraînement de base seul.

Figure 2 : Graphique montrant les performances d'Opus 4.6 sur Terminal Bench. Terminal Bench est une suite de benchmarking pour évaluer les agents d'IA opérant dans des environnements de terminal.¹⁰

Exemple concret : Gemini 3 Deep Think

Google's Gemini 3 Deep Think est conçu pour résoudre des problèmes scientifiques, mathématiques et d'ingénierie complexes avec une recherche inférentielle plus profonde et une exploration multi-hypothèses.

Deep Think améliore les performances en changeant la façon dont le modèle raisonne au moment de l'inférence, en allouant plus de calcul aux problèmes plus difficiles plutôt que de compter uniquement sur un nombre de paramètres plus élevé.

Cela montre que les modalités de raisonnement, dans lesquelles un modèle peut passer à un mode de réflexion profonde optimisé pour les tâches analytiques plus difficiles, émergent comme un concept distinct de progrès de l'IA aux côtés du nombre de paramètres et des améliorations d'outils/déploiement.

Figure 3 : Graphique montrant les performances de Deep Think sur ARC-AGI 2, Humanity's Last Exam, MMMU-Pro et les benchmarks Codeforces.¹¹

Exemple concret : GPT-5.3-Codex-Spark

OpenAI's GPT-5.3-Codex-Spark est un modèle axé sur le codage positionné comme une variante optimisée pour la vitesse de GPT-5.3-Codex, destinée aux flux de travail de développement en temps réel.

Les caractéristiques clés incluent :

• Inférence à haut débit : Conçu pour une assistance au codage à faible latence, avec des vitesses de sortie rapportées à plus de 1 000 tokens par seconde dans les environnements pris en charge.
• Grande fenêtre de contexte : Prend en charge jusqu'à 128 000 tokens de contexte, permettant une utilisation avec de plus grandes bases de code et des sessions plus longues.
• Flux de travail de codage interactifs : Ciblé sur les tâches de codage itératives telles que l'édition, le débogage et le raffinement de code en temps réel.
• Accent sur l'infrastructure : Conçu pour s'exécuter sur une infrastructure d'inférence à faible latence, y compris les déploiements sur le matériel Cerebras.

Figure 4 : Performance de benchmark de OpenAI's GPT-5.3-Codex-Spark sur SWE-Bench Pro.¹²

19. IA agentique

Au lieu de compter sur un seul modèle plus grand, les systèmes agentiques utilisent différents modèles avec des rôles définis, tels que la planification, le raisonnement et l'exécution.

Les avantages incluent :

• Mise à l'échelle des capacités de raisonnement sans augmenter indéfiniment les nombres de paramètres.
• Plus grande flexibilité dans l'utilisation des outils en attribuant des tâches au modèle le plus capable.
• Intégration plus simple des retours des utilisateurs et des parties prenantes à différentes étapes d'un processus.

Un exemple est un système multi-agents où un modèle gère les tâches de gestion de projet, un autre interprète les entrées en langage naturel, et un troisième gère la récupération et l'intégration de données. Ensemble, ces modèles offrent de meilleurs résultats qu'un seul modèle travaillant seul.

20. Techniques d'efficacité des modèles

En réponse au coût et à l'impact environnemental de l'entraînement de modèles plus grands, les techniques d'efficacité sont récemment devenues un point focal. Ces méthodes permettent aux développeurs d'améliorer les performances tout en utilisant moins de ressources :

• La quantification réduit l'empreinte mémoire en réduisant la précision des paramètres du modèle sans perdre de qualité dans les prédictions.
• La distillation de connaissances transfère les capacités d'un grand modèle vers un modèle plus petit, permettant une inférence plus rapide.
• Le élagage supprime les paramètres redondants pour réduire la complexité tout en maintenant la précision.
• L'adaptation à faible rang (LoRA) permet un fine-tuning efficace des grands modèles sur des tâches spécifiques à un domaine avec des ressources limitées.

Ces techniques permettent aux systèmes d'IA d'être plus évolutifs à travers divers modèles et contextes commerciaux, permettant de meilleurs résultats à un coût inférieur.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Recommandations sur la façon d'aborder l'amélioration des modèles d'IA/ML

Améliorer un modèle d'IA/ML nécessite une approche stratégique pour identifier les domaines où mettre en œuvre des solutions efficaces. En combinant la surveillance des performances avec une prise de décision basée sur des hypothèses, les modèles d'IA/ML peuvent être affinés et optimisés pour de meilleurs résultats :

Surveiller les performances

Vous pouvez améliorer quelque chose en connaissant ses domaines d'amélioration. Cela peut être fait en surveillant les fonctionnalités du modèle d'IA/ML. Cependant, si toutes les fonctionnalités du modèle ne peuvent pas être surveillées, un nombre sélectionné de fonctionnalités clés peuvent être observées pour étudier les variations dans leur sortie qui peuvent avoir un impact sur les performances du modèle.

Génération d'hypothèses

Avant de sélectionner la bonne méthode, nous recommandons de réaliser une génération d'hypothèses. C'est un processus pré-décisionnel qui structure le processus de décision et réduit les options.

Ce processus implique d'acquérir des connaissances du domaine, d'étudier le problème auquel le modèle d'IA/ML est confronté, et de réduire les options disponibles qui peuvent résoudre les problèmes identifiés.

Amélioration itérative et expérimentation

L'amélioration des modèles d'IA/ML est un processus continu. Après avoir formé des hypothèses et sélectionné des solutions potentielles, l'expérimentation et l'itération sont essentielles pour affiner le modèle.

Tests A/B : Testez différents modèles ou changements sur des sous-ensembles de données pour comparer les résultats. Cela aide à identifier quelles améliorations sont les plus efficaces.

Reentraînement du modèle : Réentraînez régulièrement le modèle avec de nouvelles données, des mises à jour de fonctionnalités ou des ajustements d'algorithme pour garantir qu'il reste pertinent et s'adapte aux conditions changeantes.

Surveillance automatisée et boucles de rétroaction : Utilisez des systèmes automatisés pour fournir un retour d'information continu sur l'IA, permettant des ajustements rapides et une itération rapide des améliorations.

Intégrer les retours des parties prenantes

Une partie souvent négligée du processus d'amélioration du modèle est la collecte d'informations auprès des utilisateurs finaux ou des parties prenantes. Les retours d'IA collectés auprès des équipes commerciales, des experts du domaine ou des utilisateurs finaux offrent un contexte précieux pour affiner les prédictions et résoudre les angles morts réels.

L'intégration de cette boucle de rétroaction aide à garantir que le modèle s'adapte continuellement et reste aligné sur les besoins opérationnels.

Cette boucle de rétroaction garantit que le modèle reste aligné sur les besoins et les attentes du monde réel.

Prioriser les changements les plus impactants

Toutes les améliorations n'auront pas le même niveau d'impact. Il est essentiel de prioriser les changements qui répondent directement aux problèmes de performance les plus critiques.

Par exemple, améliorer la qualité des données ou traiter un biais significatif dans le modèle peut avoir des effets plus substantiels que de petits ajustements aux hyperparamètres de l'algorithme.

Documenter et standardiser le processus d'amélioration

Pour des améliorations continues, documentez les méthodes, les expériences et les résultats.

Standardiser ce processus permet aux améliorations futures de suivre une approche éprouvée et structurée, garantissant que les améliorations peuvent être mesurées, comparées et suivies.

FAQ

Citer cette recherche

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Ermut, Sıla},
  title  = {{20 stratégies pour l'amélioration de l'IA et exemples}},
  year   = {2026},
  month  = feb,
  howpublished    = {\url{https://aimultiple.com/ai-improvement}},
  note   = {AIMultiple. Consulté le 20 Février 2026}
}

Liens de référence

1.

Professional Services - Telstra Enterprise

2.

[2111.09297] Learning to Compose Visual Relations

3.

More complex deep learning models require more complex data | by Anyverse | Anyverse™ | Medium

Anyverse™

4.

Single instruction, multiple data - Wikipedia

Contributors to Wikimedia projects

5.

https://arxiv.org/pdf/1706.03762

6.

moonshotai/Kimi-K2.5 · Hugging Face

7.

2023: A Year of Groundbreaking Advances in AI and Computing — Google DeepMind

Google DeepMind

8.

https://internationalaisafetyreport.org/sites/default/files/2026-02/international-ai-safety-report-2026.pdf

9.

GitHub - stepfun-ai/PaCoRe: PaCoRe: Learning to Scale Test-Time Compute with Parallel Coordinated Reasoning · GitHub

10.

Claude Opus 4.6 \ Anthropic

11.

Gemini 3 Deep Think: AI model update designed for science

Google

12.

Introducing GPT-5.3-Codex | OpenAI

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017. AIMultiple informe chaque mois des centaines de milliers d'entreprises (selon similarWeb), dont 55 % des entreprises du classement Fortune 500. Les travaux de Cem ont été cités par des publications internationales de premier plan telles que Business Insider, Forbes et le Washington Post, ainsi que par des entreprises mondiales comme Deloitte et HPE, des ONG comme le Forum économique mondial et des organisations supranationales comme la Commission européenne. Vous trouverez d'autres entreprises et ressources réputées ayant fait référence à AIMultiple. Tout au long de sa carrière, Cem a exercé les fonctions de consultant, d'acheteur et d'entrepreneur dans le secteur des technologies. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la numérisation. Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité directe du PDG. Il a également piloté la croissance commerciale de la société de deep tech Hypatos, qui a atteint un chiffre d'affaires annuel récurrent à sept chiffres et une valorisation à neuf chiffres en seulement deux ans. Les travaux de Cem chez Hypatos ont été présentés dans des publications technologiques de référence telles que TechCrunch et Business Insider. Cem intervient régulièrement lors de conférences internationales sur les technologies. Diplômé en génie informatique de l'université de Bogazici, il est également titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Recherche effectuée par

Sıla Ermut

Analyste du secteur

Suivre

Sıla Ermut est analyste chez AIMultiple, spécialisée dans le marketing par e-mail et les vidéos de vente. Auparavant, elle travaillait comme recruteuse dans des cabinets de conseil et de gestion de projets. Sıla est titulaire d'un master en psychologie sociale et d'une licence en relations internationales.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire