Apprentissage fédéré : 7 cas d'utilisation et exemples
D'après de récentes analyses de McKinsey, les risques les plus pressants liés à l'adoption de l'IA comprennent les hallucinations des modèles, la provenance et l'authenticité des données, la non-conformité réglementaire et les vulnérabilités de la chaîne d'approvisionnement en IA. 1
L’apprentissage fédéré (FL) s’est imposé comme une technique fondamentale pour les organisations souhaitant atténuer ces risques. Il permet aux modèles d’apprendre à partir de données décentralisées tout en préservant la confidentialité des informations sensibles et en assurant la conformité avec les lois relatives à la localisation et à la protection des données.
Découvrez ce qu'est l'apprentissage fédéré, comment il fonctionne, les cas d'utilisation courants avec des exemples concrets, les défis potentiels et ses alternatives.
Cas d'utilisation et exemples d'apprentissage fédéré
L'apprentissage fédéré prend en charge un large éventail de systèmes d'IA où la sensibilité des données, la décentralisation et l'adaptation en temps réel sont essentielles. Il est de plus en plus utilisé dans l'IA multi-agents, la finance, les applications mobiles, la santé, les transports autonomes, l'industrie intelligente et la robotique, permettant ainsi l'entraînement collaboratif des modèles.
1. IA agentique
Au lieu de centraliser les données dans un référentiel unique, l'apprentissage fédéré permet à chaque agent d'apprendre directement de ses propres interactions ou de son environnement. L'agent contribue ensuite au processus d'apprentissage partagé uniquement par des mises à jour de modèle respectueuses de la vie privée, sans exposer les données brutes.
Cette approche permet aux agents de s'améliorer en permanence en tirant des enseignements de l'expérience collective, tout en respectant la vie privée, la propriété des données et les exigences réglementaires.
De ce fait, l'IA agentielle peut rester personnalisée et adaptative tout en respectant la vie privée, ce qui rend l'apprentissage fédéré particulièrement adapté aux environnements sensibles où les agents doivent fonctionner indépendamment tout en bénéficiant des tendances observées chez différents utilisateurs, appareils ou organisations.
Exemple concret : Cadre de détection d’intrusion IoT préservant la confidentialité
La croissance rapide des objets connectés a permis des avancées dans des domaines tels que la santé, les villes intelligentes et les systèmes industriels, mais elle a également accru l'exposition aux cyberattaques et aux risques d'atteinte à la vie privée.
Les systèmes traditionnels de détection d'intrusion centralisés reposent sur l'agrégation de données sensibles, ce qui engendre une surcharge de communication, des problèmes de confidentialité et des points de défaillance uniques. Pour pallier ces limitations, une étude récente propose un cadre de détection d'intrusion IoT respectueux de la vie privée, combinant l'apprentissage fédéré (FL) et l'intelligence artificielle agentique.
FL permet l'entraînement décentralisé des modèles, tandis qu'Agentic AI ajoute des capacités d'adaptation, d'auto-apprentissage et de prise de décision autonome pour répondre aux menaces en constante évolution.
Ce cadre utilise la détection d'anomalies locales, l'agrégation sécurisée et une communication légère pour équilibrer précision et confidentialité, avec des composants agents optimisant les défenses en temps réel. 2
2. Applications financières
L'apprentissage fédéré permet aux institutions financières d'entraîner collaborativement des modèles d'IA sans partager de données brutes, permettant ainsi à chaque organisation de conserver les informations sensibles localement tout en contribuant à un modèle partagé plus robuste.
Ceci est particulièrement précieux pour la détectiondes fraudes et des crimes financiers, où les menaces concernent plusieurs banques et régions, mais où le partage de données est restreint par des réglementations telles que le RGPD et la loi européenne sur l'IA.
Exemple concret : Le rôle de l’apprentissage fédéré dans l’amélioration de la sécurité financière
Un article récent examine l'apprentissage fédéré (FL) comme une solution prometteuse pour améliorer la sécurité et la confidentialité dans les systèmes financiers modernes, en particulier parce que la finance numérique et les points de terminaison compatibles avec l'Internet des objets, tels que les guichets automatiques et les terminaux de point de vente, génèrent de grands volumes de données sensibles.
L'article classe les cas d'utilisation de FL en fonction de l'exposition réglementaire, des applications à faible risque telles que l'optimisation de portefeuille aux tâches à haut risque comme la détection de fraude en temps réel, et met en lumière les récents succès en matière de prévention de la fraude et de cadres intégrés à la blockchain.
Bien que le FL offre des avantages évidents en termes de confidentialité, de conformité et d'évolutivité, l'article souligne également les défis persistants, notamment l'hétérogénéité des données, les attaques adverses, l'interprétabilité et l'intégration réglementaire.
Pour l'avenir de la logique floue dans la finance, l'article identifie la combinaison de la logique floue avec des technologies telles que la blockchain, la confidentialité différentielle, le calcul multipartite sécurisé et les méthodes quantiques sécurisées comme étant la clé pour réaliser des systèmes d'IA fiables et pérennes. 3
Exemple concret : Fleur avec cercle bancaire
La plateforme d'apprentissage fédéré de Flower aide les institutions financières à entraîner collaborativement des modèles d'IA sur des données décentralisées, améliorant ainsi la confidentialité, la sécurité, la conformité et la précision prédictive pour des tâches telles que la détection des fraudes, l'évaluation des risques et d'autres analyses.
Banking Circle, une banque de paiements mondiale traitant une part importante des flux de commerce électronique européens, utilise l'IA pour gérer ses opérations de lutte contre le blanchiment d'argent (LCB) en signalant automatiquement les transactions suspectes pour examen.
Lors de son expansion aux États-Unis, les différences de schémas transactionnels et les contraintes strictes en matière de transfert de données ont limité l'efficacité des modèles entraînés exclusivement sur des données européennes. Pour remédier à cela, Banking Circle a adopté la plateforme d'apprentissage fédéré de Flower, ce qui lui permet d'entraîner des modèles de lutte contre le blanchiment d'argent dans différentes régions sans transférer de données sensibles au-delà des frontières.
Cette approche a permis au modèle américain de tirer des enseignements des expériences européennes tout en restant conforme aux exigences locales, les améliorations étant répercutées au fil du temps sur le système européen. 4
3. Applications mobiles
Les applications mobiles utilisent des systèmes d'apprentissage automatique pour la personnalisation, comme la prédiction du mot suivant, la détection faciale et la reconnaissance vocale. Cependant, l'entraînement traditionnel de l'IA centralise les données utilisateur, ce qui soulève des inquiétudes quant à la confidentialité, la sécurité et la gouvernance des données. L'apprentissage fédéré répond à ces enjeux en permettant l'entraînement des modèles sur un réseau d'appareils sans transmission des données utilisateur brutes.
Voici quelques avantages de l'apprentissage fédéré pour les applications mobiles :
- IA respectueuse de la vie privée : les données sensibles de l’utilisateur restent sur l’appareil, réduisant ainsi les risques de divulgation des données tout en améliorant la précision du modèle.
- Modèles personnalisés et adaptatifs : les applications peuvent affiner les modèles d’IA en fonction des habitudes d’utilisation individuelles sans nécessiter de mises à jour constantes dans le cloud.
- Utilisation réduite de la bande passante : au lieu de télécharger de grands ensembles de données, seules les mises à jour du modèle sont partagées, ce qui rend l’apprentissage fédéré efficace pour les réseaux mobiles.
- Sécurité renforcée : En maintenant les données décentralisées, l'apprentissage fédéré atténue les risques associés au stockage centralisé des données et aux violations de données.
Cette approche est déjà utilisée dans les claviers de smartphones pour la saisie prédictive et la correction automatique, dans les assistants vocaux pour la reconnaissance vocale et dans l'authentification biométrique pour la reconnaissance faciale et d'empreintes digitales.
Exemple concret : Google et amélioration des modèles vocaux
Google utilise l'apprentissage fédéré pour améliorer les systèmes d'apprentissage automatique embarqués, comme la détection de « Hey Google » dans Google Assistant, permettant ainsi aux utilisateurs d'émettre des commandes vocales. Cette approche permet l'entraînement des modèles vocaux directement sur les appareils des utilisateurs sans transmission de données audio aux serveurs de Google, préservant ainsi la confidentialité des utilisateurs.
L'apprentissage fédéré facilite l'amélioration des capacités de reconnaissance vocale en traitant les données localement, garantissant ainsi que les informations audio personnelles restent sur l'appareil. 5
4. Santé
L'apprentissage fédéré est bénéfique pour le secteur de la santé et l'assurance maladie car il permet une formation puissante en IA tout en préservant la confidentialité des données des patients.
La centralisation traditionnelle des données, où les hôpitaux et les institutions regroupent les dossiers médicaux dans un seul référentiel, soulève d'importantes préoccupations concernant la gouvernance des données, la sécurité et la conformité aux réglementations telles que la loi HIPAA et le RGPD.
L'apprentissage fédéré permet de gérer ces problèmes en autorisant la formation collaborative de modèles entre plusieurs institutions sans nécessiter de partage direct de données.
Cette approche présente plusieurs avantages :
- Confidentialité et sécurité renforcées : les données sensibles des patients restent à leur source d'origine, réduisant ainsi les risques d'exposition et de violations de données.
- Amélioration de la diversité des données : grâce à l’entraînement sur des ensembles de données provenant de différents hôpitaux, centres de recherche et dossiers médicaux électroniques, l’apprentissage fédéré permet aux modèles de reconnaître les maladies rares et d’améliorer la précision du diagnostic au sein de populations diverses.
- Intelligence artificielle médicale évolutive : les modèles d’apprentissage automatique peuvent être continuellement affinés à partir de données réelles provenant de plusieurs institutions, ce qui permet d’obtenir des analyses prédictives plus fiables et de meilleurs résultats pour les patients.
Exemple concret : la plateforme fédérée d’agents de Lifebit
Lifebit a annoncé la plateforme fédérée Agentic , le premier environnement de recherche de confiance (TRE) entièrement automatisé au monde. Actuellement en version bêta, cette plateforme permet aux chercheurs de gérer et d'analyser en toute sécurité des données biomédicales sensibles via une interface conversationnelle unique pilotée par l'IA.
Selon Lifebit, la plateforme simplifie les flux de travail de recherche complexes, tels que l'harmonisation des données, la création de cohortes et les analyses bioinformatiques, en permettant aux utilisateurs de réaliser des recherches de bout en bout grâce au langage naturel. Elle prend en charge les outils interactifs et de traitement par lots (par exemple, R, Jupyter, Nextflow), offre un dépannage intégré et une documentation, et inclut des fonctionnalités de génomique assistée par l'IA, telles que les études d'association pangénomique (GWAS) et l'identification de cibles.
L'entreprise présente sa plateforme comme plus sécurisée, auditable et conviviale que les TRE traditionnels, dans le but d'accélérer la recherche tout en maintenant une stricte conformité aux normes de gouvernance des données fédérées. 6
Exemple concret : MELLODDY
Le projet MELLODDY (Machine Learning Ledger Orchestration for Drug Discovery) est une initiative de recherche européenne financée par l'Initiative pour les médicaments innovants (IMI). Ce projet a réuni 10 entreprises pharmaceutiques, des partenaires universitaires et technologiques afin de démontrer comment l'apprentissage fédéré peut accélérer la découverte de médicaments sans partage de données confidentielles.
Plutôt que de mettre en commun des ensembles de données propriétaires, que les entreprises considèrent comme hautement sensibles, MELLODDY a développé une plateforme d'apprentissage automatique fédérée préservant la confidentialité, qui maintient les données de chaque entreprise derrière son propre pare-feu et ne partage que les mises à jour des modèles, et non les données brutes, pour l'apprentissage collaboratif.
Cette plateforme utilise des technologies telles que l'infrastructure AWS, l'orchestration Kubernetes et un registre blockchain privé pour garantir un entraînement des modèles sécurisé et traçable entre les partenaires, tout en protégeant la propriété des données et les droits de propriété intellectuelle.
En exposant les algorithmes d'apprentissage automatique à une quantité de données bien supérieure à celle de n'importe quelle autre entreprise, MELLODDY a démontré une amélioration des performances prédictives et une plus grande applicabilité du modèle pour la prédiction de l'activité biologique et de la toxicologie des candidats médicaments. 7
Exemple concret : Owkin
Owkin, une entreprise de biotechnologie, utilise l'apprentissage fédéré pour entraîner des modèles d'IA dans plusieurs institutions médicales et de recherche sans centraliser les données sensibles.
Plutôt que de collecter toutes les données des patients en un seul endroit, l'approche d'Owkin conserve les données là où elles sont stockées (par exemple, sur les serveurs de l'hôpital) et déplace les algorithmes d'apprentissage automatique vers les données.
Les modèles sont entraînés localement sur les jeux de données de chaque partenaire, et seules les mises à jour sont partagées et agrégées pour construire un modèle global. Ceci permet aux chercheurs et aux cliniciens de bénéficier d'un ensemble de données plus diversifié que celui qu'une seule institution pourrait fournir, améliorant ainsi les performances des algorithmes prédictifs tout en préservant la confidentialité des données des patients et la souveraineté des données.
Owkin considère cette technique comme particulièrement puissante pour l'IA collaborative dans le domaine de la santé (comme la prédiction des résultats des traitements) et comme un moyen de développer la médecine de précision sans compromettre la confidentialité. 8
Exemple concret : MedPerf
La demande croissante d'apprentissage fédéré dans le domaine de l'IA médicale a donné lieu à des initiatives comme MedPerf, une plateforme open source développée par une coalition de partenaires industriels et universitaires.
MedPerf se concentre sur l'évaluation fédérée des modèles d'IA, garantissant leur performance optimale sur des données médicales réelles et diversifiées, tout en préservant la confidentialité des patients. En combinant des innovations techniques en matière d'apprentissage fédéré avec des cadres de gouvernance établissant des critères de référence cliniquement pertinents, ces initiatives visent à favoriser l'adoption de l'IA dans le secteur de la santé sans compromettre la confiance ni la sécurité.
Figure 2 : Un exemple d'apprentissage fédéré dans le domaine de la santé tiré du cadre d'évaluation comparative de l'IA fédérée MedPerf. 9
5. Transports : Véhicules autonomes
Les voitures autonomes s'appuient sur une combinaison de techniques d'apprentissage automatique avancées pour naviguer dans des environnements complexes.
La vision par ordinateur leur permet de détecter les obstacles, tandis que les modèles d'apprentissage adaptatifs aident à ajuster le comportement de conduite en fonction des conditions telles que la circulation ou un terrain accidenté.
Cependant, les approches traditionnelles basées sur le cloud peuvent introduire de la latence et poser des risques pour la sécurité, notamment dans les scénarios de trafic à haute densité où des décisions prises en une fraction de seconde sont cruciales.
L'apprentissage fédéré offre une solution en décentralisant le traitement des données et en permettant un apprentissage en temps réel sur plusieurs véhicules. Au lieu de dépendre uniquement des mises à jour dans le cloud, les véhicules autonomes peuvent entraîner des modèles de manière collaborative tout en conservant les données localisées. Cette approche garantit que les véhicules affinent continuellement leur prise de décision en fonction des dernières conditions de circulation, sans transfert excessif de données.
En tirant parti de l'apprentissage fédéré, les voitures autonomes peuvent atteindre trois objectifs clés :
- Information en temps réel sur le trafic et l'état des routes : les véhicules peuvent rapidement traiter et partager des informations sur les dangers de la route, les zones de travaux ou les changements météorologiques soudains, garantissant ainsi une navigation plus sûre.
- Prise de décision immédiate : l’IA embarquée peut réagir plus rapidement aux conditions de conduite dynamiques, réduisant ainsi la dépendance aux serveurs distants et minimisant la latence dans les moments critiques.
- Amélioration continue du modèle : à mesure que davantage de véhicules contribuent par leurs apprentissages locaux, les systèmes autonomes évoluent et améliorent leur précision prédictive au fil du temps.
En intégrant l'apprentissage fédéré, les véhicules autonomes peuvent non seulement améliorer leur réactivité immédiate, mais aussi créer une intelligence collective qui améliore la sécurité et l'efficacité globales des systèmes de conduite autonome.
Exemple concret : NVIDIA FLARE
La plateforme d'apprentissage fédéré AV de NVIDIA, alimentée par NVIDIA FLARE, permet aux modèles de véhicules autonomes (AV) d'être entraînés de manière collaborative dans différents pays tout en préservant la confidentialité des données et en se conformant aux réglementations régionales telles que le RGPD et la PIPL.
Au lieu d'une formation centralisée, qui peut s'avérer coûteuse et soumise à des restrictions en matière de transfert de données, l'apprentissage fédéré permet d'entraîner les modèles localement sur des données spécifiques à chaque pays, améliorant ainsi les performances globales des modèles.
La plateforme s'intègre aux systèmes d'apprentissage automatique existants et fonctionne avec un serveur central hébergé sur AWS au Japon, permettant ainsi l'entraînement transfrontalier. Depuis son lancement, elle a produit plus d'une douzaine de modèles de véhicules autonomes, dont les performances égalent, voire surpassent, celles des modèles entraînés localement. Son utilisation est passée de 2 à 30 data scientists en un an. 10
6. Production intelligente : Maintenance prédictive
Avec l'avènement de l'Industrie 4.0, la maintenance prédictive pilotée par l'IA aide les fabricants à réduire les temps d'arrêt, à prolonger la durée de vie des équipements et à accroître leur efficacité. Cependant, sa mise en œuvre se heurte à des difficultés, notamment en matière de confidentialité des données, de sécurité et de restrictions liées au partage transfrontalier.
L'apprentissage fédéré résout ces problèmes en permettant aux fabricants de développer des modèles de maintenance prédictive sans transférer de données industrielles sensibles. Au lieu de centraliser les informations provenant de plusieurs usines ou clients dans un référentiel unique, l'apprentissage fédéré permet à chaque site d'entraîner ses modèles localement. Ces modèles contribuent ensuite à un système prédictif global sans exposer de données confidentielles.
Les principaux avantages de l'apprentissage fédéré pour la maintenance prédictive sont les suivants :
- IA respectueuse de la vie privée : les données industrielles restent sur site, éliminant ainsi les inquiétudes liées au partage de données opérationnelles confidentielles ou sensibles avec des entités externes.
- Conformité transfrontalière : De nombreux fabricants opèrent dans plusieurs pays, chacun ayant ses propres réglementations en matière de protection des données. L’apprentissage fédéré facilite la conformité en conservant les données localisées tout en bénéficiant de l’intelligence collective.
- Adaptabilité aux équipements et conditions variés : les environnements de production diffèrent considérablement selon les machines, la charge de travail et les paramètres opérationnels. L’apprentissage fédéré permet d’adapter les modèles prédictifs aux conditions locales tout en contribuant à une meilleure compréhension des schémas de défaillance des équipements.
Au-delà de la maintenance prédictive, l'apprentissage fédéré est également appliqué dans la fabrication intelligente pour le contrôle qualité en temps réel, l'optimisation de l'efficacité énergétique et la surveillance environnementale, y compris les prévisions de la qualité de l'air pour la détection des PM2.5 dans les villes intelligentes.
7. Robotique
La robotique s'appuie sur l'apprentissage automatique pour la perception, la prise de décision et le contrôle, des tâches simples à la navigation complexe. Avec le développement des applications, l'apprentissage continu et l'adaptabilité sont essentiels, mais la formation centralisée se heurte à des problèmes de transfert de données, de confidentialité et de communication, notamment dans les systèmes multi-robots.
L'apprentissage fédéré permet aux robots d'améliorer leurs modèles de manière collaborative tout en conservant les données localisées. Cette approche décentralisée est particulièrement utile pour la navigation multi-robots, où les limitations de bande passante de communication peuvent constituer un défi.
Au lieu de s'appuyer sur une transmission constante de données vers un serveur central, l'apprentissage fédéré permet aux robots de s'entraîner sur leurs expériences locales et de ne partager que les mises à jour essentielles du modèle, optimisant ainsi l'efficacité de l'apprentissage sans surcharger les ressources du réseau.
Voici les principaux avantages de l'apprentissage fédéré en robotique :
- Apprentissage décentralisé pour une autonomie accrue : les robots peuvent affiner localement leurs modèles de perception et de contrôle, réduisant ainsi leur dépendance aux mises à jour basées sur le cloud et permettant une adaptation plus rapide aux nouveaux environnements.
- Collaboration multi-robots efficace : des groupes de robots peuvent échanger des expériences apprises sans transfert excessif de données, ce qui rendrait l’apprentissage fédéré idéal pour la gestion de flottes, l’automatisation d’entrepôts et la robotique en essaim.
- Confidentialité et sécurité renforcées : les données opérationnelles sensibles restent confinées à chaque système robotique, atténuant ainsi les risques d'exposition des données dans les applications industrielles ou militaires.
- Adaptabilité à divers environnements : Les robots opérant dans différents lieux, tels que des usines, des hôpitaux ou des zones urbaines, peuvent apporter des informations à un modèle global tout en s'adaptant à leur environnement spécifique.
Exemple concret : Apprentissage par renforcement fédéré pour la navigation collective d’essaims de robots
Les récents progrès de l'apprentissage par renforcement profond (DRL) ont amélioré la robotique en permettant la conception automatisée de contrôleurs, notamment pour les systèmes robotiques en essaim. Ces systèmes nécessitent des contrôleurs plus sophistiqués que les configurations à robot unique pour parvenir à un comportement collectif coordonné.
Bien que la conception de contrôleurs basés sur l'apprentissage par renforcement profond (DRL) se soit avérée efficace, sa dépendance à un serveur d'entraînement central pose des problèmes dans les environnements réels où la communication est instable ou limitée.
Pour remédier à cela, un article récent a introduit FLDDPG, une nouvelle stratégie d'entraînement DRL basée sur l'apprentissage fédéré (FL) et adaptée à la robotique en essaim.
Des évaluations comparatives dans des conditions de bande passante de communication limitée démontrent que FLDDPG offre une meilleure généralisation à travers divers environnements et robots réels, tandis que les méthodes de référence peinent à répondre aux contraintes de bande passante.
Ces résultats suggèrent que l'apprentissage fédéré améliore la navigation multi-robots dans des environnements à bande passante de communication limitée, répondant ainsi à un défi majeur des applications robotiques basées sur l'apprentissage dans le monde réel. 11
Qu'est-ce que l'apprentissage fédéré ?
L'apprentissage fédéré est un paradigme d'apprentissage automatique collaboratif où plusieurs participants entraînent des modèles à l'aide de données locales et ne partagent que les mises à jour des modèles ou les informations calculées, tandis que les données brutes restent sur site. La plupart des systèmes d'apprentissage fédéré pratiques utilisent encore un agrégateur central pour orchestrer les cycles d'entraînement.
Au lieu de transférer les données d'entraînement brutes, les participants envoient des mises à jour ou des gradients de modèles pour agrégation. Cependant, le partage de mises à jour à lui seul ne garantit pas la confidentialité sans techniques supplémentaires telles que l'agrégation sécurisée, la confidentialité différentielle ou les protections cryptographiques.
En conservant les données d'entraînement localement et en agrégeant les informations, l'apprentissage fédéré améliore la confidentialité des données tout en tirant parti des données distribuées pour améliorer la précision du modèle.
Comment fonctionne l'apprentissage fédéré ?
En apprentissage automatique, il existe deux étapes : l’entraînement et l’inférence.
Durant la phase de formation :
- Les modèles d'apprentissage automatique locaux sont entraînés sur des ensembles de données hétérogènes locaux. Par exemple, lorsqu'un utilisateur utilise une application d'apprentissage automatique, il repère et corrige les erreurs dans les prédictions de cette application. Ces actions créent des ensembles de données d'entraînement locaux sur l'appareil de chaque utilisateur.
- Les paramètres des modèles sont échangés périodiquement entre ces centres de données locaux. Dans de nombreux modèles, ces paramètres sont chiffrés avant l'échange. Les échantillons de données locaux ne sont pas partagés, ce qui renforce la protection des données et la cybersécurité.
- Un modèle global partagé est élaboré.
- Les caractéristiques du modèle global sont partagées avec les centres de données locaux afin d'intégrer le modèle global à leurs modèles locaux d'apprentissage automatique.
Par exemple, la solution Clara de Nvidia intègre l'apprentissage fédéré. Clara et Nvidia EGX permettent l'apprentissage grâce à la collecte sécurisée des mises à jour du modèle (mais pas des données d'entraînement) provenant de différents sites. Ceci permet aux modèles de se configurer globalement tout en préservant la confidentialité des données (voir figure ci-dessous).
Figure 1 : Un exemple tiré de NVIDIA illustrant le fonctionnement de l'apprentissage fédéré. 12
Lors de l'étape d'inférence , le modèle est stocké sur l'appareil de l'utilisateur, ce qui permet de préparer rapidement les prédictions à l'aide du modèle présent sur cet appareil.
Formation distribuée dans l'apprentissage fédéré
L'apprentissage fédéré et l'entraînement distribué sont des concepts distincts : l'apprentissage fédéré fait référence à un entraînement collaboratif avec des données décentralisées, tandis que l'entraînement distribué (calcul parallèle sur plusieurs nœuds au sein d'un même participant) est une stratégie d'optimisation locale et n'est pas inhérent à l'apprentissage fédéré lui-même.
Dans l'apprentissage fédéré, les clients, tels que les hôpitaux, les appareils mobiles ou les organisations, entraînent indépendamment des modèles sur leurs données locales et ne partagent que les mises à jour du modèle avec un agrégateur central.
Certains clients peuvent avoir accès à plusieurs GPU, serveurs ou nœuds périphériques. Ces ressources peuvent être utilisées en parallèle pour accélérer ou étendre l'entraînement local. Cette configuration crée une hiérarchie :
- Au plus haut niveau, plusieurs clients participent à un apprentissage fédéré.
- Au niveau local, chaque client peut utiliser une formation distribuée sur l'ensemble de son infrastructure disponible.
Une formation locale distribuée peut ensuite être mise en place :
- Parallélisme des données : Chaque nœud de calcul détient une réplique du modèle et s'entraîne sur un sous-ensemble des données locales.
- Parallélisme de modèles : Le modèle est réparti entre plusieurs nœuds de calcul, ce qui est utile pour les grands modèles qui ne tiennent pas dans la mémoire d'un seul appareil.
Principaux avantages de la combinaison de la formation distribuée et de l'apprentissage fédéré
1. Évolutivité améliorée
Les clients disposant de grands ensembles de données ou de modèles nécessitant une puissance de calcul importante peuvent avoir des difficultés à effectuer un entraînement efficace sur une seule machine.
La formation distribuée permet au client d'utiliser plusieurs nœuds ou appareils, améliorant ainsi le débit et prenant en charge des charges de travail plus importantes.
2. Utilisation efficace des ressources
Les organisations disposent souvent de clusters locaux ou de ressources de calcul inutilisées. L'utilisation de la formation distribuée au sein d'un apprentissage fédéré leur permet d'exploiter pleinement ces ressources sans centralisation des données.
3. Formation locale plus rapide
La distribution des calculs réduit le temps d'exécution des mises à jour locales du modèle. Cela permet de raccourcir chaque cycle d'apprentissage fédéré et de réduire le temps d'entraînement global pour l'ensemble des clients.
4. Séparation des intérêts
La formation fédérée et la formation distribuée locale fonctionnent indépendamment l'une de l'autre. Le serveur fédéré n'a pas besoin de gérer la planification interne ni la coordination des ressources clientes. Cette conception modulaire simplifie le déploiement et la maintenance.
5. Conception de système flexible
Les différents clients peuvent choisir différentes configurations d'entraînement local en fonction de leur environnement de calcul. Certains peuvent utiliser un entraînement sur un seul nœud, tandis que d'autres utilisent des configurations distribuées. Le protocole fédéré reste inchangé.
Pourquoi est-ce important maintenant ?
Les modèles d'apprentissage automatique précis sont précieux pour les entreprises, mais les systèmes d'apprentissage automatique centralisés traditionnels présentent des lacunes, comme l'absence d'apprentissage continu sur les périphériques et l'agrégation de données privées sur des serveurs centraux. L'apprentissage fédéré permet de pallier ces problèmes.
En apprentissage automatique traditionnel, un modèle central est construit à partir de toutes les données d'entraînement disponibles dans un environnement centralisé. Cela fonctionne sans problème lorsqu'un serveur central peut fournir les prédictions.
Cependant, en informatique mobile, les utilisateurs exigent des réponses rapides, et le temps de communication entre leur appareil et un serveur central peut s'avérer trop long pour une expérience utilisateur optimale. Pour pallier ce problème, le modèle peut être placé sur l'appareil de l'utilisateur final, mais l'apprentissage continu devient alors complexe car les modèles sont entraînés sur un ensemble de données complet, auquel l'appareil de l'utilisateur final n'a pas accès.
Un autre défi posé par l'apprentissage automatique traditionnel est que les données des utilisateurs sont agrégées dans un emplacement central pour l'entraînement, ce qui peut enfreindre les politiques de confidentialité de certains pays et rendre les données plus vulnérables aux violations.
L'apprentissage fédéré surmonte ces difficultés en permettant un apprentissage continu grâce aux données locales sur les appareils des utilisateurs finaux, tout en garantissant que les données de l'utilisateur restent sur l'appareil.
Récemment, l'apprentissage fédéré est également devenu une pierre angulaire du réglage fin fédéré, où les entreprises adaptent des modèles de base (tels que Llama 3, Mistral ou Gemini) à des données privées sans exposer les données elles-mêmes.
Les défis de l'apprentissage fédéré
exigences d'investissement
Les modèles d'apprentissage fédéré peuvent nécessiter des communications fréquentes entre les nœuds. Cela implique que la capacité de stockage et une bande passante élevée font partie des exigences système.
confidentialité des données
- La confidentialité des données est un enjeu majeur, car dans l'apprentissage fédéré, les données ne sont pas collectées sur un seul serveur ; plusieurs dispositifs servent à leur collecte et à leur analyse. Cela peut accroître la surface d'attaque.
- Même si seuls les modèles, et non les données brutes, sont communiqués au serveur central, il est possible de les reconstituer par rétro-ingénierie afin d'identifier les données du client.
Limitations de performance
- Hétérogénéité des données : les modèles issus de divers appareils sont fusionnés pour construire un modèle plus performant dans le cadre de l’apprentissage fédéré. Les caractéristiques propres à chaque appareil peuvent limiter la généralisation des modèles et réduire la précision de la version suivante.
- Fuite d'informations indirecte : Des chercheurs ont étudié des situations dans lesquelles un membre de la fédération peut attaquer malicieusement les autres en insérant des portes dérobées cachées dans le modèle global commun.
- L'apprentissage fédéré est une procédure d'apprentissage automatique relativement récente. De nouvelles études et recherches sont nécessaires pour améliorer ses performances.
Centralisation
L'apprentissage fédéré conserve un certain degré de centralisation, un modèle central utilisant les résultats d'autres dispositifs pour construire un nouveau modèle. Des chercheurs proposent d'utiliser l'apprentissage fédéré basé sur la blockchain (BlockFL) et d'autres approches pour construire des modèles d'apprentissage fédéré à confiance zéro.
Quelles sont les alternatives à l'apprentissage fédéré ?
Bien que l'apprentissage fédéré offre des avantages en matière de confidentialité, plusieurs approches et cadres alternatifs ont été développés pour pallier ses limites et s'adapter à différents scénarios. Voici quelques alternatives :
Apprentissage automatique centralisé ou traditionnel
Dans un système d'apprentissage automatique centralisé, toutes les données provenant de différentes sources sont collectées et stockées dans un emplacement unique, tel qu'un serveur cloud ou un centre de données d'entreprise. Le modèle est ensuite entraîné à l'aide de cet ensemble de données combinées.
Caractéristiques principales :
- Le modèle a un accès direct à toutes les données disponibles.
- Le prétraitement des données et l'entraînement du modèle s'effectuent sur un serveur central.
- Les clients ou les propriétaires des données transfèrent leurs données au système central pour analyse.
Avantages :
- Le processus de formation est plus simple à gérer et à suivre.
- La cohérence des données est facilement maintenue car tous les enregistrements sont centralisés.
- Les performances du modèle peuvent bénéficier d'un accès complet à toutes les variations de données.
Limites:
- Des problèmes de confidentialité et de conformité peuvent survenir lorsque le transfert de données est restreint par la loi ou la politique de l'entreprise.
- Une seule défaillance peut entraîner l'arrêt complet du système en cas d'indisponibilité du serveur ou de faille de sécurité.
- Le transfert de grands ensembles de données peut augmenter la consommation de bande passante et les coûts de traitement.
Cette approche est particulièrement adaptée lorsque la protection de la vie privée n'est pas une préoccupation majeure et que toutes les données peuvent être centralisées en toute sécurité sans conflit réglementaire.
calcul multipartite sécurisé
Le calcul multipartite sécurisé (SMPC) est une technique cryptographique permettant à plusieurs parties de calculer une fonction partagée sans révéler leurs données individuelles. Chaque participant chiffre ses données, et le calcul se déroule de manière à n'afficher que le résultat final du modèle.
Caractéristiques principales :
- Les parties collaborent pour entraîner un modèle tout en préservant la confidentialité des données brutes.
- Les techniques cryptographiques telles que le partage de secret et le chiffrement homomorphe sont couramment utilisées.
- Aucun participant n'a accès à l'ensemble des données.
Avantages :
- Protège les données sensibles tout au long du processus de formation.
- Permet aux organisations de coopérer au développement de modèles même lorsque les données ne peuvent pas être partagées.
- Améliore la conformité aux réglementations en matière de protection de la vie privée, telles que le RGPD.
Limites:
- Les besoins en puissance de calcul sont élevés en raison des opérations cryptographiques.
- La communication entre les parties peut être lente, ce qui peut affecter l'évolutivité.
- La complexité de la mise en œuvre augmente avec le nombre de participants.
Le SMPC est approprié dans les situations où des exigences strictes en matière de confidentialité existent et où une infrastructure de calcul sécurisée est disponible.
confidentialité différentielle
La confidentialité différentielle (DP) garantit qu'aucune donnée d'un ensemble de données ne peut être distinguée ou déduite après analyse. Elle y parvient en introduisant un aléa contrôlé, souvent sous forme de bruit, dans les données d'entraînement ou les mises à jour du modèle.
Caractéristiques principales :
- La confidentialité est quantifiée mathématiquement à l'aide d'un paramètre appelé epsilon (ε).
- Cette méthode protège les contributions de données individuelles même lorsque l'ensemble des données est partagé.
- Elle peut s'appliquer aussi bien aux systèmes centralisés qu'aux systèmes distribués.
Avantages :
- Offre un niveau mesurable de protection de la vie privée.
- Elle peut être combinée avec d'autres techniques d'apprentissage, comme l'apprentissage fédéré.
- Limite le risque de réidentification des données.
Limites:
- Un bruit excessif peut réduire la précision du modèle.
- Le choix du budget de confidentialité approprié (ε) nécessite un réglage minutieux.
- Ne traite pas, en soi, de la coordination ou du calcul distribués.
La confidentialité différentielle convient aux organisations qui ont besoin d'un équilibre entre l'utilité des données et la protection de la vie privée.
Les ragots ou l'apprentissage entre pairs
L'apprentissage par propagation, aussi appelé apprentissage pair-à-pair, élimine le besoin d'un serveur central. Chaque nœud ou client entraîne un modèle local et partage les mises à jour directement avec les nœuds voisins. Au fil du temps, ces mises à jour se propagent sur le réseau et les modèles convergent.
Caractéristiques principales :
- Les nœuds communiquent localement avec leurs pairs plutôt qu'avec un agrégateur central.
- Les paramètres ou gradients du modèle sont échangés de manière décentralisée.
- L'apprentissage se déroule de manière asynchrone sur l'ensemble du réseau.
Avantages :
- Aucun point de défaillance unique puisqu'il n'y a pas de coordinateur central.
- Peut fonctionner efficacement dans des réseaux dynamiques, tels que l'IoT ou les environnements périphériques.
- Réduit la dépendance à l'égard d'une entité centrale de confiance.
Limites:
- La surcharge de communication peut augmenter en raison des échanges aléatoires entre pairs.
- La convergence peut être plus lente qu'une agrégation centralisée.
- La surveillance et le contrôle sont plus difficiles dans les systèmes entièrement décentralisés.
Cette approche est efficace pour les systèmes distribués où un serveur central ne peut être maintenu ou considéré comme fiable.
Apprentissage fractionné
L'apprentissage fractionné consiste à diviser un modèle d'apprentissage automatique en deux segments ou plus. Le premier segment est entraîné sur le périphérique client à l'aide de données locales, et sa sortie (activations) est envoyée à un serveur, qui termine l'entraînement restant.
Caractéristiques principales :
- Le modèle est réparti entre les clients et un serveur central.
- Les clients ne partagent jamais les données brutes ; seules les données intermédiaires sont transmises.
- Le système nécessite une coordination entre le client et le serveur pendant la formation.
Avantages :
- Réduit la charge de calcul des clients en n'entraînant qu'une partie du modèle.
- Offre un certain degré de confidentialité des données, car les données brutes restent locales.
- Peut s'intégrer à l'infrastructure cloud existante.
Limites:
- Les activations intermédiaires peuvent encore révéler certaines informations si elles sont interceptées.
- Nécessite une communication stable entre le client et le serveur.
- La complexité de la mise en œuvre augmente pour les modèles profonds ou multicouches.
L'apprentissage fractionné convient aux environnements où les ressources client sont limitées ou lorsque les contraintes de confidentialité empêchent le partage complet des données.
Apprentissage par transfert et distillation de modèles
L'apprentissage par transfert et la distillation de modèles permettent la collaboration sans partage direct de données. Chaque organisation ou appareil entraîne son propre modèle localement, puis un modèle central apprend à partir des sorties ou des prédictions de ces modèles individuels plutôt que de leurs paramètres internes.
Caractéristiques principales :
- Les connaissances sont transmises par le biais de prédictions, et non par le biais de pondérations complètes du modèle.
- Le modèle global est affiné grâce à l'expérience collective de tous les participants.
- Les modèles locaux restent indépendants et peuvent continuer à se spécialiser.
Avantages :
- Réduit le volume des communications en ne partageant que les informations essentielles.
- Permet une flexibilité dans les architectures de modèles entre les participants.
- Permet d'obtenir des performances raisonnables même avec des sources de données hétérogènes.
Limites:
- Une certaine perte d'informations se produit lors du processus de distillation.
- La qualité du modèle global dépend de la précision des modèles locaux.
- Il manque la synchronisation coordonnée de l'apprentissage fédéré.
Cette méthode est pratique lorsque les données client sont très diversifiées ou lorsque les clients utilisent différents types de modèles.
Architectures hybrides ou combinées
Les systèmes hybrides combinent des éléments de plusieurs méthodes de préservation de la vie privée pour répondre à des défis spécifiques. On peut citer comme exemples l'apprentissage fédéré associé à la confidentialité différentielle, le calcul multipartite sécurisé ou les architectures hiérarchiques dans lesquelles des agrégateurs régionaux communiquent avec un serveur central.
Caractéristiques principales :
- Les différentes couches ou modules du système utilisent différentes techniques de protection de la vie privée.
- Peut inclure une agrégation régionale ou hiérarchisée pour une meilleure évolutivité.
- Souvent adapté aux exigences réglementaires et de performance.
Avantages :
- Offre une grande flexibilité pour équilibrer confidentialité, précision et coût de calcul.
- Peut gérer des sources de données à grande échelle ou géographiquement distribuées.
- Permet aux organisations de personnaliser les architectures en fonction de contraintes spécifiques.
Limites:
- La mise en œuvre est complexe en raison des interactions entre de multiples composants.
- La maintenance et le débogage des systèmes nécessitent une expertise pointue.
- Les protocoles de communication peuvent devenir complexes et gourmands en ressources.
Les approches hybrides sont pratiques pour les grandes organisations qui doivent gérer plusieurs ensembles de données dans des conditions juridiques et techniques variées.
Conclusion
Des soins de santé aux véhicules autonomes, en passant par les applications mobiles et la fabrication intelligente, l'apprentissage fédéré permet aux organisations d'exploiter des ensembles de données divers sans compromettre la confidentialité ni la conformité réglementaire.
Malgré ses promesses, l'apprentissage fédéré présente également des défis, notamment des exigences en matière d'infrastructure, des vulnérabilités en matière de confidentialité dues à l'inversion du modèle et des limitations découlant de l'hétérogénéité des données.
Cependant, les recherches en cours et les approches complémentaires, telles que l'apprentissage par propagation d'informations, la confidentialité différentielle et les cadres décentralisés, font progresser rapidement le domaine. À mesure que ces innovations mûrissent, l'apprentissage fédéré est appelé à jouer un rôle central dans le développement d'une IA éthique, sécurisée et évolutive dans divers secteurs.
Liens de référence
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires.