Apprendimento federato: 7 casi d'uso ed esempi
Secondo recenti analisi di McKinsey, i rischi più urgenti legati all'adozione dell'IA includono le illusioni generate dai modelli, la provenienza e l'autenticità dei dati, la non conformità normativa e le vulnerabilità della catena di fornitura dell'IA. 1
L'apprendimento federato (FL) si è affermato come tecnica fondamentale per le organizzazioni che cercano di mitigare questi rischi. Consente ai modelli di apprendere da dati decentralizzati, mantenendo al contempo le informazioni sensibili private e conformi alle leggi sulla localizzazione dei dati e sulla privacy.
Scopri cos'è l'apprendimento federato, come funziona, i casi d'uso più comuni con esempi concreti, le potenziali sfide e le alternative.
Casi d'uso ed esempi di apprendimento federato
L'apprendimento federato supporta un'ampia gamma di sistemi di intelligenza artificiale in cui la sensibilità dei dati, il decentramento e l'adattamento in tempo reale sono fondamentali. Trova sempre più applicazione nell'IA agentiva, nella finanza, nelle applicazioni mobili, nella sanità, nei trasporti autonomi, nella produzione intelligente e nella robotica, consentendo l'addestramento collaborativo dei modelli.
1. Intelligenza artificiale agentica
Anziché raccogliere dati in un unico pool condiviso, l'apprendimento federato consente a ciascun agente di apprendere direttamente dalle proprie interazioni o dal proprio ambiente. L'agente contribuisce quindi al processo di apprendimento condiviso solo con aggiornamenti del modello che preservino la privacy, senza esporre i dati grezzi.
Questo approccio consente agli agenti di migliorare continuamente apprendendo dall'esperienza collettiva, nel rispetto della privacy, della proprietà dei dati e dei requisiti normativi.
Di conseguenza, l'IA agentiva può rimanere personalizzata e adattiva pur rispettando la privacy, rendendo l'apprendimento federato particolarmente adatto ad ambienti sensibili in cui gli agenti devono operare in modo indipendente ma al contempo beneficiare dei modelli osservati tra utenti, dispositivi o organizzazioni.
Esempio concreto: un framework per il rilevamento delle intrusioni nell'IoT che tutela la privacy.
La rapida diffusione dei dispositivi IoT ha permesso progressi in settori come la sanità, le città intelligenti e i sistemi industriali, ma ha anche aumentato l'esposizione agli attacchi informatici e i rischi per la privacy.
I tradizionali sistemi centralizzati di rilevamento delle intrusioni si basano sull'aggregazione di dati sensibili, il che crea sovraccarico di comunicazione, problemi di privacy e singoli punti di guasto. Per superare queste limitazioni, un recente studio propone un framework di rilevamento delle intrusioni IoT che preserva la privacy e che combina l'apprendimento federato (FL) con l'intelligenza artificiale agenteica.
FL consente l'addestramento decentralizzato dei modelli, mentre Agentic AI aggiunge capacità adattive, di autoapprendimento e di processo decisionale autonomo per rispondere alle minacce in continua evoluzione.
Il framework utilizza il rilevamento locale delle anomalie, l'aggregazione sicura e la comunicazione leggera per bilanciare accuratezza e privacy, con componenti agenti che ottimizzano le difese in tempo reale. 2
2. Richieste di finanziamento
L'apprendimento federato consente agli istituti finanziari di addestrare in modo collaborativo modelli di intelligenza artificiale senza condividere dati grezzi, permettendo a ciascuna organizzazione di mantenere le informazioni sensibili a livello locale e al contempo di contribuire a un modello condiviso più solido.
Ciò è particolarmente prezioso per l'individuazionedi frodi e reati finanziari, dove le minacce si estendono a più banche e regioni, ma la condivisione dei dati è limitata da normative come il GDPR e la legge europea sull'intelligenza artificiale.
Esempio concreto: il ruolo dell'apprendimento federato nel miglioramento della sicurezza finanziaria
Un recente articolo esamina l'apprendimento federato (FL) come una soluzione promettente per migliorare la sicurezza e la privacy nei moderni sistemi finanziari, soprattutto considerando che la finanza digitale e i dispositivi IoT, come sportelli automatici e terminali POS, generano grandi volumi di dati sensibili.
L'articolo classifica i casi d'uso di FL in base all'esposizione normativa, dalle applicazioni a basso rischio come l'ottimizzazione del portafoglio a quelle ad alto rischio come il rilevamento delle frodi in tempo reale, e mette in evidenza i recenti successi nella prevenzione delle frodi e nei framework integrati con la blockchain.
Sebbene FL offra chiari vantaggi in termini di privacy, conformità e scalabilità, il documento sottolinea anche le sfide ancora aperte, tra cui l'eterogeneità dei dati, gli attacchi avversari, l'interpretabilità e l'integrazione normativa.
Per il futuro dell'apprendimento per rinforzo (FL) in ambito finanziario, l'articolo individua nella combinazione di FL con tecnologie quali blockchain, privacy differenziale, calcolo multipartitico sicuro e metodi a prova di computer quantistico, elementi chiave per la realizzazione di sistemi di intelligenza artificiale affidabili e a prova di futuro. 3
Esempio concreto: Fiore con cerchio bancario
La piattaforma di apprendimento federato di Flower aiuta gli istituti finanziari ad addestrare in modo collaborativo modelli di intelligenza artificiale su dati decentralizzati, migliorando così la privacy, la sicurezza, la conformità e l'accuratezza predittiva per attività quali il rilevamento delle frodi, la valutazione del rischio e altre analisi.
Banking Circle, una banca globale specializzata nei pagamenti che gestisce una quota significativa dei flussi di e-commerce in Europa, utilizza l'intelligenza artificiale per gestire le proprie operazioni antiriciclaggio (AML), segnalando automaticamente le transazioni sospette per una verifica.
Con l'espansione negli Stati Uniti, le differenze nei modelli di transazione e le rigide restrizioni al trasferimento dei dati hanno limitato l'efficacia dei modelli addestrati esclusivamente su dati europei. Per ovviare a questo problema, Banking Circle ha adottato la piattaforma di apprendimento federato di Flower, che consente all'azienda di addestrare modelli AML in diverse regioni senza dover trasferire dati sensibili oltre confine.
Questo approccio ha permesso al modello statunitense di trarre insegnamento dalle esperienze europee pur rimanendo conforme alle normative locali, con miglioramenti che nel tempo hanno contribuito a migliorare il sistema europeo. 4
3. Applicazioni mobili
Le app per dispositivi mobili utilizzano sistemi di apprendimento automatico per la personalizzazione, come la previsione della parola successiva, il rilevamento dei volti e il riconoscimento vocale. Tuttavia, l'addestramento tradizionale dell'IA centralizza i dati degli utenti, il che potrebbe sollevare preoccupazioni in merito a privacy, sicurezza e governance dei dati. L'apprendimento federato affronta queste problematiche consentendo l'addestramento dei modelli su una rete di dispositivi senza la trasmissione dei dati grezzi degli utenti.
Ecco alcuni dei vantaggi dell'apprendimento federato per le applicazioni mobili:
- Intelligenza artificiale che tutela la privacy : i dati sensibili dell'utente rimangono sul dispositivo, riducendo i rischi di divulgazione dei dati e migliorando al contempo la precisione del modello.
- Modelli personalizzati e adattivi : le app possono perfezionare i modelli di intelligenza artificiale in base ai modelli di utilizzo individuali senza bisogno di continui aggiornamenti sul cloud.
- Minore utilizzo della larghezza di banda : anziché caricare grandi set di dati, vengono condivisi solo gli aggiornamenti del modello, rendendo l'apprendimento federato efficiente per le reti mobili.
- Maggiore sicurezza : mantenendo i dati decentralizzati, l'apprendimento federato riduce i rischi associati all'archiviazione centralizzata dei dati e alle violazioni.
Questo approccio è già utilizzato nelle tastiere degli smartphone per la scrittura predittiva e la correzione automatica, negli assistenti vocali per il riconoscimento vocale e nell'autenticazione biometrica per il riconoscimento facciale e delle impronte digitali.
Esempio reale: Google e miglioramento dei modelli vocali
Google utilizza l'apprendimento federato per migliorare i sistemi di apprendimento automatico on-device, come il rilevamento "Hey Google" nell'Assistente Google, consentendo agli utenti di impartire comandi vocali. Questo approccio permette di addestrare i modelli vocali direttamente sui dispositivi degli utenti senza trasmettere dati audio ai server di Google, preservando così la privacy degli utenti.
L'apprendimento federato facilita il miglioramento delle capacità di riconoscimento vocale elaborando i dati localmente, garantendo che le informazioni audio personali rimangano sul dispositivo. 5
4. Assistenza sanitaria
L'apprendimento federato apporta benefici al settore sanitario e alle assicurazioni sanitarie, consentendo un addestramento efficace dell'intelligenza artificiale e al contempo preservando la privacy dei dati dei pazienti.
La centralizzazione tradizionale dei dati, in cui ospedali e istituzioni raccolgono le cartelle cliniche in un unico archivio, solleva notevoli preoccupazioni in merito alla governance dei dati, alla sicurezza e alla conformità con normative come HIPAA e GDPR.
L'apprendimento federato aiuta a gestire questi problemi consentendo la formazione collaborativa di modelli tra più istituzioni senza richiedere la condivisione diretta dei dati.
Questo approccio offre diversi vantaggi:
- Maggiore privacy e sicurezza : i dati sensibili dei pazienti rimangono nella loro fonte originale, riducendo i rischi di esposizione e violazione dei dati.
- Maggiore diversità dei dati : grazie all'addestramento su set di dati provenienti da diversi ospedali, centri di ricerca e cartelle cliniche elettroniche, l'apprendimento federato consente ai modelli di riconoscere le malattie rare e migliorare l'accuratezza diagnostica in popolazioni eterogenee.
- Intelligenza artificiale scalabile in ambito medico : i modelli di apprendimento automatico possono essere continuamente perfezionati utilizzando dati reali provenienti da diverse istituzioni, il che si traduce in analisi predittive più affidabili e migliori risultati per i pazienti.
Esempio concreto: la piattaforma federata Agentic di Lifebit
Lifebit ha annunciato Agentic Federated Platform , il primo Trusted Research Environment (TRE) interamente basato su agenti al mondo. Attualmente in versione beta, la piattaforma consente ai ricercatori di gestire e analizzare in modo sicuro dati biomedici sensibili attraverso un'unica interfaccia conversazionale basata sull'intelligenza artificiale.
Secondo Lifebit, la piattaforma semplifica i flussi di lavoro di ricerca complessi, come l'armonizzazione dei dati, la creazione di coorti e le analisi bioinformatiche, consentendo agli utenti di eseguire ricerche complete tramite linguaggio naturale. Supporta strumenti interattivi e batch (ad esempio, R, Jupyter, Nextflow), offre funzionalità integrate di risoluzione dei problemi e documentazione e include funzionalità genomiche assistite dall'intelligenza artificiale, come GWAS e identificazione di target.
L'azienda presenta la piattaforma come più sicura, verificabile e intuitiva rispetto ai tradizionali TRE (Tree Rating Registry), con l'obiettivo di accelerare la ricerca mantenendo al contempo una rigorosa conformità agli standard federati di governance dei dati. 6
Esempio reale: MELLODDY
Il progetto MELLODDY (Machine Learning Ledger Orchestration for Drug Discovery) è un'iniziativa di ricerca europea finanziata dall'Innovative Medicines Initiative (IMI). Il progetto ha riunito 10 aziende farmaceutiche, partner accademici e tecnologici per dimostrare come l'apprendimento federato possa accelerare la scoperta di farmaci senza la condivisione di dati riservati.
Anziché condividere set di dati proprietari, considerati altamente sensibili dalle aziende, MELLODDY ha sviluppato una piattaforma di apprendimento automatico federata che tutela la privacy, mantenendo i dati di ciascuna azienda dietro il proprio firewall e condividendo solo gli aggiornamenti dei modelli, non i dati grezzi, per l'apprendimento collaborativo.
Questa piattaforma utilizza tecnologie come l'infrastruttura AWS, l'orchestrazione Kubernetes e un registro blockchain privato per garantire un addestramento dei modelli sicuro e tracciabile tra i partner, proteggendo al contempo la proprietà dei dati e i diritti di proprietà intellettuale.
Grazie all'esposizione degli algoritmi di apprendimento automatico a una quantità di dati di gran lunga superiore a quella posseduta da qualsiasi singola azienda, MELLODDY ha dimostrato prestazioni predittive migliorate e una maggiore applicabilità del modello per la previsione dell'attività biologica e della tossicologia dei potenziali farmaci. 7
Esempio concreto: Owlin
Owkin, un'azienda biotecnologica, utilizza l'apprendimento federato per addestrare modelli di intelligenza artificiale in diverse istituzioni mediche e di ricerca senza centralizzare i dati sensibili.
Anziché raccogliere tutti i dati dei pazienti in un unico luogo, l'approccio di Owkin mantiene i dati dove sono archiviati (ad esempio, sui server dell'ospedale) e sposta gli algoritmi di apprendimento automatico sui dati stessi.
I modelli vengono addestrati localmente sul dataset di ciascun partner e solo gli aggiornamenti del modello vengono condivisi e aggregati per costruire un modello globale. Ciò consente a ricercatori e clinici di beneficiare di un dataset più diversificato di quello che una singola istituzione potrebbe fornire, migliorando così le prestazioni degli algoritmi predittivi e al contempo preservando la privacy dei pazienti e la sovranità dei dati.
Owkin considera questa tecnica particolarmente efficace per l'intelligenza artificiale applicata alla sanità collaborativa (come la previsione degli esiti dei trattamenti) e come mezzo per estendere la medicina di precisione senza compromettere la privacy. 8
Esempio concreto: MedPerf
La crescente spinta verso l'apprendimento federato nell'intelligenza artificiale medica ha portato a iniziative come MedPerf, una piattaforma open-source sviluppata da una coalizione di partner industriali e accademici.
MedPerf si concentra sulla valutazione federata dei modelli di intelligenza artificiale, garantendo che funzionino efficacemente su dati medici reali e diversificati, preservando al contempo la riservatezza dei pazienti. Combinando innovazioni tecniche nell'apprendimento federato con framework di governance che stabiliscono parametri di riferimento clinicamente rilevanti, queste iniziative mirano a promuovere l'adozione dell'IA in ambito sanitario senza compromettere la fiducia o la sicurezza.
Figura 2: Un esempio di apprendimento federato in ambito sanitario tratto dal framework di benchmarking federato sull'IA MedPerf. 9
5. Trasporti: Veicoli autonomi
Le auto a guida autonoma si affidano a una combinazione di tecniche avanzate di apprendimento automatico per navigare in ambienti complessi.
La visione artificiale consente loro di rilevare gli ostacoli, mentre i modelli di apprendimento adattivo aiutano ad adattare il comportamento di guida in base a condizioni come il traffico o il terreno accidentato.
Tuttavia, gli approcci tradizionali basati sul cloud possono introdurre latenza e comportare rischi per la sicurezza, in particolare in scenari di traffico ad alta densità in cui le decisioni prese in frazioni di secondo sono cruciali.
L'apprendimento federato offre una soluzione decentralizzando l'elaborazione dei dati e consentendo l'apprendimento in tempo reale su più veicoli. Invece di affidarsi esclusivamente ad aggiornamenti basati sul cloud, i veicoli autonomi possono addestrare i modelli in modo collaborativo mantenendo i dati localizzati. Questo approccio garantisce che i veicoli perfezionino continuamente il loro processo decisionale in base alle condizioni stradali più recenti, senza un eccessivo trasferimento di dati.
Sfruttando l'apprendimento federato, le auto a guida autonoma possono raggiungere tre obiettivi chiave:
- Consapevolezza del traffico e della strada in tempo reale : i veicoli possono elaborare e condividere rapidamente informazioni su pericoli stradali, cantieri o improvvisi cambiamenti meteorologici, garantendo una navigazione più sicura.
- Processo decisionale immediato : l'intelligenza artificiale di bordo è in grado di reagire più rapidamente alle condizioni di guida dinamiche, riducendo la dipendenza da server remoti e minimizzando la latenza nei momenti critici.
- Miglioramento continuo del modello : man mano che un numero maggiore di veicoli contribuisce con le proprie conoscenze locali, i sistemi autonomi si evolvono e migliorano nel tempo la loro precisione predittiva.
Grazie all'integrazione dell'apprendimento federato, i veicoli autonomi possono non solo migliorare la loro reattività immediata, ma anche creare un'intelligenza collettiva che migliora la sicurezza e l'efficienza complessive dei sistemi di guida autonoma.
Esempio reale: NVIDIA FLARE
La piattaforma di apprendimento federato AV di NVIDIA, basata su FLARE di NVIDIA, consente l'addestramento collaborativo di modelli di veicoli autonomi (AV) in diversi paesi, preservando al contempo la privacy dei dati e rispettando le normative regionali come il GDPR e il PIPL.
Anziché un addestramento centralizzato, che può essere costoso e limitato dalle leggi sul trasferimento dei dati, l'apprendimento federato consente di addestrare i modelli localmente su dati specifici di ciascun paese, migliorando le prestazioni del modello a livello globale.
La piattaforma si integra con i sistemi di machine learning esistenti e opera con un server centrale su AWS in Giappone, supportando l'addestramento transfrontaliero. Dal suo lancio, ha prodotto oltre una dozzina di modelli di veicoli autonomi, con prestazioni pari o superiori a quelle dei modelli addestrati localmente, e l'adozione è cresciuta da 2 a 30 data scientist in un anno. 10
6. Produzione intelligente: manutenzione predittiva
Con l'avanzare dell'Industria 4.0, la manutenzione predittiva basata sull'intelligenza artificiale aiuta i produttori a ridurre i tempi di inattività, prolungare la durata utile delle apparecchiature e aumentare l'efficienza. Tuttavia, la sua implementazione presenta delle sfide, tra cui la privacy dei dati, la sicurezza e le restrizioni sulla condivisione transfrontaliera.
L'apprendimento federato affronta queste problematiche consentendo ai produttori di sviluppare modelli di manutenzione predittiva senza trasferire dati industriali sensibili. Invece di aggregare informazioni provenienti da più stabilimenti o clienti in un repository centrale, l'apprendimento federato permette a ciascun sito di addestrare i modelli localmente. Questi modelli contribuiscono quindi con informazioni utili a un sistema predittivo globale senza esporre dati proprietari.
I principali vantaggi dell'apprendimento federato per la manutenzione predittiva includono:
- Intelligenza artificiale che tutela la privacy : i dati industriali rimangono in loco, eliminando le preoccupazioni relative alla condivisione di dati operativi proprietari o sensibili con entità esterne.
- Conformità transfrontaliera : molti produttori operano in più paesi, ognuno con normative diverse in materia di protezione dei dati. L'apprendimento federato consente di garantire la conformità mantenendo i dati localizzati e al contempo beneficiando dell'intelligenza collettiva.
- Adattabilità a diverse attrezzature e condizioni : gli ambienti di produzione variano notevolmente in base ai macchinari, al carico di lavoro e alle impostazioni operative. L'apprendimento federato consente di adattare i modelli predittivi alle condizioni locali, contribuendo al contempo a una comprensione più ampia dei modelli di guasto delle apparecchiature.
Oltre alla manutenzione predittiva, l'apprendimento federato viene applicato anche nella produzione intelligente per il controllo qualità in tempo reale, l'ottimizzazione dell'efficienza energetica e il monitoraggio ambientale, comprese le previsioni sulla qualità dell'aria per il rilevamento del PM2.5 nelle città intelligenti.
7. Robotica
La robotica si basa sull'apprendimento automatico per la percezione, il processo decisionale e il controllo, dai compiti più semplici alla navigazione complessa. Con la crescita delle applicazioni, l'apprendimento continuo e l'adattabilità diventano essenziali, ma l'addestramento centralizzato si scontra con problemi di trasferimento dati, privacy e comunicazione, soprattutto nei sistemi multi-robot.
L'apprendimento federato consente ai robot di migliorare i propri modelli in modo collaborativo, mantenendo al contempo i dati localizzati. Questo approccio decentralizzato è particolarmente utile per la navigazione multi-robot, dove le limitazioni della larghezza di banda di comunicazione possono rappresentare una sfida.
Anziché affidarsi alla trasmissione continua di dati a un server centrale, l'apprendimento federato consente ai robot di addestrarsi in base alle proprie esperienze locali e di condividere solo gli aggiornamenti essenziali del modello, ottimizzando l'efficienza dell'apprendimento senza sovraccaricare le risorse di rete.
Ecco i principali vantaggi dell'apprendimento federato nella robotica:
- Apprendimento decentralizzato per una maggiore autonomia : i robot possono affinare localmente i loro modelli di percezione e controllo, riducendo la dipendenza dagli aggiornamenti basati sul cloud e consentendo un adattamento più rapido a nuovi ambienti.
- Collaborazione multi-robot efficiente : gruppi di robot possono scambiarsi esperienze apprese senza un eccessivo trasferimento di dati, il che renderebbe l'apprendimento federato ideale per la gestione delle flotte, l'automazione dei magazzini e la robotica di sciame.
- Maggiore privacy e sicurezza : i dati operativi sensibili rimangono all'interno di ciascun sistema robotico, riducendo le preoccupazioni relative alla divulgazione dei dati in applicazioni industriali o militari.
- Scalabilità in ambienti diversi : i robot che operano in luoghi diversi, come fabbriche, ospedali o aree urbane, possono fornire spunti per un modello globale, adattandosi al contempo al contesto specifico in cui operano.
Esempio pratico: Apprendimento per rinforzo federato per la navigazione collettiva di sciami di robot
I recenti progressi nell'apprendimento per rinforzo profondo (DRL) hanno migliorato la robotica consentendo la progettazione automatizzata di sistemi di controllo, in particolare per i sistemi robotici a sciame. Questi sistemi richiedono sistemi di controllo più sofisticati rispetto alle configurazioni a singolo robot per ottenere un comportamento collettivo coordinato.
Sebbene la progettazione di controller basata su DRL si sia dimostrata efficace, la sua dipendenza da un server di addestramento centrale pone delle sfide in ambienti reali con comunicazioni instabili o limitate.
Per ovviare a questo problema, un recente articolo ha introdotto FLDDPG, una nuova strategia di addestramento DRL basata sull'apprendimento federato (FL) e specificamente pensata per la robotica di sciame.
Le valutazioni comparative in condizioni di larghezza di banda di comunicazione limitata dimostrano che FLDDPG offre una migliore generalizzazione in ambienti diversi e su robot reali, mentre i metodi di riferimento faticano in presenza di vincoli di larghezza di banda.
I risultati suggeriscono che l'apprendimento federato migliora la navigazione multi-robot in ambienti con larghezza di banda di comunicazione limitata, affrontando una sfida chiave nelle applicazioni robotiche basate sull'apprendimento nel mondo reale. 11
Che cos'è l'apprendimento federato?
L'apprendimento federato è un paradigma di apprendimento automatico collaborativo in cui più partecipanti addestrano modelli utilizzando dati locali e condividono solo gli aggiornamenti del modello o le informazioni elaborate, mentre i dati grezzi rimangono in loco. La maggior parte dei sistemi FL pratici utilizza ancora un aggregatore centrale per orchestrare i cicli di addestramento.
Anziché trasferire i dati di addestramento grezzi, i partecipanti inviano aggiornamenti del modello o gradienti per l'aggregazione. Tuttavia, la sola condivisione degli aggiornamenti non garantisce la privacy senza tecniche aggiuntive come l'aggregazione sicura, la privacy differenziale o le protezioni crittografiche.
Mantenendo i dati di addestramento in locale e aggregando le informazioni, l'apprendimento federato migliora la privacy dei dati, sfruttando al contempo i dati distribuiti per migliorare la precisione del modello.
Come funziona l'apprendimento federato?
Nell'apprendimento automatico, ci sono due fasi: addestramento e inferenza.
Durante la fase di addestramento :
- I modelli di apprendimento automatico (ML) locali vengono addestrati su set di dati eterogenei locali. Ad esempio, quando gli utenti utilizzano un'applicazione di apprendimento automatico, individuano gli errori nelle previsioni dell'applicazione e li correggono. Questo crea set di dati di addestramento locali sul dispositivo di ciascun utente.
- I parametri dei modelli vengono scambiati periodicamente tra questi data center locali. In molti modelli, questi parametri vengono crittografati prima dello scambio. I campioni di dati locali non vengono condivisi. Ciò migliora la protezione dei dati e la sicurezza informatica.
- Viene creato un modello globale condiviso.
- Le caratteristiche del modello globale vengono condivise con i centri dati locali per integrare il modello globale nei loro modelli di apprendimento automatico locali.
Ad esempio, la soluzione Clara di Nvidia include l'apprendimento federato. Clara e Nvidia EGX consentono l'apprendimento attraverso la raccolta sicura degli aggiornamenti del modello (ma non dei dati di addestramento) da siti diversi. Ciò aiuta i modelli a creare un modello globale preservando al contempo la privacy dei dati (vedere la figura seguente).
Figura 1: Un esempio tratto da NVIDIA che dimostra il funzionamento dell'apprendimento federato. 12
Nella fase di inferenza , il modello viene memorizzato sul dispositivo dell'utente, in modo che le previsioni vengano preparate rapidamente utilizzando il modello presente sul dispositivo dell'utente.
Formazione distribuita nell'apprendimento federato
L'apprendimento federato e l'addestramento distribuito sono concetti distinti: l'apprendimento federato si riferisce all'addestramento collaborativo con dati decentralizzati, mentre l'addestramento distribuito (calcolo parallelo tra nodi all'interno di un singolo partecipante) è una strategia di ottimizzazione locale e non è intrinseco all'apprendimento federato stesso.
Nell'apprendimento federato, i client, come ospedali, dispositivi mobili o organizzazioni, addestrano autonomamente i modelli sui propri dati locali e condividono con un aggregatore centrale solo gli aggiornamenti dei modelli.
Alcuni client potrebbero avere accesso a più GPU, server o nodi edge. Queste risorse possono essere utilizzate in parallelo per accelerare o scalare l'addestramento locale. Questa configurazione crea una gerarchia:
- Al livello più alto, più clienti partecipano all'apprendimento federato.
- A livello locale, ogni cliente può utilizzare la formazione distribuita sfruttando l'infrastruttura a sua disposizione.
È possibile procedere con la formazione distribuita a livello locale:
- Parallelismo dei dati : ogni worker possiede una replica del modello e si addestra su un sottoinsieme dei dati locali.
- Parallelismo del modello : il modello viene partizionato tra i worker, il che è utile per i modelli di grandi dimensioni che non rientrano nella memoria di un singolo dispositivo.
Principali vantaggi della combinazione tra formazione distribuita e apprendimento federato
1. Scalabilità migliorata
I clienti con grandi set di dati o modelli computazionalmente intensivi potrebbero avere difficoltà a completare l'addestramento in modo efficiente su una singola macchina.
L'addestramento distribuito consente al cliente di utilizzare più nodi o dispositivi, migliorando così la produttività e supportando carichi di lavoro più elevati.
2. Utilizzo efficiente delle risorse
Le organizzazioni spesso dispongono di cluster locali o risorse di calcolo inutilizzate. L'utilizzo dell'addestramento distribuito nell'ambito dell'apprendimento federato consente loro di sfruttare appieno queste risorse senza centralizzare i dati.
3. Allenamento locale più rapido
La distribuzione dei calcoli riduce il tempo effettivo necessario per gli aggiornamenti locali del modello. Ciò può abbreviare ogni ciclo di apprendimento federato e ridurre il tempo complessivo di addestramento su tutti i client.
4. Separazione delle responsabilità
L'addestramento federato e l'addestramento distribuito locale operano in modo indipendente l'uno dall'altro. Il server federato non deve gestire la pianificazione interna o il coordinamento delle risorse client. Questa progettazione modulare semplifica sia l'implementazione che la manutenzione.
5. Progettazione flessibile del sistema
I diversi client possono scegliere diverse configurazioni di addestramento locale in base ai propri ambienti di calcolo. Alcuni potrebbero utilizzare l'addestramento su un singolo nodo, mentre altri potrebbero utilizzare configurazioni distribuite. Il protocollo federato rimane invariato.
Perché è importante adesso?
I modelli di machine learning accurati sono preziosi per le aziende, ma i tradizionali sistemi centralizzati di machine learning presentano delle lacune, come la mancanza di apprendimento continuo sui dispositivi periferici e l'aggregazione di dati privati su server centrali. Questi problemi vengono risolti dall'apprendimento federato.
Nell'apprendimento automatico tradizionale, un modello ML centrale viene costruito utilizzando tutti i dati di addestramento disponibili in un ambiente centralizzato. Questo funziona senza problemi quando un server centrale è in grado di fornire le previsioni.
Tuttavia, nell'ambito dell'informatica mobile, gli utenti richiedono risposte rapide e il tempo di comunicazione tra il dispositivo dell'utente e un server centrale può risultare troppo lento per garantire una buona esperienza utente. Per ovviare a questo problema, il modello può essere installato sul dispositivo dell'utente finale, ma in tal caso l'apprendimento continuo diventa problematico, poiché i modelli vengono addestrati su un set di dati completo, al quale il dispositivo dell'utente finale non ha accesso.
Un'altra sfida dell'apprendimento automatico tradizionale è che i dati degli utenti vengono aggregati in una posizione centrale per l'addestramento, il che potrebbe violare le politiche sulla privacy di specifici paesi e rendere i dati più vulnerabili alle violazioni.
L'apprendimento federato supera queste difficoltà consentendo un apprendimento continuo tramite dati locali sui dispositivi degli utenti finali, garantendo al contempo che i dati degli utenti rimangano sul dispositivo.
Di recente, l'apprendimento federato è diventato anche un elemento fondamentale del fine-tuning federato, in cui le aziende adattano modelli di base (come Llama 3, Mistral o Gemini) a dati privati senza esporre i dati stessi.
Sfide dell'apprendimento federato
Requisiti di investimento
I modelli di apprendimento federato possono richiedere una comunicazione frequente tra i nodi. Ciò significa che la capacità di archiviazione e un'elevata larghezza di banda sono tra i requisiti di sistema.
Privacy dei dati
- La privacy dei dati è una questione importante, poiché nell'apprendimento federato i dati non vengono raccolti su un'unica entità/server; esistono infatti molteplici dispositivi per la raccolta e l'analisi dei dati. Ciò può aumentare la superficie di attacco.
- Sebbene al server centrale vengano comunicati solo i modelli e non i dati grezzi, è possibile che i modelli vengano decodificati per identificare i dati del cliente.
Limitazioni prestazionali
- Eterogeneità dei dati: nell'apprendimento federato, i modelli provenienti da dispositivi diversi vengono uniti per costruire un modello migliore. Le caratteristiche specifiche del dispositivo possono limitare la generalizzazione dei modelli ottenuti da alcuni dispositivi e possono ridurre l'accuratezza della versione successiva del modello.
- Fuga di informazioni indiretta : i ricercatori hanno preso in considerazione situazioni in cui uno dei membri della federazione può attaccare in modo malevolo gli altri inserendo delle backdoor nascoste nel modello globale congiunto.
- L'apprendimento federato è una procedura di apprendimento automatico relativamente nuova. Sono necessari nuovi studi e ricerche per migliorarne le prestazioni.
Centralizzazione
Nell'apprendimento federato persiste un certo grado di centralizzazione, in cui un modello centrale utilizza l'output di altri dispositivi per costruire un nuovo modello. I ricercatori propongono di utilizzare l'apprendimento federato basato su blockchain (BlockFL) e altri approcci per costruire modelli di apprendimento federato a fiducia zero.
Quali sono le alternative all'apprendimento federato?
Sebbene l'apprendimento federato offra vantaggi in termini di privacy, sono stati sviluppati diversi approcci e framework alternativi per ovviare ai suoi limiti e adattarsi a vari scenari. Ecco alcune alternative:
Apprendimento automatico centralizzato o tradizionale
In un sistema centralizzato di apprendimento automatico, tutti i dati provenienti da diverse fonti vengono raccolti e archiviati in un'unica posizione, come un server cloud o un data center aziendale. Il modello viene quindi addestrato utilizzando questo set di dati combinato.
Caratteristiche principali:
- Il modello ha accesso diretto a tutti i dati disponibili.
- La preelaborazione dei dati e l'addestramento del modello avvengono su un server centrale.
- I clienti o i proprietari dei dati trasferiscono i propri dati al sistema centrale per l'analisi.
Vantaggi:
- Il processo di formazione è più semplice da gestire e monitorare.
- La coerenza dei dati è facilmente garantita perché tutti i record si trovano in un unico luogo.
- Le prestazioni del modello possono trarre vantaggio dall'accesso completo a tutte le varianti dei dati.
Limitazioni:
- Quando il trasferimento dei dati è limitato dalla legge o dalle politiche aziendali, possono sorgere problemi di privacy e conformità.
- Un singolo punto di guasto può mandare in tilt l'intero sistema se il server subisce un'interruzione di servizio o una violazione della sicurezza.
- Il trasferimento di grandi quantità di dati può aumentare il consumo di banda e i costi di elaborazione.
Questo approccio è più indicato quando la privacy non rappresenta una preoccupazione significativa e tutti i dati possono essere centralizzati in modo sicuro senza conflitti normativi.
Calcolo multipartitico sicuro
Il calcolo multipartitico sicuro (SMPC) è una tecnica crittografica che consente a più parti di calcolare una funzione condivisa senza rivelare i propri set di dati individuali. Ogni partecipante crittografa i propri dati e il calcolo procede in modo tale da mostrare solo l'output finale del modello.
Caratteristiche principali:
- Le parti collaborano per addestrare un modello mantenendo riservati i dati grezzi.
- Vengono comunemente utilizzate tecniche crittografiche come la condivisione di segreti e la crittografia omomorfica .
- Nessun singolo partecipante ha accesso all'intero set di dati.
Vantaggi:
- Protegge i dati sensibili durante l'intero processo di formazione.
- Consente alle organizzazioni di collaborare allo sviluppo di modelli anche quando i dati non possono essere condivisi.
- Migliora la conformità alle normative sulla privacy, come il GDPR.
Limitazioni:
- I requisiti computazionali sono elevati a causa delle operazioni crittografiche.
- La comunicazione tra le parti può essere lenta, il che può influire sulla scalabilità.
- La complessità dell'implementazione aumenta con il numero dei partecipanti.
SMPC è appropriato in situazioni in cui sussistono forti requisiti di privacy ed è disponibile un'infrastruttura di calcolo sicura.
Privacy differenziale
La privacy differenziale (DP) garantisce che nessun singolo punto dati in un dataset possa essere distinto o dedotto dopo l'analisi. Ciò si ottiene introducendo una casualità controllata, spesso sotto forma di rumore, nei dati di addestramento o negli aggiornamenti del modello.
Caratteristiche principali:
- La privacy viene quantificata matematicamente utilizzando un parametro chiamato epsilon (ε).
- Il metodo protegge i dati personali dei singoli individui anche quando l'intero set di dati viene condiviso.
- Può essere applicato sia a sistemi centralizzati che a sistemi distribuiti.
Vantaggi:
- Offre un livello misurabile di protezione della privacy.
- Può essere combinato con altre tecniche di apprendimento, come l'apprendimento federato.
- Limita il rischio di reidentificazione dei dati.
Limitazioni:
- Un rumore eccessivo può ridurre la precisione del modello.
- La scelta del giusto budget di privacy (ε) richiede un'attenta messa a punto.
- Di per sé, non affronta il problema del coordinamento o del calcolo distribuito.
La privacy differenziale è adatta alle organizzazioni che necessitano di un equilibrio tra utilità dei dati e protezione della privacy.
Pettegolezzi o apprendimento tra pari
L'apprendimento per diffusione di informazioni (gossip learning), noto anche come apprendimento peer-to-peer, elimina la necessità di un server centrale. Ogni nodo o client addestra un modello locale e condivide gli aggiornamenti direttamente con i nodi vicini. Nel tempo, questi aggiornamenti si diffondono attraverso la rete e i modelli convergono.
Caratteristiche principali:
- I nodi comunicano localmente con i loro pari anziché tramite un aggregatore centrale.
- I parametri o i gradienti del modello vengono scambiati in modo decentralizzato.
- L'apprendimento avviene in modo asincrono all'interno della rete.
Vantaggi:
- Non esiste un singolo punto di guasto, poiché non c'è un coordinatore centrale.
- Può funzionare efficacemente in reti dinamiche, come quelle IoT o in ambienti edge.
- Riduce la dipendenza da un'entità centrale fidata.
Limitazioni:
- Il sovraccarico di comunicazione potrebbe aumentare a causa degli scambi casuali tra pari.
- La convergenza può essere più lenta rispetto all'aggregazione centralizzata.
- Il monitoraggio e il controllo risultano più difficili nei sistemi completamente decentralizzati.
Questo approccio è efficace per i sistemi distribuiti in cui non è possibile mantenere o considerare affidabile un server centrale.
Apprendimento condiviso
L'apprendimento suddiviso (split learning) divide un modello di apprendimento automatico in due o più segmenti. Il primo segmento viene addestrato sul dispositivo client utilizzando dati locali, e il suo output (attivazioni) viene inviato a un server, che completa l'addestramento rimanente.
Caratteristiche principali:
- Il modello è suddiviso tra client e un server centrale.
- I clienti non condividono mai i dati grezzi; vengono trasmessi solo i risultati intermedi.
- Il sistema richiede coordinamento tra client e server durante la fase di addestramento.
Vantaggi:
- Riduce il carico computazionale sui client addestrando solo una parte del modello.
- Garantisce un certo grado di privacy dei dati, poiché i dati grezzi rimangono in locale.
- Può integrarsi con l'infrastruttura cloud esistente.
Limitazioni:
- Le attivazioni intermedie potrebbero comunque rivelare alcune informazioni se intercettate.
- Richiede una comunicazione stabile tra client e server.
- La complessità di implementazione aumenta per i modelli profondi o multistrato.
L'apprendimento suddiviso è adatto ad ambienti con risorse client limitate o quando i vincoli di privacy impediscono la condivisione completa dei dati.
Trasferimento dell'apprendimento e distillazione del modello
Il transfer learning e la distillazione dei modelli consentono la collaborazione senza la condivisione diretta dei dati. Ogni organizzazione o dispositivo addestra localmente il proprio modello, e successivamente un modello centrale apprende dagli output o dalle previsioni di questi modelli individuali, anziché dai loro parametri interni.
Caratteristiche principali:
- La conoscenza viene trasferita tramite previsioni, non tramite i pesi completi del modello.
- Il modello globale viene perfezionato grazie all'esperienza collettiva di tutti i partecipanti.
- I modelli locali rimangono indipendenti e possono continuare a specializzarsi.
Vantaggi:
- Riduce il volume delle comunicazioni condividendo solo informazioni essenziali.
- Consente flessibilità nelle architetture dei modelli tra i partecipanti.
- È in grado di raggiungere prestazioni ragionevoli anche con fonti di dati eterogenee.
Limitazioni:
- Durante il processo di distillazione si verifica una certa perdita di informazioni.
- La qualità del modello globale dipende dall'accuratezza dei modelli locali.
- Manca la sincronizzazione coordinata tipica dell'apprendimento federato.
Questo metodo è pratico quando i dati dei clienti sono molto eterogenei o quando i clienti utilizzano diversi tipi di modello.
Architetture ibride o combinate
I sistemi ibridi combinano elementi di diversi metodi di tutela della privacy per affrontare sfide specifiche. Esempi includono l'apprendimento federato combinato con la privacy differenziale, il calcolo multipartitico sicuro o le architetture gerarchiche in cui gli aggregatori regionali comunicano con un server centrale.
Caratteristiche principali:
- Diversi livelli o moduli del sistema utilizzano diverse tecniche per la tutela della privacy.
- Può includere l'aggregazione regionale o a livelli per la scalabilità.
- Spesso adattato per soddisfare i requisiti normativi e prestazionali.
Vantaggi:
- Offre flessibilità nel bilanciare privacy, accuratezza e costi computazionali.
- È in grado di gestire fonti di dati su larga scala o distribuite geograficamente.
- Consente alle organizzazioni di personalizzare le architetture in base a vincoli specifici.
Limitazioni:
- L'implementazione è complessa a causa delle interazioni tra molteplici componenti.
- La manutenzione e la risoluzione dei problemi di sistema richiedono competenze avanzate.
- I protocolli di comunicazione possono diventare complessi e richiedere molte risorse.
Gli approcci ibridi sono pratici per le grandi organizzazioni che devono gestire più set di dati in condizioni legali e tecniche variabili.
Conclusione
Dall'assistenza sanitaria ai veicoli autonomi, dalle applicazioni mobili alla produzione intelligente, l'apprendimento federato consente alle organizzazioni di sfruttare diversi set di dati senza compromettere la riservatezza o la conformità normativa.
Nonostante le sue potenzialità, l'apprendimento federato presenta anche delle sfide, tra cui le esigenze infrastrutturali, le vulnerabilità della privacy dovute all'inversione del modello e le limitazioni derivanti dall'eterogeneità dei dati.
Tuttavia, la ricerca in corso e gli approcci complementari, come il gossip learning, la privacy differenziale e i framework decentralizzati, stanno rapidamente facendo progredire il settore. Man mano che queste innovazioni maturano, l'apprendimento federato è destinato a svolgere un ruolo centrale nel consentire lo sviluppo di un'intelligenza artificiale etica, sicura e scalabile in diversi settori.
Collegamenti di riferimento
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori.