Come progettare un'infrastruttura di intelligenza artificiale e i suoi componenti chiave
L'infrastruttura per l'IA è il fondamento delle attuali applicazioni di IA , e combina hardware, software e metodi operativi specializzati per soddisfare le esigenze dell'IA.
Le aziende di vari settori la utilizzano per integrare l'intelligenza artificiale in prodotti e processi, come ad esempio i chatbot (come ChatGPT), il riconoscimento facciale/vocale e la visione artificiale.
Questo articolo spiega come funziona l'infrastruttura di intelligenza artificiale, i suoi componenti chiave e in cosa si differenzia dall'infrastruttura IT tradizionale.
Che cos'è un'infrastruttura di intelligenza artificiale?
L'infrastruttura di intelligenza artificiale (IA), nota anche come stack di IA, si riferisce all'ambiente hardware e software integrato necessario per sviluppare, addestrare e implementare applicazioni di apprendimento automatico (ML) e intelligenza artificiale (IA).
Alcuni esempi di applicazioni che si basano su infrastrutture di intelligenza artificiale includono Google Translate, GPT di OpenAI e Google Assistant.
Infrastruttura di intelligenza artificiale vs. infrastruttura IT tradizionale
I sistemi IT tradizionali sono progettati per l'elaborazione generica, mentre l'infrastruttura per l'IA è costruita specificamente per le elevate prestazioni richieste dai compiti di IA/ML.
L'infrastruttura per l'intelligenza artificiale si basa su GPU (unità di elaborazione grafica) e spesso su TPU (unità di elaborazione tensoriale) per gestire i massicci calcoli necessari all'addestramento dei modelli. Le GPU (e le TPU) offrono capacità di elaborazione parallela, il che le rende particolarmente adatte a gestire moltiplicazioni di matrici su larga scala.
Gli ambienti IT tradizionali utilizzano in genere unità di elaborazione centrale (CPU) tradizionali per sistemi web, database o ERP. Questi ambienti gestiscono principalmente attività come il traffico web o l'archiviazione dei dati.
Lo stack infrastrutturale dell'IA comprende framework di machine learning/deep learning (come TensorFlow e PyTorch), librerie (NumPy e Pandas) e linguaggi di programmazione (Python e CUDA), nonché framework di calcolo distribuito (Spark e Hadoop) per la gestione dei modelli.
Al contrario, l'infrastruttura IT tradizionale in genere esegue software generico (server web, database, applicazioni aziendali) e non dispone di queste librerie specifiche per l'IA.
Come l'infrastruttura di IA supporta l'IA generativa
I modelli di intelligenza artificiale generativa , come GPT-4 (LLM) o DALL-E (modelli da testo a immagine), creano nuovi dati e richiedono un livello straordinario di infrastruttura computazionale per essere sviluppati e implementati.
I fornitori di servizi cloud (come Azure, AWS e Cloud) e i data center focalizzati sull'IA creano cluster GPU di dimensioni enormi per supportare carichi di lavoro di IA su larga scala.
Ad esempio, l'“UltraCluster ” di Amazon, con oltre 20.000 GPU, è progettato per gestire gli enormi requisiti computazionali dei moderni modelli di intelligenza artificiale e apprendimento automatico, in particolare quelli utilizzati nel deep learning. 1
Più recentemente, i fornitori di infrastrutture per l'IA hanno iniziato a progettare ambienti runtime specializzati e ottimizzati per i carichi di lavoro di IA generativa. Ad esempio, i fornitori di servizi cloud stanno sviluppando architetture runtime stateful che consentono agli agenti IA e ai modelli linguistici di grandi dimensioni di mantenere contesti a lungo termine tra le sessioni, permettendo applicazioni di IA più complesse rispetto alla tradizionale inferenza stateless.
Come funziona l'infrastruttura di intelligenza artificiale e quali sono i suoi componenti chiave
Archiviazione dei dati:
Ciò può includere data lake on-premise o basati su cloud, file system distribuiti, data warehouse e soluzioni di storage scalabili. Ad esempio, database SQL/NoSQL per dati strutturati e Hadoop HDFS o storage di oggetti cloud per file non elaborati.
Poiché i volumi di dati sono così elevati, lo storage per l'IA spesso privilegia non solo la capacità, ma anche l'accesso a bassa latenza utilizzando SSD NVMe e file system paralleli per alimentare costantemente il livello di elaborazione senza colli di bottiglia.
Risorse di calcolo:
Le GPU (unità di elaborazione grafica) sono i motori di calcolo più comuni per l'intelligenza artificiale. I server di IA in genere contengono più GPU per scalare i processi di addestramento.
L'infrastruttura per l'IA si basa sempre più su piattaforme AI a livello di rack piuttosto che su GPU autonome. Ad esempio, NVIDIA ha introdotto la piattaforma AI Rubin, che integra GPU, CPU, rete e switch in un unico sistema di supercalcolo per l'IA progettato per l'addestramento e l'inferenza di modelli su larga scala.
Questi sistemi mirano a ridurre significativamente i costi di inferenza e a migliorare l'efficienza prestazionale rispetto ai precedenti cluster GPU.
Networking:
Le GPU su server diversi devono sincronizzare frequentemente i parametri del modello. L'infrastruttura di intelligenza artificiale utilizza reti ad alta larghezza di banda e bassa latenza per facilitare il rapido trasferimento di grandi volumi di dati.
Con la crescita dei cluster di IA fino a decine di migliaia di acceleratori, la rete è diventata un collo di bottiglia critico. Le aziende hyperscale implementano sempre più spesso stack di rete per l'IA specializzati, come le reti Ethernet Spectrum-X o InfiniBand, per supportare la comunicazione a bassa latenza tra le GPU durante l'addestramento distribuito.
Librerie di intelligenza artificiale:
I framework di apprendimento automatico come TensorFlow, PyTorch e JAX forniscono interfacce di programmazione per definire reti neurali e addestrare algoritmi sull'hardware sottostante.
Oltre ai framework di addestramento, le moderne infrastrutture di intelligenza artificiale si basano sempre più su framework di inferenza e di erogazione specializzati, come vLLM, nonché su sistemi runtime ottimizzati che migliorano l'efficienza dell'implementazione di modelli linguistici di grandi dimensioni.
Questi framework sono spesso integrati con il livello di calcolo per utilizzare più GPU in modo trasparente, come ad esempio il parallelismo distribuito dei dati di PyTorch.
Strumenti di orchestrazione e MLOps:
Gli strumenti di orchestrazione aiutano a gestire le risorse di calcolo e i flussi di lavoro. Ad esempio, Kubernetes (con Kubeflow per l'IA) o il gestore di cluster di Apache Spark possono pianificare processi di machine learning su un cluster.
Le moderne infrastrutture di orchestrazione per l'IA supportano sempre più carichi di lavoro di addestramento distribuito su larga scala e di inferenza LLM. Ad esempio, i recenti aggiornamenti di strumenti come Kubeflow e Ray hanno introdotto funzionalità per un migliore autoscaling, coordinamento dell'addestramento distribuito e pianificazione consapevole dell'hardware su cluster di calcolo eterogenei.
Tra queste funzionalità figurano il controllo delle versioni di dataset e modelli, il monitoraggio degli esperimenti e l'integrazione/distribuzione continua per l'apprendimento automatico. Le infrastrutture tradizionali non dispongono di tale orchestrazione specifica per l'apprendimento automatico.
Come costruire un'infrastruttura di intelligenza artificiale
L'infrastruttura di intelligenza artificiale può essere paragonata a una pila con diversi livelli, ognuno dei quali svolge un ruolo nella pipeline che va dalla gestione dei dati alla distribuzione dei modelli di intelligenza artificiale.
- Cloud o on-premise: la decisione iniziale riguarda la scelta tra un'infrastruttura cloud, lo sviluppo on-premise o una strategia ibrida.
Infrastruttura di intelligenza artificiale basata su cloud vs. on-premise
La scelta tra una soluzione basata su cloud e una on-premise dipende da considerazioni di costo, requisiti di sicurezza e capacità organizzative.
I servizi cloud eliminano i significativi investimenti iniziali, mentre le soluzioni on-premise richiedono l'acquisto di hardware costoso (ad esempio, server GPU) e l'investimento in spazi per data center. Tuttavia, una volta acquistato, l'hardware on-premise può essere utilizzato a un costo fisso.
Sebbene i prezzi unitari del cloud siano spesso più elevati, offre flessibilità: si paga solo quando necessario ed è possibile disattivare le risorse quando non vengono utilizzate. Ad esempio, il costo di un DGX H200 NVIDIA, un sistema di intelligenza artificiale on-premise con 8 GPU, varia da 400.000 a 500.000 dollari. 2
Su richiesta, la soluzione cloud comparabile (l'istanza p5.48xlarge di AWS con 8 GPU H100) costa circa 84 dollari all'ora. Con un utilizzo costante, ciò si traduce in circa 735.000 dollari all'anno; pertanto, l'investimento iniziale verrebbe recuperato in meno di un anno.
Tutti i principali provider di cloud supportano i gruppi di scalabilità automatica e il tuo servizio di intelligenza artificiale può ridimensionarsi automaticamente in base al carico. L'infrastruttura on-premise è limitata ai server e alle GPU.
- Componenti chiave: la creazione di un'infrastruttura per l'IA implica l'assemblaggio della giusta combinazione di componenti hardware e software. Sul fronte hardware, i componenti centrali sono gli acceleratori di calcolo, mentre l'hardware di supporto comprende server con elevata capacità di memoria e soluzioni di archiviazione su larga scala.
- Scalabilità : Man mano che i progetti e i modelli di IA diventano più complessi, i set di dati si espandono. Ciò significa che la tua infrastruttura di IA potrebbe richiedere macchine o GPU più potenti, nonché nodi aggiuntivi nel tuo cluster. Ad esempio, utilizzando un file system distribuito scalabile in grado di aumentare la propria capacità.
- Considerazioni sui costi: Esistono due modelli di costo principali: Spese in conto capitale (CapEx) e Spese operative (OpEx). L'infrastruttura on-premise comporta spese in conto capitale (CapEx), come l'acquisto di hardware e la creazione di data center. Il cloud sposta i costi verso le Spese operative, offrendo un modello on-demand. Ciò consente agli utenti di evitare ingenti costi iniziali ed è efficiente per carichi di lavoro variabili o imprevedibili. Ad esempio, per un utilizzo elevato e costante, investire in soluzioni on-premise può essere più conveniente, mentre per carichi di lavoro sperimentali, un cloud on-demand è l'ideale.
Come i dati estratti dal web migliorano i flussi di lavoro dell'IA
Molti modelli di intelligenza artificiale si basano su testi (e immagini) estratti dal web , come la serie GPT di OpenAI, gli LLM di Google e LLaMA di Meta. Ad esempio, il set di dati di addestramento di GPT-3 includeva centinaia di miliardi di token provenienti da Common Crawl. 3
I corpus estratti dal web includono il linguaggio informale dei social media, molteplici dialetti e lingue, eventi di attualità e testi storici. Questa diversità aiuta i modelli a comprendere stili diversi. A differenza dei dataset curati, che potrebbero essere statici o limitati a un determinato dominio, l'estrazione continua di dati può fornire ai sistemi di intelligenza artificiale informazioni in tempo reale.
Collegamenti di riferimento
Prossimo da leggere
Ambienti RL: l'infrastruttura alla base dell'IA agentiva
Creazione di agenti di intelligenza artificiale con modelli componibili
Le 9 migliori aziende e applicazioni per infrastrutture di intelligenza artificiale
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori.