GPU cloud per il deep learning: disponibilità e prezzo/prestazioni
Se non hai preferenze particolari per quanto riguarda il modello di GPU, individua la GPU cloud più conveniente in base al nostro benchmark di 10 modelli di GPU in scenari di generazione e ottimizzazione di immagini e testo.
- Se preferisci un modello specifico (ad esempio A100), individua il fornitore di GPU cloud con il costo più basso che lo offre.
- Se siete indecisi tra una soluzione on-premise e il cloud, valutate se acquistare o noleggiare GPU sul cloud .
- Oppure scopri la nostra metodologia di benchmarking per GPU cloud per identificare la GPU più conveniente
Prezzo per throughput delle GPU cloud
Due modelli di prezzo comuni per le GPU sono le istanze "on-demand" e "spot". Scopri la GPU più conveniente per il tuo carico di lavoro in base ai prezzi on-demand dei 3 principali hyperscaler:
Cloud GPU Throughput & Prices
Updated on May 6, 2026
Verda Cloud
Verda Cloud
Verda Cloud
Verda Cloud
Amazon Web Services
Microsoft Azure
Verda Cloud
Verda Cloud
Google Cloud Platform
Amazon Web Services
Microsoft Azure
Latitude
Per maggiori dettagli, consultare la metodologia di benchmark delle GPU cloud .
Il modello di prezzo on-demand è il più semplice: si paga la capacità di calcolo a ore o al secondo, a seconda dell'utilizzo, senza vincoli a lungo termine o pagamenti anticipati.
Queste istanze sono consigliate agli utenti che preferiscono la flessibilità di una piattaforma GPU cloud senza alcun pagamento anticipato o impegno a lungo termine. Le istanze on-demand sono generalmente più costose delle istanze spot, ma offrono capacità garantita e ininterrotta.
GPU on-demand da altri provider di servizi cloud
* La memoria e il modello della GPU non sono gli unici parametri. Anche CPU e RAM possono essere importanti, tuttavia non sono i criteri principali che determinano le prestazioni delle GPU nel cloud. Pertanto, per semplicità, non abbiamo incluso il numero di CPU o di RAM in queste tabelle.
** La velocità di elaborazione dell'addestramento è una buona metrica per misurare l'efficacia relativa della GPU. Misura il numero di token elaborati al secondo dalla GPU per un modello linguistico (ad esempio bert_base_squad). 1 Si prega di notare che questi valori di throughput devono essere considerati come linee guida generali. Lo stesso hardware potrebbe avere un throughput significativamente diverso per il vostro carico di lavoro, poiché esistono differenze di throughput considerevoli anche tra LLM in esecuzione sullo stesso hardware. 2
*** Sono esclusi i costi di archiviazione, le prestazioni di rete, il traffico in entrata/uscita, ecc. Questo è solo il costo della GPU. 3
GPU Spot
In tutte queste tabelle di produttività per dollaro:
- Non sono elencate tutte le configurazioni possibili; sono incluse quelle più comunemente utilizzate e focalizzate sul deep learning.
- Laddove possibile, sono state utilizzate le regioni occidentali o centrali degli Stati Uniti.
- Questi sono i prezzi di listino per ciascuna categoria; chi acquista grandi quantità potrebbe ottenere prezzi migliori.
Infine, è opportuno chiarire cosa si intende per "spot". Le risorse spot sono:
- Essendo un servizio interrompibile , gli utenti devono continuare a registrare i propri progressi. Ad esempio, Amazon EC2 P3, che offre V100 32 GB, è uno dei servizi spot di Amazon più frequentemente interrotti. 4
- Offerta dinamica, basata sulle dinamiche di mercato . Il prezzo di queste risorse GPU può variare in base alla domanda e all'offerta, e gli utenti in genere fanno offerte sulla capacità spot disponibile. Se l'offerta di un utente è superiore al prezzo spot corrente, le istanze richieste verranno eseguite.
All'inizio del 2026, i prezzi di noleggio spot delle GPU sono aumentati a causa dei picchi di domanda, con una disponibilità limitata anche per le generazioni di GPU più vecchie. Il CEO di Nvidia, Jensen Huang, ha osservato nel gennaio 2026 che le tariffe di noleggio spot delle GPU stanno aumentando vertiginosamente per tutte le generazioni, non solo per i modelli più recenti. 5
Costi e disponibilità delle GPU cloud
Ordinamento per prezzo più basso. Per altre opzioni economiche, puoi consultare i marketplace di GPU cloud .
Nel gennaio 2026, AWS ha aumentato i prezzi di circa il 15% per le sue istanze GPU di fascia alta, nello specifico le istanze EC2 P5e 48xlarge dotate di 8 GPU H200. 6
disponibilità della GPU
Inserisci il modello desiderato nella casella di ricerca per identificare tutti i provider di servizi cloud che lo offrono:
*** Prezzo su richiesta *($) per singola GPU. Sono esclusi i costi di archiviazione, prestazioni di rete, traffico in entrata/uscita, ecc. Questo è solo il costo della GPU.
**** Valori calcolati. Ciò si è reso necessario quando non erano disponibili singole istanze GPU. 7 8
Altre considerazioni relative alle GPU in cloud
Disponibilità : Non tutte le GPU elencate sopra potrebbero essere disponibili a causa dei limiti di capacità dei fornitori di servizi cloud e della crescente domanda di intelligenza artificiale generativa.
Sicurezza dei dati : ad esempio, i marketplace di GPU cloud come Vast.ai offrono prezzi significativamente più bassi, ma a seconda della risorsa specifica richiesta, la sicurezza dei dati del carico di lavoro potrebbe essere compromessa, consentendo agli host di accedere ai carichi di lavoro. Poiché abbiamo dato priorità alle esigenze di GPU aziendali, Vast.ai non è stato incluso in questo benchmark.
Facilità d'uso : la qualità della documentazione è un parametro soggettivo, ma gli sviluppatori preferiscono la documentazione di alcuni provider cloud rispetto a quella di altri. In questa discussione, la documentazione di GCP è stata considerata di qualità inferiore rispetto a quella di altri colossi tecnologici. 9
Familiarità : Sebbene i fornitori di servizi cloud si impegnino a fondo per rendere i propri servizi facili da usare, è comunque necessario un periodo di apprendimento. Per questo motivo, i principali fornitori di servizi cloud hanno implementato sistemi di certificazione. Pertanto, per carichi di lavoro di piccole dimensioni, il risparmio derivante dall'utilizzo di un fornitore a basso costo potrebbe essere inferiore al costo opportunità del tempo necessario a uno sviluppatore per imparare a utilizzare l'offerta di GPU cloud .
Ottimizzazione dei costi: Le tecnologie di pooling delle GPU possono ridurre significativamente l'utilizzo e i costi delle GPU nel cloud, condividendo le risorse di calcolo tra più modelli.
Il sistema Aegaeon di Alibaba afferma una riduzione dell'82% nell'utilizzo delle GPU per la gestione dei modelli LLM tramite l'auto-scaling a livello di token, che consente alle GPU di passare da un modello all'altro durante la generazione anziché attendere il completamento delle risposte complete.
Durante una fase beta di tre mesi sul marketplace di Alibaba Cloud, Aegaeon ha ridotto i requisiti GPU di H2O da 1.192 a 213, gestendo al contempo decine di modelli con parametri fino a 72 miliardi, con singole GPU in grado di supportare fino a 7 modelli e una latenza di commutazione ridotta del 97%. 10
Orchestrazione multicloud: Shopify utilizza interfacce portatili tra i diversi cloud, garantendo la responsabilità dei costi e le quote tramite file di configurazione YAML con quote di costo, e si avvale di strumenti di orchestrazione come SkyPilot sia per la formazione che per gli ambienti di sviluppo interattivi con GPU. 11
Acquista GPU o noleggia GPU cloud
Acquistare ha senso
- Se la tua azienda possiede le competenze e la preferenza per ospitare i server o gestire server in colocation .
- Per carichi di lavoro non interrompibili : per il volume di GPU per le quali è possibile garantire un utilizzo elevato (ad esempio superiore all'80%) per un anno o più. 12
- Per i carichi di lavoro interrompibili : il periodo di utilizzo elevato sopra indicato deve essere più lungo di qualche volta, poiché i prezzi on-demand (calcolo non interrompibile) tendono ad essere diverse volte più alti dei prezzi spot (calcolo interrompibile).
Per le aziende con carichi di lavoro intensivi che richiedono l'utilizzo di GPU, consigliamo una soluzione ibrida, composta da GPU di proprietà e a noleggio, in cui la domanda garantita viene gestita dalle GPU di proprietà, mentre la domanda variabile viene gestita dal cloud. È per questo che colossi tecnologici come Facebook stanno costruendo i propri cluster di GPU, composti da centinaia di unità. 13
Gli acquirenti potrebbero essere tentati di prendere in considerazione le GPU per il mercato consumer, che offrono un miglior rapporto prezzo/prestazioni; tuttavia, il contratto di licenza del loro software ne vieta l'utilizzo nei data center. 14 Pertanto, non sono adatti all'apprendimento automatico, ad eccezione di carichi di lavoro di test di minore entità sui computer degli scienziati dei dati.
Confronto delle prestazioni dei provider di servizi cloud
Per capire se la scelta di un provider cloud influisce sulle prestazioni di hardware identico, abbiamo condotto un benchmark specifico sulla GPU MI300X da 192 GB (AMD ), eseguendo gli stessi carichi di lavoro di generazione di testo e immagini sia su (Digital Ocean) che su (Runpod ).
I nostri risultati rivelano che, sebbene le prestazioni siano sostanzialmente simili, esistono differenze minime ma misurabili, come mostrato nel grafico sottostante:
Osservazioni principali:
- Per la generazione di testo , Digital Ocean ha dimostrato una velocità di elaborazione leggermente superiore, elaborando circa lo 0,4% di token in più al secondo.
- Al contrario, per la generazione di immagini , Runpod ha mostrato un vantaggio marginale, elaborando circa lo 0,4% di immagini in più al secondo.
Queste piccole variazioni possono probabilmente essere attribuite a differenze nell'architettura del server, nell'infrastruttura di rete o nelle specifiche configurazioni di virtualizzazione e dei driver del fornitore.
Sebbene questo livello di differenza possa non essere critico per tutti i casi d'uso, evidenzia come, per i carichi di lavoro che richiedono la massima ottimizzazione, la scelta del provider cloud possa essere un fattore rilevante per la messa a punto delle prestazioni, anche utilizzando lo stesso modello di GPU.
Metodologia di benchmark per GPU cloud
Prezzi: i prezzi delle GPU cloud vengono aggiornati mensilmente.
Questa sezione descrive in dettaglio la metodologia utilizzata per misurare le prestazioni e il rapporto costo-efficacia dei nostri benchmark GPU cloud. Per tutti i test è stata utilizzata la quantizzazione FP a 4 bit, salvo diversa indicazione.
Ottimizzazione del testo (Throughput)
Questa metrica misura la velocità di elaborazione grezza per l'addestramento di un modello linguistico, calcolata in token al secondo. Risponde alla domanda: "Quanti token può elaborare questa GPU al secondo durante la fase di fine-tuning?"
- Modello: Llama 3.2
- Set di dati: Le prime 5.000 conversazioni del set di dati FineTome.
- Procedura: Il modello è stato ottimizzato in 5 epoche utilizzando un totale di 1 milione di token.
- Calcolo: La velocità di elaborazione viene calcolata come (Token totali * Numero di epoche) / Tempo totale di finetuning. La metrica finale è rappresentata dai token al secondo (token/s) .
- Framework: Unsloth
Ottimizzazione del testo (Efficienza)
Questa metrica misura il rapporto costo-efficacia del fine-tuning, calcolato in token per dollaro. Risponde alla domanda: "Quanti token possono essere elaborati per ogni dollaro speso per questa GPU?"
- Calcolo: Questo valore deriva dal test di throughput. Si calcola dividendo il numero totale di token elaborati per il costo orario dell'istanza GPU. Il risultato finale è rappresentato dai token per dollaro (token/$) .
Inferenza del testo (Throughput)
Questa metrica misura la velocità grezza di generazione del testo con un modello addestrato, calcolata in token al secondo. È fondamentale per le applicazioni in tempo reale.
- Procedura: Sono stati generati complessivamente 1 milione di token, inclusi sia i token di input che quelli di output.
- Calcolo: La velocità di elaborazione viene calcolata dividendo il numero totale di token per la durata totale. Il risultato finale è espresso in token al secondo (token/s) .
- Framework: llama-cpp-python
Inferenza testuale (Efficienza)
Questo parametro misura il rapporto costo-efficacia della generazione di testo, calcolato in token per dollaro.
- Calcolo: Questo valore è derivato dal test di inferenza. Viene calcolato dividendo il numero totale di token generati per il costo orario dell'istanza GPU. La metrica finale è token per dollaro (token/$) .
Ottimizzazione dell'immagine (produttività)
Questa metrica misura la velocità di elaborazione grezza per l'addestramento di un modello di riconoscimento delle immagini, calcolata in immagini al secondo.
- Modello: YOLOv9
- Set di dati: 100 immagini dal set di dati SkyFusion.
- Procedura: Il modello è stato addestrato su questo set di dati per 4 epoche.
- Calcolo: Le prestazioni vengono misurate in immagini al secondo (immagini/s) elaborate durante l'addestramento.
- Framework: Unsloth
Ottimizzazione dell'immagine (Efficienza)
Questa metrica misura il rapporto costo-efficacia dell'addestramento di un modello di elaborazione delle immagini, calcolato in immagini per dollaro.
- Calcolo: Questo valore deriva dal test di ottimizzazione delle immagini. Si calcola dividendo il numero totale di immagini elaborate per il costo orario dell'istanza GPU. Il risultato finale è rappresentato dal numero di immagini per dollaro (immagini/$) .
Inferenza di immagini (Throughput)
Questa metrica misura la velocità grezza di analisi delle immagini con un modello addestrato, calcolata in immagini al secondo.
- Modello: Il modello YOLOv9 ottimizzato con il processo descritto sopra.
- Set di dati: circa 500 immagini con una risoluzione di 640×640.
- Calcolo: Le prestazioni vengono misurate in base al numero di immagini al secondo (immagini/s) che il modello è in grado di elaborare.
Inferenza di immagini (Efficienza)
Questo parametro misura il rapporto costo-efficacia dell'analisi delle immagini, calcolato in immagini per dollaro.
- Calcolo: Questo valore deriva dal test di inferenza delle immagini. Si calcola dividendo il numero totale di immagini elaborate per il costo orario dell'istanza GPU. Il risultato finale è rappresentato dal numero di immagini per dollaro (immagini/$) .
Prossimi passi:
- La frequenza di raccolta dei dati verrà aumentata.
- Nel tempo, amplieremo la copertura delle GPU, includeremo più parametri e aggiorneremo la nostra misurazione delle prestazioni.
Quali sono le migliori GPU per il cloud?
AMD sta implementando le sue GPU Instinct MI450 con architettura CDNA 4 e la piattaforma rack Helios per competere con NVIDIA nei carichi di lavoro di addestramento e inferenza AI su larga scala. Nel febbraio 2026, Meta ha annunciato una partnership pluriennale per implementare fino a 6 gigawatt di GPU Instinct di AMD, un'implementazione storicamente di grandi dimensioni. 15
La prossima architettura Rubin di NVIDIA (ad esempio la GPU Rubin NVL-144) include NVLink 6 e memoria HBM4 per i carichi di lavoro di addestramento nel cloud. A causa delle restrizioni all'esportazione, le aziende cinesi di intelligenza artificiale starebbero noleggiando istanze di GPU Rubin tramite provider cloud esteri per accedere all'hardware. 16
Per visualizzare i fornitori di GPU cloud che offrono GPU non Nvidia, consultare l' elenco dei fornitori di GPU cloud .
Scopri tutto sui chip e sull'hardware per l'intelligenza artificiale .
Cosa sono i marketplace di GPU cloud?
Le piattaforme di cloud computing distribuito come Salad, Vast.ai e Clore.ai offrono accesso alla potenza di calcolo GPU decentralizzata attraverso un modello di mercato. Gli utenti con hardware inutilizzato possono mettere a disposizione le proprie GPU a noleggio, mentre chi necessita di potenza di calcolo GPU può scegliere tra le risorse disponibili a prezzi diversi. Queste piattaforme facilitano il collegamento tra domanda e offerta senza dipendere da fornitori di cloud centralizzati. Offrono soluzioni economiche e flessibili per attività che richiedono un elevato utilizzo di GPU.
- Salad : rete decentralizzata per attività come l'addestramento di intelligenza artificiale o il mining di criptovalute, con particolare attenzione alle ricompense per gli utenti e alla facilità d'uso.
- Vast.ai : mette in contatto i fornitori di GPU con gli utenti che necessitano di risorse di calcolo scalabili e a prezzi accessibili. L'attenzione è focalizzata sui carichi di lavoro di intelligenza artificiale e apprendimento automatico.
- Clore.ai : un marketplace distribuito per GPU cloud focalizzato su carichi di lavoro di intelligenza artificiale e calcolo ad alte prestazioni (HPC).
- Kryptex : una piattaforma che permette agli utenti di guadagnare criptovalute affittando le proprie GPU. L'obiettivo principale è quello di svolgere attività come il mining di criptovalute o l'elaborazione di calcoli complessi.
Quali sono le migliori piattaforme GPU cloud?
I principali fornitori di GPU cloud sono:
- AWS
- Microsoft Azure
- CoreWeave
- Google Piattaforma cloud (GCP)
- IBM Cloud
- Laboratori Jarvis
- Lambda Laboratori
- Oracle Infrastruttura cloud (OCI)
- Paperspace CORE di DigitalOcean
- Runpod.io
- Crusoe Cloud
Se non sei sicuro delle GPU cloud, esplora altre opzioni come le GPU serverless .
Note
I fornitori di servizi cloud aggiornano costantemente la loro offerta, pertanto questa ricerca verrà aggiornata di conseguenza.
FAQ
A differenza di una CPU, che può avere un numero relativamente piccolo di core ottimizzati per l'elaborazione sequenziale seriale, una GPU può avere centinaia o addirittura migliaia di core più piccoli progettati per il multithreading e la gestione di carichi di lavoro di elaborazione parallela.
Una GPU cloud offre accesso remoto alle risorse di calcolo GPU tramite il cloud, eliminando la necessità di hardware locale. Analogamente ai servizi cloud tradizionali, una GPU cloud consente di accedere a risorse di calcolo ad alte prestazioni in modo immediato o su richiesta, senza la necessità di investimenti iniziali in hardware.
Apprendimento automatico e intelligenza artificiale
Le GPU sono particolarmente efficaci nella gestione dei calcoli complessi richiesti dai modelli di apprendimento automatico (ML) e di intelligenza artificiale (AI). Possono elaborare più calcoli in parallelo, il che le rende adatte all'addestramento di grandi reti neurali e algoritmi.
– Apprendimento profondo: l'apprendimento profondo è un sottocampo dell'apprendimento automatico. I carichi di lavoro di apprendimento profondo, in particolare l'addestramento e l'inferenza di modelli di grandi dimensioni, sono il principale motore della domanda di GPU nel cloud.
Elaborazione dei dati
– Analisi dei dati : le GPU vengono utilizzate per accelerare le attività di calcolo e di elaborazione dei dati, come l'analisi dei Big Data e l'analisi in tempo reale. Sono in grado di gestire attività di elaborazione parallela ad alto rendimento in modo più efficiente rispetto alle CPU.
– Calcolo scientifico: nella ricerca scientifica, le GPU cloud possono gestire calcoli per simulazioni, bioinformatica, chimica quantistica, modellazione meteorologica e altro ancora.
Giochi e intrattenimento
Le GPU cloud vengono utilizzate per fornire servizi di cloud gaming, come Stadia di Google o GeForce Now di NVIDIA, dove il gioco viene eseguito su un server nel cloud e i frame renderizzati vengono trasmessi in streaming al dispositivo del giocatore. Ciò consente di giocare ad alta qualità senza la necessità di un potente computer locale.
– Rendering grafico: le GPU sono state inizialmente progettate per gestire la grafica computerizzata e continuano a eccellere in questo campo. Le GPU cloud vengono utilizzate per la modellazione e il rendering 3D, le visualizzazioni 3D, la realtà virtuale (VR), la progettazione assistita da computer (CAD) e la computer-generated imagery (CGI).
– Elaborazione video: Vengono utilizzati nella codifica e decodifica video, nel montaggio video, nella correzione del colore, nel rendering degli effetti e in altre attività di elaborazione video.
Estrazione di criptovalute
Le GPU vengono utilizzate anche in attività come il mining di criptovalute. Tuttavia, i circuiti integrati specifici per applicazioni (ASIC) offrono una maggiore convenienza economica per le criptovalute più comunemente estratte.
Collegamenti di riferimento
Commenti 2
Condividi i tuoi pensieri
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori.
Cem - great article, I'd love to pick your brain on private networking or direct connects to these GPU instances.
Hi Ashley, thank you! Sure, happy to chat.
Hi there, fantastic article and very well-researched. Would you mind checking out Dataoorts at https://dataoorts.com
Sure, we'll review to see if we can include Dataoorts in the next edit.