I 9 migliori provider AI a confronto
L'ecosistema dell'infrastruttura AI sta crescendo rapidamente, con provider che offrono approcci diversificati per costruire, ospitare e accelerare i modelli. Sebbene tutti mirino ad alimentare applicazioni AI, ciascuno si concentra su un diverso livello dello stack.
Abbiamo confrontato i provider più utilizzati su OpenRouter: Cerebras, DeepInfra, Fireworks AI, Groq, Nebius e SambaNova, utilizzando il modello GPT-OSS-120B. Abbiamo valutato ciascun provider utilizzando lo stesso dataset di 108 domande, composto da 35 domande di conoscenza del mondo reale e 73 problemi di ragionamento matematico.
Benchmark di accuratezza dei provider AI
Inviamo 108 domande (35 domande di conoscenza basate su articoli + 73 problemi matematici) a ciascun provider ogni 5 minuti durante l'arco della giornata e calcoliamo le medie giornaliere di accuratezza. Insieme a queste domande, inviamo ogni volta una domanda di riferimento specifica per misurare le metriche di latenza FTL ed E2E.
Per ragioni sconosciute, Fireworks AI non è riuscita a produrre risposte finali per la maggior parte delle domande il 26 ottobre, nonostante non avesse alcun limite massimo di token. Sebbene quel giorno ci sia stato un breve downtime di 1 minuto, il problema sembra aver influenzato le risposte durante l'intera giornata. Abbiamo appreso che alcuni provider occasionalmente non riescono a generare risposte finali per motivi che rimangono poco chiari, come documentato in precedenza. Questa situazione appare simile a incidenti passati.
Abbiamo testato GPT-OSS-120B su un'istanza RunPod H200 GPU, e ha raggiunto il 98% di accuratezza sul dataset che abbiamo utilizzato nel nostro benchmark. Leggi la nostra metodologia di benchmark.
Benchmark di latenza dei provider AI
Nei giorni in cui la latenza è aumentata per Fireworks, c'è stato un downtime di 1 minuto, ma durante la giornata ha risposto alla maggior parte delle domande in circa 10 minuti ciascuna per ragioni sconosciute.
Confronto tra latenza e costi
Abbiamo identificato i modelli più utilizzati che sono anche quelli più comunemente offerti tra i provider AI, e poi abbiamo raccolto i prezzi combinati dei provider per 1M di token di input/output e le loro metriche di latenza del primo token.
Provider AI: confronto dettagliato
Integrazione di pipeline dati e ML
Weights & Biases
Weights & Biases (W&B) combina tracciamento degli esperimenti, valutazione dei modelli e osservabilità delle applicazioni con infrastrutture gestite di training e inference. Originariamente posizionato come sistema di registrazione per i flussi di lavoro ML, W&B si è espanso in un'offerta più verticalmente integrata dopo la sua acquisizione con CoreWeave.
Capacità
- Traccia esperimenti, iperparametri, metriche, dataset e artefatti per supportare la riproducibilità e il confronto tra modelli e infrastrutture.
- Fornisce un registro dei modelli con versionamento, promozione, rollback e collegamento della lineage che collega i modelli ai dati e alle esecuzioni di training.
- Offre training e fine-tuning gestiti, incluso il calcolo serverless su GPU per l'apprendimento per rinforzo e carichi di lavoro di AI generativa.
- Supporta l'inference ospitata per modelli open-source e personalizzati.
- Abilita l'osservabilità a livello di richiesta per le applicazioni LLM attraverso Weave, catturando prompt, risposte, latenza e punteggi di valutazione.
- Supporta la valutazione e il benchmarking automatizzati e con human-in-the-loop tra modelli, prompt e provider.
- Si integra con provider AI di terze parti, GPU self-hosted e API esterne in aggiunta alla propria infrastruttura.
Limitazioni
W&B fornisce un'infrastruttura AI nativa limitata attraverso le sue offerte basate su CoreWeave. L'inference ospitata e il training serverless su GPU sono supportati, ma il training di modelli su larga scala o personalizzati spesso richiede un'infrastruttura esterna.
Caso d'uso: Ideale per team AI che richiedono visibilità end-to-end attraverso sperimentazione, training, valutazione e deployment, in particolare quando si confrontano più modelli o provider e si mantiene un'osservabilità di livello produttivo senza completo vendor lock-in.
Databricks
Databricks fornisce una piattaforma unificata che combina analisi dei dati, machine learning e gestione dei modelli.
Capacità
- Costruito sull'infrastruttura Spark, consentendo l'integrazione end-to-end di preparazione dei dati, training dei modelli e inference.
- Utilizza MLflow per il tracciamento dei modelli, inclusi parametri, metriche e cronologia degli esperimenti.
- Unity Catalog garantisce la lineage dei dati e la governance per pratiche di AI responsabile.
- Forte nell'elaborazione batch e nel confronto tra modelli.
Limitazioni
- Non ottimizzato per l'inference in tempo reale. Il monitoraggio e le metriche sono progettati per job batch, non per la latenza per richiesta.
- Più adatto alla gestione di processi complessi tra dati e modelli, piuttosto che a carichi di lavoro AI critici per la latenza.
Caso d'uso: Efficace per le aziende che devono integrare l'AI nelle pipeline di data science, in particolare per la modellazione predittiva e le applicazioni aziendali dove sono richieste governance e tracciabilità.
Piattaforme di hosting di modelli
Baseten
Baseten si posiziona come piattaforma di hosting di modelli per il deployment e l'esecuzione di modelli AI, concentrandosi sull'affidabilità in produzione e sull'osservabilità dettagliata.
Capacità
- Scompone la durata delle chiamate API in caricamento del modello, inference e serializzazione della risposta, consentendo agli sviluppatori di individuare le fonti di latenza.
- Gli avvii a freddo sono tracciati a livello di replica per misurare l'impatto sulle prestazioni.
- Gli utenti configurano parametri di autoscaling come il numero di repliche e le soglie di concorrenza. Ciò consente flessibilità ma introduce il rischio di configurazioni errate, portando a costi sprecati o a una latenza più elevata.
- Questo sistema fornisce il tracciamento dei costi per richiesta collegato al tipo e all'utilizzo della GPU, consentendo confronti di prestazioni e costi quando si passa tra hardware come A100 e H100 GPU.
- È disponibile lo streaming dei log in tempo reale, sebbene il filtraggio e la ricerca siano limitati.
Limitazioni
- Il monitoraggio è dettagliato a livello di richiesta, ma la ricerca e il filtraggio dei log sono di base, il che rende più difficile il debug di grandi carichi di lavoro.
- Un autoscaling configurato in modo errato può influire direttamente su costi e latenza.
Caso d'uso: Baseten è ideale per sviluppatori AI che cercano un'osservabilità trasparente per modelli di AI generativa in ambienti di produzione.
Parasail
Parasail offre una rete di inference AI progettata per un utilizzo flessibile delle GPU e l'ottimizzazione dei costi.
Capacità
- Il sistema supporta il passaggio tra tipi di GPU, con allocazione automatica delle risorse in base alle esigenze del carico di lavoro.
- La dashboard evidenzia metriche di utilizzo aggregate, inclusi uptime e allocazione delle GPU.
- Offre flessibilità di prezzo attraverso diverse classi di GPU, consentendo compromessi tra costi e prestazioni.
Limitazioni
- Non offre il tracciamento a livello di richiesta. Gli sviluppatori non possono analizzare il costo o le prestazioni delle singole richieste.
- L'osservabilità rimane a livello aggregato, limitando la profondità del debug.
Caso d'uso: Parasail è progettato per organizzazioni che danno priorità a soluzioni AI flessibili e a basso costo, ma fornisce meno approfondimenti per i team che richiedono un'osservabilità dettagliata.
DeepInfra
DeepInfra offre hosting serverless su GPU in più regioni, consentendo il deployment scalabile di modelli AI come API.
Capacità
- Il supporto multi-regione consente l'inference più vicina agli utenti finali, riducendo la latenza.
- Fornisce metriche di latenza e throughput a livello di dashboard.
- Offre prezzi pay-as-you-go con reportistica dei costi aggregata.
- Supporta il deployment di modelli di AI generativa open-source con semplici API.
Limitazioni
- Non fornisce il tracciamento a livello di richiesta, rendendo difficile l'analisi delle cause profonde.
- La suddivisione dei costi è solo aggregata, senza dettagli per richiesta o per regione.
- Il versionamento dei modelli e i meccanismi di rollback non sono automatizzati e richiedono una gestione manuale.
Caso d'uso: Ideale per organizzazioni che distribuiscono carichi di lavoro AI in più regioni, dove la flessibilità dei costi e la copertura geografica contano più del debug approfondito.
Together AI
Together AI opera come un cloud di accelerazione AI che offre sia hosting di modelli che capacità di training.
Capacità
- Fornisce metriche sia a livello aggregato che di richiesta, inclusi istogrammi di latenza e suddivisioni delle chiamate per versione.
- Il versionamento e il rollback integrati dei modelli consentono di tornare rapidamente alle versioni precedenti.
- La suddivisione del traffico consente test A/B tra versioni del modello.
- Forte supporto SDK con librerie client multilingua.
- Le integrazioni CI/CD rendono le pipeline di deployment più mature rispetto ad altre piattaforme di hosting.
Limitazioni
- Questa soluzione offre maggiore maturità operativa, ma comporta il costo di una maggiore complessità del sistema rispetto alle piattaforme di hosting più leggere.
Caso d'uso: Together AI è adatto per aziende AI e società di servizi professionali che necessitano di un controllo versione affidabile, monitoraggio avanzato e integrazione di strumenti di AI generativa in flussi di lavoro strutturati.
Infrastruttura ottimizzata per hardware / specializzata
Cerebras
Cerebras si concentra sull'infrastruttura AI ottimizzata per hardware, costruita attorno al suo motore wafer-scale (WSE).
Capacità
- Il WSE integra milioni di unità di elaborazione su un singolo chip, fornendo un throughput estremamente elevato per i carichi di lavoro AI.
- Le dashboard espongono metriche standard come token al secondo e throughput complessivo.
- Adatto per il training e l'inference su modelli AI avanzati su larga scala.
Limitazioni
- Il deployment non è immediato; richiede la preparazione dell'infrastruttura.
- I dettagli interni dell'hardware, come lo scheduling e l'utilizzo della memoria, sono astratti dagli utenti.
- Supporto limitato per l'importazione di modelli personalizzati arbitrari.
Caso d'uso: Efficace per attività di machine learning su larga scala ad alto throughput in laboratori AI, industria della difesa o agenzie governative dove il throughput conta più della flessibilità.
Gruve AI Inference Infrastructure Fabric
Gruve fornisce un'infrastruttura di inference AI distribuita progettata per prestazioni prevedibili, latenza inferiore e scaling più rapido della capacità in ambienti di produzione. Il suo posizionamento è più vicino a un'infrastruttura fabric che all'hosting di modelli, con enfasi sull'accesso energetico, posizioni distribuite e ottimizzazione full-stack.
Capacità
- Supporta capacità di inference scalabile attraverso infrastrutture distribuite vicino a città di Livello 1 e Livello 2.
- Utilizza energia inutilizzata e sottoutilizzata per ridurre e stabilizzare i costi dell'infrastruttura di inference.
- Distribuisce l'inference più vicino a utenti, applicazioni e dati per ridurre la latenza di rete.
- Offre cluster di infrastruttura ad alta densità, inclusi armadi raffreddati a liquido e siti multi-megawatt.
- Fornisce un'infrastruttura nativa AI progettata per supportare requisiti mutevoli di modelli, serving e carichi di lavoro degli agenti.
- Combina infrastruttura, fondamento dati e capacità degli agenti AI in uno stack di esecuzione AI aziendale più ampio.
- Include funzionalità di affidabilità aziendale come operazioni 24/7, sicurezza integrata, governance e controllo operativo.
Limitazioni
Potrebbe essere più adatto per organizzazioni che necessitano di un'infrastruttura di inference dedicata piuttosto che per team che cercano una piattaforma leggera di hosting di modelli basata su API.
Caso d'uso: Ideale per aziende e società AI che eseguono carichi di lavoro di inference su scala produttiva dove l'efficienza dei costi, la disponibilità di capacità, la bassa latenza e l'affidabilità dell'infrastruttura sono priorità.
SambaNova
SambaNova costruisce soluzioni hardware e software AI basate sulla sua architettura dataflow, che è ottimizzata a livello di grafo computazionale.
Capacità
- Fornisce piattaforme come SambaCloud (servizio cloud), SambaStack (on-premise) e SambaManaged (servizio gestito).
- Ottimizzato per l'inference e il training di modelli di AI generativa.
- Metriche standard della dashboard per la latenza a livello di token e il throughput.
Limitazioni
- Il deployment richiede la compatibilità del modello con la sua architettura, richiedendo un'ottimizzazione aggiuntiva.
- Le metriche interne delle prestazioni, come la larghezza di banda della memoria, non sono esposte agli utenti.
- I rollout non sono immediati; sono necessarie fasi di implementazione.
Caso d'uso: Adatto per aziende che necessitano di soluzioni basate sull'AI che combinano hardware e software, specialmente in settori che richiedono un'infrastruttura IT controllata.
Groq
Groq offre una piattaforma di inference AI alimentata dalle sue Language Processing Unit (LPU).
Capacità
- Ottimizzato per la generazione sequenziale di token con risposte in streaming a bassa latenza.
- Le dashboard espongono conteggi di token, latenza e tassi di errore.
- Il costo è tracciato a livello di token.
Limitazioni
- Non supporta il deployment di modelli personalizzati. Sono disponibili solo i modelli forniti da Groq.
- Sono disponibili strumenti di debug minimi; se sorgono problemi di prestazioni, è necessario inviare un ticket di supporto.
- Il funzionamento interno delle LPU rimane opaco.
Caso d'uso: Ideale per applicazioni in cui risposte a latenza ultra-bassa per modelli linguistici di grandi dimensioni sono critiche, come l'AI conversazionale o algoritmi decisionali.
Antimatter
Antimatter fornisce un'infrastruttura AI verticalmente integrata che combina asset energetici, data center modulari e software cloud distribuito.
Capacità
- Distribuisce il calcolo in siti dove esiste già energia rinnovabile, sottoutilizzata o inutilizzata.
- Utilizza unità modulari Policloud per portare online il calcolo AI ad alta densità più velocemente rispetto alle tradizionali costruzioni di data center hyperscale.
- Connette siti distribuiti in un unico tessuto operativo attraverso il software Hivenet.
- Fornisce servizi cloud come calcolo, storage e trasferimento file tramite API.
- Supporta l'orchestrazione dei carichi di lavoro tra i siti in base a domanda, capacità, prezzi e vincoli locali.
- Separa l'infrastruttura fisica dai servizi rivolti al cliente, consentendo a nuovi siti e servizi di scalare indipendentemente.
- Utilizza orchestrazione basata su Kubernetes, macchine virtuali, supporto bare metal, storage distribuito, rete crittografata, passthrough GPU e osservabilità centralizzata.
Limitazioni
Il suo modello potrebbe essere più rilevante per organizzazioni che necessitano di un'infrastruttura AI distribuita o sovrana piuttosto che per team che cercano una semplice API serverless per modelli.
Caso d'uso: Ideale per acquirenti aziendali di infrastruttura AI che necessitano di capacità di inference scalabile vicino alle fonti energetiche, agli utenti e alle giurisdizioni regolamentate, specialmente dove prevedibilità dei costi, sovranità e velocità di deployment sono importanti.
Hosting basato su API
Fireworks AI
Fireworks AI fornisce un servizio leggero di hosting basato su API per modelli AI.
Capacità
- Deployment rapido dei modelli con API endpoint immediati.
- Supporta il fine-tuning di modelli di AI generativa.
- Le dashboard forniscono metriche come latenza delle chiamate, utilizzo dei token, tasso di errore e conteggio delle richieste.
Limitazioni
- Il tracciamento a livello di richiesta è assente, limitando il debug dettagliato.
- I dati sui costi sono solo aggregati, senza visibilità per richiesta.
- Il rollback è manuale; tornare a versioni precedenti richiede il redeployment.
Caso d'uso: Adatto per sviluppatori AI che necessitano di un accesso rapido alle capacità di AI generativa senza un'osservabilità approfondita o una gestione complessa del deployment.
Cos'è un provider AI?
Un provider AI è un'azienda di intelligenza artificiale che fornisce l'infrastruttura, i modelli e i servizi necessari ad altri per sviluppare ed eseguire soluzioni basate sull'AI.
I provider AI sono fondamentali perché:
- Abbassano le barriere all'adozione dell'AI, specialmente per le aziende senza una profonda competenza interna.
- Forniscono scalabilità gestendo processi complessi come l'autoscaling e il training distribuito.
- Offrono efficienza dei costi con infrastruttura on-demand invece di investimenti iniziali in hardware AI.
- Garantiscono pratiche di AI responsabile attraverso funzionalità di governance, tracciabilità e conformità.
Tipi di provider AI
I provider AI possono essere raggruppati in tre categorie principali:
- Provider di infrastruttura AI si concentrano su hardware AI specializzato, inclusi processori personalizzati e chip ad alte prestazioni, per il training e l'inference.
- Piattaforme di hosting di modelli forniscono accesso a modelli di AI generativa tramite API, facilitando l'integrazione dell'AI nelle applicazioni. Spesso offrono funzionalità come autoscaling, monitoraggio della latenza e fine-tuning.
- Piattaforme di dati e machine learning enfatizzano l'integrazione end-to-end di analisi dei dati, training dei modelli e governance, con un focus sull'AI responsabile.
Aggiungi come fonte preferitaCaratteristiche principali dei provider AI
Tra le categorie, la maggior parte dei provider AI condivide diverse caratteristiche fondamentali che modellano il modo in cui forniscono valore e consentono alle organizzazioni di adottare efficacemente le capacità AI:
Accesso a modelli linguistici di grandi dimensioni e altri modelli di AI generativa
I provider AI offrono accesso diretto a modelli linguistici di grandi dimensioni (LLM) e a una gamma di modelli di AI generativa per attività che includono generazione di testo, elaborazione del parlato e riconoscimento delle immagini. Questi modelli sono generalmente offerti tramite API, il che rende più facile per le organizzazioni incorporare soluzioni basate sull'AI nelle applicazioni senza richiedere una vasta competenza nel training dei modelli.
Infrastruttura AI per gestire carichi di lavoro AI impegnativi
I provider forniscono ambienti di calcolo su misura per modelli AI avanzati e carichi di lavoro AI su larga scala. Ciò include la potenza di elaborazione necessaria per il training, il fine-tuning e l'inference, spesso progettati per supportare sia operazioni batch ad alto throughput che attività sensibili alla latenza. Tale infrastruttura consente alle aziende di eseguire processi complessi in modo efficiente e affidabile.
Dashboard di deployment e monitoraggio con metriche di latenza, throughput e costi
Le dashboard sono una caratteristica standard, che fornisce visibilità sulle prestazioni e l'efficienza dei sistemi AI. Le metriche tipiche includono la latenza per richiesta, il throughput complessivo, i tassi di elaborazione dei token e i conteggi degli errori. È inoltre fornita la visibilità dei costi, che va dalla reportistica per richiesta ai riepiloghi aggregati. Questi strumenti supportano una gestione e un'ottimizzazione efficaci delle risorse.
Opzioni per il fine-tuning e la gestione dei modelli
Molte piattaforme includono la capacità di fare fine-tuning dei modelli di AI generativa per casi d'uso specializzati. Ciò consente alle organizzazioni di adattare i modelli alle esigenze specifiche del settore, come la modellazione predittiva nella catena di approvvigionamento o l'AI conversazionale nell'assistenza clienti. Le funzionalità di gestione dei modelli spesso includono il controllo versione, il rollback e la suddivisione del traffico per esperimenti, che aiutano a mantenere l'affidabilità durante l'iterazione su nuovi deployment.
Flessibilità dei prezzi, spesso basata sul pay-per-use o sul consumo di token
Invece di fare affidamento su pesanti investimenti iniziali in hardware AI, i provider utilizzano comunemente prezzi basati sul consumo. Questo può essere strutturato per richiesta, per token o per tempo di calcolo. La flessibilità dei prezzi abbassa la barriera all'ingresso per le organizzazioni che sperimentano l'adozione dell'AI, consentendo al contempo alle aziende di allineare la spesa alle esigenze del carico di lavoro e ottimizzare sia i costi che le prestazioni.
Cosa sono i gateway AI?
Un gateway AI è una piattaforma middleware che gestisce l'integrazione, il routing e la governance di modelli e servizi AI all'interno degli ambienti aziendali. Invece di fornire i modelli stessi, i gateway AI fungono da punto di ingresso unificato tra le applicazioni e più strumenti AI, inclusi modelli linguistici di grandi dimensioni, sistemi di riconoscimento delle immagini e altri servizi di AI generativa.
Gestiscono funzioni come la standardizzazione delle API, l'orchestrazione dei modelli, il monitoraggio, l'applicazione della sicurezza e il tracciamento dei costi, consentendo alle organizzazioni di controllare come i carichi di lavoro AI vengono accessi e utilizzati tra diversi provider.
Differenze chiave tra gateway AI e provider AI
Funzione
- I provider AI forniscono infrastruttura AI, modelli AI e la potenza di calcolo necessaria per eseguirli.
- I gateway AI gestiscono e orchestrano le interazioni con quei modelli, offrendo coerenza e governance.
Posizione nello stack
- I provider AI operano a livello di infrastruttura e modello, fornendo le effettive capacità AI.
- I gateway AI si posizionano sopra i provider, collegando le applicazioni a uno o più modelli attraverso un unico livello di controllo.
Ambito di responsabilità
- I provider AI si concentrano su training, fine-tuning, hosting e serving dei modelli.
- I gateway AI si concentrano sull'unificazione delle API, il routing dei carichi di lavoro, l'osservabilità e l'applicazione delle policy tra i modelli.
Governance e sicurezza
- I provider AI implementano la governance per i propri modelli, come il controllo versione e il monitoraggio dei costi.
- I gateway AI forniscono una governance centralizzata, consentendo conformità, controllo degli accessi e protezione dei dati tra più modelli e fornitori.
Approccio al deployment
- I provider AI offrono varie scelte infrastrutturali, incluse API cloud, cluster dedicati e hardware on-premises.
- I gateway AI forniscono modelli di deployment (globali, multicloud, sidecar o micro-gateway) che ottimizzano il routing del traffico tra applicazioni e modelli.
Metodologia del benchmark
In questo benchmark, GPT-OSS-120B, il modello open-source più utilizzato sulla piattaforma OpenRouter, è stato analizzato e selezionato. Prima di procedere con il benchmark, sono state stabilite le prestazioni di base del modello GPT-OSS-120B. Il modello è stato testato in un ambiente self-hosted su un'istanza RunPod H200 GPU e ha raggiunto il 98% di accuratezza sul dataset di 108 domande utilizzato nel benchmark (35 domande basate su articoli + 73 problemi matematici).
Prima di avviare il benchmark, sono stati analizzati i dati sulle quote di mercato su OpenRouter per identificare i primi sei provider AI con la quota più alta, e solo questi provider sono stati utilizzati nel test. Tutte le richieste API sono state inviate attraverso lo stesso endpoint OpenRouter API per garantire coerenza nelle condizioni di test.
Dataset e processo di test
Il dataset del benchmark consiste in un totale di 108 domande. Di queste, 35 sono domande di conoscenza del mondo reale derivate da articoli di CNN News e abbinate a verità di riferimento verificate. Lo scopo di questa sezione è misurare se il modello richiama accuratamente informazioni numeriche come percentuali, date e quantità, e valutare la sua tendenza all'allucinazione. Le restanti 73 domande consistono in problemi di ragionamento matematico e testano la coerenza numerica, l'inferenza logica e l'accuratezza computazionale del modello.
Le 108 domande utilizzate nel processo di test sono domande a cui il modello risponde costantemente in modo corretto. Lo scopo di questo test è osservare il degrado delle prestazioni e della qualità del modello in momenti specifici della giornata o durante i cambiamenti nel carico del sistema.
Il processo di test è condotto come segue:
- Le 108 domande vengono inviate individualmente a intervalli di 5 minuti, e questo processo continua ininterrottamente.
- Le risposte Vero/Falso ottenute da ciascuna domanda vengono utilizzate nei calcoli di accuratezza.
- Contemporaneamente, a ogni invio, una domanda di riferimento fissa viene inviata anche a tutti i provider. Le metriche misurate da questa domanda di riferimento sono:
- Latenza del primo token (FTL): Il tempo dall'invio della richiesta fino a quando il modello produce il primo token.
- Latenza end-to-end (latenza E2E): Il tempo impiegato dal modello per generare completamente la risposta.
Le richieste vengono inviate a tutti i provider simultaneamente per lo stesso modello e attraverso lo stesso endpoint API. Il sistema di benchmark opera ciclicamente; alla fine di ogni giorno, i valori di accuratezza ottenuti dalle 108 domande e le medie giornaliere dei valori di latenza FTL/E2E misurati dalla domanda di riferimento fissa vengono riflessi nei grafici.
Dettagli del test di base self-hosted
Il test delle prestazioni di base è stato condotto eseguendo il modello openai/gpt-oss-120b in un ambiente self-hosted su un'istanza RunPod H200 GPU. L'ambiente di test è stato costruito utilizzando il template RunPod PyTorch, con il motore di inference vLLM (versione 0.10.2) installato come libreria di serving principale. Un componente critico dello stack software era l'SDK openai-harmony, che è obbligatorio per codificare correttamente i prompt e decodificare le risposte per la serie di modelli GPT-OSS. Il motore vLLM è stato configurato con gpu_memory_utilization=0.85 e max_model_len=4096 per adattarsi alla quantizzazione MXFP4 del modello e ai requisiti di contesto. Per ottimizzare le prestazioni, è stata installata anche la libreria flashinfer, che fornisce un'accelerazione significativa per l'inference su hardware H200.
Il benchmark è stato eseguito utilizzando lo script test_baseline_harmony_correct.py, che elabora un dataset consolidato di 108 domande (35 domande basate su articoli e 73 problemi matematici). Per ogni domanda, un prompt è stato costruito programmaticamente utilizzando l'SDK openai-harmony. Questo ha comportato la creazione di un oggetto Conversation con messaggi distinti Role.SYSTEM, Role.DEVELOPER e Role.USER; il DeveloperContent includeva specificamente l'istruzione "Reasoning: high" per ottenere risposte dettagliate. Questo oggetto è stato renderizzato in ID token utilizzando la codifica HarmonyEncodingName.HARMONY_GPT_OSS. L'inference è stata condotta con parametri di campionamento deterministici (temperature=0.0) e max_tokens=2048 per catturare il ragionamento completo. I stop_token_ids sono stati forniti direttamente dal metodo stop_tokens_for_assistant_actions() della codifica harmony. Infine, i token di output del modello sono stati analizzati dall'SDK harmony per estrarre la risposta strutturata, che è stata poi normalizzata e validata rispetto alla verità di riferimento per calcolare l'accuratezza.
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{ermut2026,
author = {Ermut, Sıla and Şipi, Nazlı},
title = {{I 9 migliori provider AI a confronto}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/ai-providers}},
note = {AIMultiple. Consultato il 18 Maggio 2026}
}
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.