I 9 migliori provider di IA a confronto

L'ecosistema dell'infrastruttura IA sta crescendo rapidamente, con provider che offrono approcci diversi per creare, ospitare e accelerare i model. Sebbene mirino tutti ad alimentare le applicazioni di IA, ciascuno si concentra su un livello diverso dello stack.

Abbiamo sottoposto a benchmark i provider più utilizzati su OpenRouter: Cerebras, DeepInfra, Fireworks AI, Groq, Nebius e SambaNova, utilizzando il model GPT-OSS-120B. Abbiamo valutato ciascun provider usando lo stesso dataset di 108 domande, composto da 35 domande di conoscenza del mondo reale e 73 problemi di ragionamento matematico.

Benchmark di accuratezza dei provider di IA

Inviamo 108 domande (35 domande di conoscenza basate su articoli + 73 problemi di matematica) a ciascun provider ogni 5 minuti durante tutto il giorno e calcoliamo le medie giornaliere di accuratezza. Insieme a queste domande, inviamo ogni volta una domanda di riferimento specifica per misurare le metriche di latenza FTL ed E2E.

Abbiamo testato GPT-OSS-120B su un'istanza RunPod H200 GPU e ha raggiunto un'accuratezza del 98% sul dataset usato nel nostro benchmark. Leggi la nostra metodologia di benchmark.

Benchmark di latenza dei provider di IA

Nei giorni in cui la latenza è aumentata per Fireworks, si è verificato un tempo di inattività di 1 minuto, ma nel corso della giornata ha risposto alla maggior parte delle domande in circa 10 minuti ciascuna per motivi sconosciuti.

Confronto tra latenza e costi

Abbiamo individuato i model più utilizzati che sono anche quelli offerti più comunemente dai provider di IA; quindi abbiamo raccolto i prezzi combinati dei provider per 1M di token di input/output e le relative metriche di latenza del primo token.

Provider di IA: confronto dettagliato

Integrazione della pipeline di dati e ML

CoreWeave Forge

CoreWeave Forge, in precedenza Weights & Biases (W&B), combina monitoraggio degli esperimenti, valutazione dei model e osservabilità delle applicazioni con infrastruttura gestita di addestramento e inference. W&B è nato come sistema di registrazione per i flussi di lavoro ML. CoreWeave ha acquisito W&B e ha portato i suoi prodotti in Forge, la piattaforma di sviluppo IA di CoreWeave.

Funzionalità

• Tiene traccia di esperimenti, iperparametri, metriche, dataset e artefatti per supportare riproducibilità e confronto tra model e infrastruttura.
• Fornisce un registro dei model, CoreWeave Registry, con versionamento, promozione, rollback e tracciabilità che collega i model ai dati e alle esecuzioni di addestramento.
• Offre addestramento e fine-tuning gestiti, inclusa potenza di calcolo GPU serverless per carichi di lavoro di reinforcement learning e IA generativa.
• Supporta l'inference ospitata tramite CoreWeave Serverless Inference (model aperti, fatturati per token) e Dedicated Inference (pesi di model personalizzati su GPU scelte dal cliente).
• Abilita l'osservabilità a livello di richiesta per le applicazioni LLM tramite Weave, catturando prompt, risposte, latenza e punteggi di valutazione.
• Supporta valutazione e benchmarking automatizzati e con intervento umano tra model, prompt e provider.
• Si integra con provider di IA di terze parti, GPU self-hosted e API esterne oltre alla propria infrastruttura.

Limitazioni

Forge copre inference serverless e dedicata, più fine-tuning serverless e reinforcement learning. L'addestramento di model su larga scala o personalizzato richiede altra infrastruttura, come la CoreWeave Cloud Platform, un prodotto CoreWeave separato.

Caso d'uso: Ideale per team di IA che richiedono visibilità end-to-end su sperimentazione, addestramento, valutazione e deploy, in particolare quando confrontano più model o provider e mantengono un'osservabilità di livello produttivo senza vincoli completi al fornitore.

Databricks

Databricks fornisce una piattaforma unificata che combina analisi dei dati, machine learning e gestione dei model.

Funzionalità

• Basato sull'infrastruttura Spark, consente l'integrazione end-to-end di preparazione dei dati, addestramento dei model e inference.
• Utilizza MLflow per il tracciamento dei model, inclusi parametri, metriche e cronologia degli esperimenti.
• Unity Catalog garantisce la tracciabilità dei dati e la governance per le pratiche di IA responsabile.
• Forte nell'elaborazione batch e nel confronto tra model.

Limitazioni

• Non ottimizzato per l'inference in tempo reale. Monitoraggio e metriche sono progettati per job batch, non per la latenza delle singole richieste.
• Più adatto alla gestione di processi complessi tra dati e model, piuttosto che a carichi di lavoro di IA critici in termini di latenza.

Caso d'uso: Efficace per le aziende che devono integrare l'IA nelle pipeline di data science, in particolare per la modellazione predittiva e le applicazioni aziendali in cui governance e tracciabilità sono obbligatorie.

Piattaforme di hosting di model

Baseten

Baseten si posiziona come piattaforma di hosting di model per il deploy e l'esecuzione di model di IA, concentrandosi su affidabilità di produzione e osservabilità dettagliata.

Funzionalità

• Scompone la durata delle chiamate API in caricamento del model, inference e serializzazione della risposta, consentendo agli sviluppatori di individuare le origini della latenza.
• Gli avvii a freddo sono monitorati a livello di replica per misurare l'impatto sulle prestazioni.
• Gli utenti configurano parametri di autoscaling come numero di repliche e soglie di concorrenza. Ciò offre flessibilità ma introduce il rischio di errori di configurazione, con conseguente spreco di costi o maggiore latenza.
• Il sistema fornisce il monitoraggio dei costi per richiesta collegato al tipo e all'utilizzo della GPU, consentendo confronti di prestazioni e costi quando si passa tra hardware come A100 e H100 GPU.
• È disponibile lo streaming dei log in tempo reale, sebbene filtro e ricerca siano limitati.

Limitazioni

• Il monitoraggio è dettagliato a livello di richiesta, ma la ricerca e il filtro dei log sono di base, il che rende più difficile eseguire il debug di carichi di lavoro di grandi dimensioni.
• Un autoscaling configurato in modo errato può influire direttamente su costi e latenza.

Caso d'uso: Baseten è ideale per gli sviluppatori di IA che cercano un'osservabilità trasparente per i model di IA generativa in ambienti di produzione.

Parasail

Parasail offre una rete di inference IA progettata per un utilizzo flessibile delle GPU e per l'ottimizzazione dei costi.

Funzionalità

• Il sistema supporta il passaggio tra tipi di GPU, con allocazione automatica delle risorse in base alle esigenze del carico di lavoro.
• La dashboard evidenzia le metriche di utilizzo aggregate, inclusi uptime e allocazione delle GPU.
• Offre flessibilità di prezzo tramite diverse classi di GPU, consentendo compromessi tra costi e prestazioni.

Limitazioni

• Non offre tracciamento a livello di richiesta. Gli sviluppatori non possono analizzare il costo o le prestazioni delle singole richieste.
• L'osservabilità rimane a livello aggregato, limitando la profondità del debug.

Caso d'uso: Parasail è progettato per organizzazioni che danno priorità a soluzioni di IA flessibili e a basso costo, ma offre meno approfondimenti ai team che richiedono un'osservabilità dettagliata.

DeepInfra

DeepInfra offre hosting serverless GPU in più regioni, consentendo la distribuzione scalabile di model di IA come API.

Funzionalità

• Il supporto multiregione consente l'inference più vicina agli utenti finali, riducendo la latenza.
• Fornisce metriche di latenza e throughput a livello di dashboard.
• Offre prezzi a consumo con report dei costi aggregati.
• Supporta la distribuzione di model di IA generativa open source con semplici API.

Limitazioni

• Non fornisce tracciamento a livello di richiesta, rendendo difficile l'analisi delle cause radice.
• La ripartizione dei costi è aggregata, senza dettagli per singola richiesta o per regione.
• Il versionamento dei model e i meccanismi di rollback non sono automatizzati e richiedono una gestione manuale.

Caso d'uso: Ideale per organizzazioni che distribuiscono carichi di lavoro di IA in più regioni, dove flessibilità dei costi e copertura geografica contano più del debug approfondito.

Together AI

Together AI opera come cloud di accelerazione IA che offre sia hosting di model sia capacità di addestramento.

Funzionalità

• Fornisce metriche sia a livello aggregato sia a livello di richiesta, inclusi istogrammi di latenza e ripartizioni delle chiamate per versione.
• Versionamento e rollback dei model integrati consentono di tornare rapidamente alle versioni precedenti.
• La suddivisione del traffico consente test A/B tra versioni del model.
• Forte supporto SDK con librerie client multilingua.
• Le integrazioni CI/CD rendono le pipeline di deploy più mature rispetto ad altre piattaforme di hosting.

Limitazioni

• Questa soluzione offre maggiore maturità operativa, ma a costo di una complessità di sistema più elevata rispetto alle piattaforme di hosting più leggere.

Caso d'uso: Together AI è adatto ad aziende di IA e società di servizi professionali che necessitano di controllo versione affidabile, monitoraggio avanzato e integrazione di strumenti di IA generativa in flussi di lavoro strutturati.

Infrastruttura specializzata / ottimizzata per l'hardware

Cerebras

Cerebras si concentra sull'infrastruttura IA ottimizzata per l'hardware, costruita attorno al suo motore wafer-scale (WSE).

Funzionalità

• Il WSE integra milioni di unità di elaborazione su un singolo chip, fornendo un throughput estremamente elevato per i carichi di lavoro di IA.
• Le dashboard espongono metriche standard come token al secondo e throughput complessivo.
• Adatto per training e inference su model di IA avanzati su larga scala.

Limitazioni

• Il deploy non è immediato; richiede una preparazione dell'infrastruttura.
• I dettagli interni dell'hardware, come scheduling e utilizzo della memoria, sono astratti rispetto agli utenti.
• Supporto limitato per l'introduzione di model personalizzati arbitrari.

Caso d'uso: Efficace per attività di machine learning su larga scala e ad alta produttività in laboratori di IA, industria della difesa o agenzie governative, dove la produttività conta più della flessibilità.

Gruve IA Inference Infrastructure Fabric

Gruve fornisce un'infrastruttura di inference IA distribuita progettata per prestazioni prevedibili, minore latenza e scalabilità della capacità più rapida negli ambienti di produzione. Il suo posizionamento è più vicino al fabric infrastrutturale che all'hosting di model, con enfasi su accesso energetico, sedi distribuite e ottimizzazione full-stack.

Funzionalità

• Supporta capacità di inference scalabile tramite infrastruttura distribuita vicino alle città di livello 1 e livello 2.
• Utilizza energia incagliata e sottoutilizzata per ridurre e stabilizzare i costi dell'infrastruttura di inference.
• Distribuisce l'inference più vicino a utenti, applicazioni e dati per ridurre la latenza di rete.
• Offre cluster infrastrutturali ad alta densità, inclusi armadi raffreddati a liquido e siti multi-megawatt.
• Fornisce un'infrastruttura nativa per l'IA progettata per supportare requisiti variabili di model, serving e carichi di lavoro degli agenti.
• Combina infrastruttura, data foundation e capacità degli agenti IA in uno stack più ampio di esecuzione dell'IA aziendale.
• Include funzionalità di affidabilità aziendale come operatività 24/7, sicurezza integrata, governance e controllo operativo.

Limitazioni

Potrebbe essere più adatto a organizzazioni che necessitano di infrastruttura di inference dedicata piuttosto che a team che cercano una piattaforma leggera di hosting di model basata su API.

Caso d'uso: Ideale per aziende e società di IA che eseguono carichi di lavoro di inference su scala di produzione, dove efficienza dei costi, disponibilità di capacità, bassa latenza e affidabilità dell'infrastruttura sono priorità.

SambaNova

SambaNova realizza hardware per IA e soluzioni software basate sulla sua architettura dataflow, ottimizzata a livello di grafo computazionale.

Funzionalità

• Fornisce piattaforme come SambaCloud (servizio cloud), SambaStack (on-premise) e SambaManaged (servizio gestito).
• Ottimizzato per inference e addestramento di model di IA generativa.
• Metriche standard della dashboard per latenza a livello di token e throughput.

Limitazioni

• Il deploy richiede compatibilità del model con la sua architettura, richiedendo ulteriore ottimizzazione.
• Le metriche prestazionali interne, come la larghezza di banda della memoria, non sono esposte agli utenti.
• I rollout non sono immediati; sono necessarie fasi di implementazione.

Caso d'uso: Adatto ad aziende che necessitano di soluzioni basate sull'IA che combinano hardware e software, specialmente nei settori che richiedono un'infrastruttura IT controllata.

Groq

Groq offre una piattaforma di inference IA basata sulle sue unità di elaborazione del linguaggio (LPU).

Funzionalità

• Ottimizzato per la generazione sequenziale di token con risposte in streaming a bassa latenza.
• Le dashboard espongono conteggio dei token, latenza e tassi di errore.
• I costi sono monitorati a livello di token.

Limitazioni

• Non supporta il deploy di model personalizzati. Sono disponibili i model forniti da Groq.
• Sono disponibili strumenti di debug minimi; se si verificano problemi di prestazioni, è necessario aprire un ticket di supporto.
• Il funzionamento interno delle LPU rimane opaco.

Caso d'uso: Ideale per applicazioni in cui risposte a latenza ultra-bassa per i large language model sono critiche, come l'IA conversazionale o gli algoritmi decisionali.

Antimatter

Antimatter fornisce un'infrastruttura IA verticalmente integrata che combina asset energetici, data center modulari e software cloud distribuito.

Funzionalità

• Distribuisce capacità di calcolo in siti in cui esiste energia rinnovabile, sottoutilizzata o incagliata.
• Utilizza unità Policloud modulari per rendere disponibile calcolo IA ad alta densità più rapidamente rispetto alle costruzioni di data center hyperscale tradizionali.
• Collega i siti distribuiti in un unico tessuto operativo tramite il software Hivenet.
• Fornisce servizi cloud come compute, storage e trasferimento file tramite API.
• Supporta l'orchestrazione dei carichi di lavoro tra i siti in base a domanda, capacità, prezzi e vincoli locali.
• Separa l'infrastruttura fisica dai servizi rivolti al cliente, consentendo a nuovi siti e servizi di scalare in modo indipendente.
• Utilizza orchestrazione basata su Kubernetes, macchine virtuali, supporto bare metal, storage distribuito, rete crittografata, passthrough delle GPU e osservabilità centralizzata.

Limitazioni

Il suo model potrebbe essere più rilevante per organizzazioni che necessitano di infrastruttura IA distribuita o sovrana, piuttosto che per team che cercano una semplice API serverless per model.

Caso d'uso: Ideale per acquirenti aziendali di infrastruttura IA che necessitano di capacità di inference scalabile vicino a fonti energetiche, utenti e giurisdizioni regolamentate, in particolare dove prevedibilità dei costi, sovranità e velocità di deploy contano.

Hosting basato su API

Fireworks AI

Fireworks AI fornisce un servizio di hosting leggero basato su API per model di IA.

Funzionalità

• Deploy rapido dei model con endpoint API immediati.
• Supporta il fine-tuning dei model di IA generativa.
• Le dashboard forniscono metriche come latenza delle chiamate, utilizzo dei token, tasso di errore e numero di richieste.

Limitazioni

• Il tracciamento a livello di richiesta è assente, limitando il debug dettagliato.
• I dati sui costi sono aggregati, senza visibilità per singola richiesta.
• Il rollback è manuale; per tornare alle versioni precedenti è necessario eseguire nuovamente il deploy.

Caso d'uso: Adatto a sviluppatori di IA che necessitano di accesso rapido alle funzionalità di IA generativa senza osservabilità approfondita o gestione complessa del deploy.

Che cos'è un provider di IA?

Un provider di IA è un'azienda di intelligenza artificiale che fornisce l'infrastruttura, i model e i servizi necessari ad altri per sviluppare ed eseguire soluzioni basate sull'IA.

I provider di IA sono fondamentali perché:

• Riducono le barriere all'adozione dell'IA, soprattutto per le aziende senza competenze interne approfondite.
• Forniscono scalabilità gestendo processi complessi come autoscaling e training distribuito.
• Offrono efficienza dei costi con infrastruttura on-demand invece di investimenti iniziali in hardware per IA.
• Garantiscono pratiche di IA responsabile tramite governance, tracciabilità e funzionalità di conformità.

Tipi di provider di IA

I provider di IA possono essere raggruppati in tre categorie principali:

• Provider di infrastruttura IA si concentrano su hardware IA specializzato, inclusi processori personalizzati e chip ad alte prestazioni, per training e inference.
• Piattaforme di hosting di model forniscono accesso a model di IA generativa tramite API, facilitando l'integrazione dell'IA nelle applicazioni. Spesso offrono funzionalità come autoscaling, monitoraggio della latenza e fine-tuning.
• Piattaforme di dati e machine learning pongono l'accento sull'integrazione end-to-end di analisi dei dati, addestramento dei model e governance, con un focus sull'IA responsabile.

Caratteristiche principali dei provider di IA

Tra le categorie, la maggior parte dei provider di IA condivide diverse caratteristiche fondamentali che determinano il modo in cui offrono valore e consentono alle organizzazioni di adottare efficacemente le funzionalità di IA:

Accesso ai large language model e ad altri model di IA generativa

I provider di IA offrono accesso diretto a large language model (LLM) e a una gamma di model di IA generativa per attività come generazione di testo, elaborazione del parlato e riconoscimento delle immagini. Questi model sono in genere offerti tramite API, il che facilita l'integrazione di soluzioni basate sull'IA nelle applicazioni senza richiedere una vasta esperienza nell'addestramento dei model.

Infrastruttura IA per gestire carichi di lavoro IA impegnativi

I provider offrono ambienti di calcolo progettati su misura per model di IA avanzati e carichi di lavoro IA su larga scala. Ciò include la potenza di elaborazione necessaria per addestramento, fine-tuning e inference, spesso progettata per supportare sia operazioni batch ad alta produttività sia attività sensibili alla latenza. Tale infrastruttura consente alle aziende di eseguire processi complessi in modo efficiente e affidabile.

Dashboard di deploy e monitoraggio con metriche di latenza, throughput e costi

Le dashboard sono una funzionalità standard e offrono visibilità su prestazioni ed efficienza dei sistemi di IA. Le metriche tipiche includono latenza per richiesta, throughput complessivo, tassi di elaborazione dei token e conteggio degli errori. Viene inoltre fornita la visibilità dei costi, che va dal reporting per singola richiesta ai riepiloghi aggregati. Questi strumenti supportano una gestione e un'ottimizzazione efficaci delle risorse.

Opzioni per fine-tuning e gestione dei model

Molte piattaforme includono la possibilità di eseguire il fine-tuning dei model di IA generativa per casi d'uso specializzati. Ciò consente alle organizzazioni di adattare i model a esigenze specifiche del settore, come la modellazione predittiva nella supply chain o l'IA conversazionale nell'assistenza clienti. Le funzionalità di gestione dei model spesso includono controllo delle versioni, rollback e suddivisione del traffico per esperimenti, che aiutano a mantenere l'affidabilità durante l'iterazione dei nuovi deploy.

Flessibilità dei prezzi, spesso basata sul consumo a pagamento o sui token

Invece di gravare su pesanti investimenti iniziali in hardware per IA, i provider utilizzano comunemente prezzi basati sul consumo. Questo può essere strutturato per richiesta, per token o per tempo di calcolo. La flessibilità dei prezzi riduce la barriera all'ingresso per le organizzazioni che sperimentano l'adozione dell'IA, consentendo al contempo alle aziende di allineare la spesa alla domanda dei carichi di lavoro e di ottimizzare sia i costi sia le prestazioni.

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

Che cosa sono i gateway IA?

Un gateway IA è una piattaforma middleware che gestisce integrazione, routing e governance di model e servizi di IA all'interno degli ambienti aziendali. Invece di fornire essi stessi i model, i gateway IA fungono da punto di ingresso unificato tra le applicazioni e più strumenti di IA, inclusi large language model, sistemi di riconoscimento delle immagini e altri servizi di IA generativa.

Gestiscono funzioni come standardizzazione delle API, orchestrazione dei model, monitoraggio, applicazione della sicurezza e tracciamento dei costi, consentendo alle organizzazioni di controllare il modo in cui i carichi di lavoro di IA vengono acceduti e utilizzati tra diversi provider.

Differenze chiave tra gateway IA e provider di IA

Funzione

• I provider di IA forniscono infrastruttura IA, model di IA e la potenza di calcolo necessaria per eseguirli.
• I gateway IA gestiscono e orchestrano le interazioni con tali model, offrendo coerenza e governance.

Posizione nello stack

• I provider di IA operano a livello di infrastruttura e model, fornendo le effettive capacità di IA.
• I gateway IA si collocano sopra i provider, collegando le applicazioni a uno o più model tramite un unico livello di controllo.

Ambito di responsabilità

• I provider di IA si concentrano su training, fine-tuning, hosting e serving dei model.
• I gateway IA si concentrano su unificazione delle API, routing dei carichi di lavoro, osservabilità e applicazione delle policy tra i model.

Governance e sicurezza

• I provider di IA implementano la governance per i propri model, come controllo delle versioni e monitoraggio dei costi.
• I gateway IA forniscono una governance centralizzata, consentendo conformità, controllo degli accessi e protezione dei dati tra più model e fornitori.

Approccio al deploy

• I provider di IA offrono diverse scelte infrastrutturali, tra cui API cloud, cluster dedicati e hardware on-premises.
• I gateway IA forniscono model di deploy (globale, multicloud, sidecar o micro-gateway) che ottimizzano il routing del traffico tra applicazioni e model.

Metodologia del benchmark

In questo benchmark, GPT-OSS-120B, il model open source più utilizzato sulla piattaforma OpenRouter, è stato analizzato e selezionato. Prima di procedere con il benchmark, è stata stabilita la prestazione di base del model GPT-OSS-120B. Il model è stato testato in un ambiente self-hosted su un'istanza RunPod H200 GPU e ha raggiunto un'accuratezza del 98% sul dataset di 108 domande utilizzato nel benchmark (35 domande basate su articoli + 73 problemi di matematica).

Prima di avviare il benchmark, sono stati analizzati i dati sulle quote di mercato su OpenRouter per identificare i sei principali provider di IA con la quota più elevata, e questi provider sono stati utilizzati nel test. Tutte le richieste API sono state inviate attraverso lo stesso endpoint OpenRouter API per garantire coerenza nelle condizioni di test.

Dataset e processo di test

Il dataset del benchmark è composto da un totale di 108 domande. Di queste, 35 sono domande di conoscenza del mondo reale derivate da articoli di CNN News e abbinate a una verità di riferimento verificata. Lo scopo di questa sezione è misurare se il model ricorda accuratamente informazioni numeriche come percentuali, date e quantità, e valutare la sua tendenza alle allucinazioni. Le restanti 73 domande consistono in problemi di ragionamento matematico e testano la coerenza numerica, l'inference logica e l'accuratezza computazionale del model.

Le 108 domande utilizzate nel processo di test sono domande a cui il model risponde costantemente in modo corretto. Lo scopo di questo test è osservare il degrado delle prestazioni e della qualità del model in momenti specifici della giornata o durante i cambiamenti del carico di sistema.

Il processo di test viene condotto come segue:

• Le 108 domande vengono inviate singolarmente a intervalli di 5 minuti e questo processo continua in modo continuativo.
• Le risposte Vero/Falso ottenute da ciascuna domanda vengono utilizzate nei calcoli di accuratezza.
• Contemporaneamente, a ogni invio, una domanda di riferimento fissa viene inviata anche a tutti i provider. Le metriche misurate da questa domanda di riferimento sono:
  • First Token Latency (FTL): il tempo che intercorre tra l'invio della richiesta e la produzione del primo token da parte del model.
  • End-to-End Latency (latenza E2E): il tempo impiegato dal model per generare completamente la risposta.

Le richieste vengono inviate a tutti i provider simultaneamente per lo stesso model e tramite lo stesso endpoint API. Il sistema di benchmark opera in modo ciclico; alla fine di ogni giorno, i valori di accuratezza ottenuti dalle 108 domande e le medie giornaliere dei valori di latenza FTL/E2E misurati dalla domanda di riferimento fissa vengono riflessi nei grafici.

Dettagli del test di baseline self-hosted

Il test delle prestazioni di base è stato condotto eseguendo il model openai/gpt-oss-120b in un ambiente self-hosted su un'istanza RunPod H200 GPU. L'ambiente di test è stato realizzato utilizzando il template RunPod PyTorch, con il motore di inference vLLM (versione 0.10.2) installato come libreria di serving principale. Un componente critico dello stack software era l'SDK openai-harmony, obbligatorio per codificare correttamente i prompt e decodificare le risposte per la serie di model GPT-OSS. Il motore vLLM è stato configurato con gpu_memory_utilization=0.85 e max_model_len=4096 per soddisfare i requisiti di quantizzazione MXFP4 e di contesto del model. Per ottimizzare le prestazioni, è stata installata anche la libreria flashinfer, che fornisce un significativo aumento di velocità per l'inference su hardware H200.

Il benchmark è stato eseguito utilizzando lo script test_baseline_harmony_correct.py, che elabora un dataset consolidato di 108 domande (35 domande basate su articoli e 73 problemi di matematica). Per ogni domanda, un prompt è stato costruito a livello di codice utilizzando l'SDK openai-harmony. Questo ha comportato la creazione di un oggetto Conversation con messaggi distinti Role.SYSTEM, Role.DEVELOPER e Role.USER; il DeveloperContent includeva specificamente l'istruzione "Reasoning: high" per ottenere risposte dettagliate. Questo oggetto è stato trasformato in token ID utilizzando la codifica HarmonyEncodingName.HARMONY_GPT_OSS. L'inference è stata condotta con parametri di campionamento deterministici (temperature=0.0) e max_tokens=2048 per catturare l'intero ragionamento. Gli stop_token_ids sono stati forniti direttamente dal metodo stop_tokens_for_assistant_actions() della codifica harmony. Infine, i token di output del model sono stati analizzati dall'SDK harmony per extract la risposta strutturata, che è stata poi normalizzata e validata rispetto alla verità di riferimento per calcolare l'accuratezza.

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{ermut2026,
  author = {Ermut, Sıla and Şipi, Nazlı},
  title  = {{I 9 migliori provider di IA a confronto}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/ai-providers}},
  note   = {AIMultiple. Consultato il 18 maggio 2026}
}

Registro delle modifiche

4 aggiornamenti

Tutte4Generale3Metodologia1

20262025

1. 18 mag

   Aggiunti Gruve AI e Antimatter come sezioni complete di fornitori nel confronto.

Sıla Ermut

Analista di settore

Segui

Sıla Ermut è un'analista di settore presso AIMultiple e si occupa di modelli di IA, infrastrutture di IA, governance dell'IA e applicazioni aziendali dell'IA. La sua ricerca si concentra principalmente sull'uso dell'IA nel marketing, nella sanità, nelle catene di approvvigionamento e nella sostenibilità.
In precedenza ha lavorato come reclutatrice in società di project management e consulenza. Sıla ha conseguito un Master of Science in Psicologia Sociale e un Bachelor of Arts in Relazioni Internazionali.

Visualizza il profilo completo

Ricercato da

Nazlı Şipi

Ricercatrice IA

Segui

Nazlı è un'analista di dati presso AIMultiple. Ha precedente esperienza nell'analisi dei dati in diversi settori, dove ha lavorato per trasformare dataset complessi in informazioni operative.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento