Top 7 des fournisseurs d'IA benchmarkés

L'écosystème d'infrastructure IA se développe rapidement, les fournisseurs offrant diverses approches pour créer, héberger et accélérer des models. Bien qu'ils visent tous à alimenter des applications d'IA, chacun se concentre sur une couche différente de la stack.

Nous avons benchmarké les fournisseurs les plus utilisés sur OpenRouter : CoreWeave Forge, anciennement Weights & Biases (W&B), Cerebras, DeepInfra, Fireworks AI, Groq, Nebius et SambaNova, en utilisant le model GPT-OSS-120B. Nous avons évalué chaque fournisseur en utilisant le même dataset de 108 questions, comprenant 35 questions de connaissances concrètes et 73 problèmes de raisonnement mathématique.

Benchmark de précision des fournisseurs d'IA

Nous envoyons 108 questions (35 questions de connaissances basées sur des articles + 73 problèmes mathématiques) à chaque fournisseur toutes les 5 minutes tout au long de la journée et calculons les moyennes de précision quotidiennes. Parallèlement à ces questions, nous envoyons à chaque fois une question de référence spécifique pour mesurer les métriques de latence FTL et E2E.

Nous avons testé GPT-OSS-120B sur une instance RunPod H200 GPU, et il a atteint une précision de 98 % sur le dataset utilisé dans notre benchmark. Lisez notre méthodologie de benchmark.

Benchmark de latence des fournisseurs d'IA

Les jours où la latence a augmenté pour Fireworks, il y a eu une interruption d'une minute, mais tout au long de la journée, il a répondu à la plupart des questions en environ 10 minutes chacune, pour des raisons inconnues.

Comparaison de la latence et des coûts

Nous avons identifié les models les plus utilisés qui sont également les plus couramment proposés par les fournisseurs d'IA, puis nous avons collecté les prix mixtes des fournisseurs par 1M de tokens d'entrée/sortie ainsi que leurs métriques de latence au premier token.

Fournisseurs d'IA : comparaison détaillée

Intégration des pipelines de données et de ML

CoreWeave Forge

CoreWeave Forge combine le suivi des expériences, l'évaluation des models et l'observabilité des applications avec une infrastructure gérée d'entraînement et d'inference. W&B a débuté comme un système d'enregistrement pour les workflows de ML. CoreWeave a acquis W&B et a transféré ses produits dans Forge, la plateforme de développement d'IA de CoreWeave.

Capacités

• Suit les expériences, les hyperparamètres, les métriques, les datasets et les artefacts pour favoriser la reproductibilité et la comparaison entre les models et l'infrastructure.
• Fournit un registre de models, CoreWeave Registry, avec gestion des versions, promotion, rollback et traçabilité reliant les models aux données et aux exécutions d'entraînement.
• Propose un entraînement et un fine-tuning gérés, y compris du calcul GPU serverless pour l'apprentissage par renforcement et les charges de travail d'IA générative.
• Prend en charge l'inference hébergée via CoreWeave Serverless Inference (models ouverts, facturés par token) et Dedicated Inference (poids de model personnalisés sur des GPUs choisis par le client).
• Permet une observabilité au niveau des requêtes pour les applications LLM via Weave, en capturant les prompts, les réponses, la latence et les scores d'évaluation.
• Prend en charge l'évaluation automatisée et humaine (human-in-the-loop) ainsi que le benchmarking, à travers les models, les prompts et les fournisseurs.
• S'intègre avec des fournisseurs d'IA tiers, des GPUs auto-hébergés et des APIs externes en plus de sa propre infrastructure.

Limites

Forge couvre l'inference serverless et dédiée, ainsi que le fine-tuning serverless et l'apprentissage par renforcement. L'entraînement de models à grande échelle ou personnalisés nécessite une autre infrastructure, comme la CoreWeave Cloud Platform, un produit CoreWeave distinct.

Cas d'usage : Idéal pour les équipes IA qui ont besoin d'une visibilité de bout en bout sur l'expérimentation, l'entraînement, l'évaluation et le déploiement, en particulier lorsqu'elles comparent plusieurs models ou fournisseurs et maintiennent une observabilité de niveau production sans dépendance totale vis-à-vis d'un fournisseur.

Databricks

Databricks fournit une plateforme unifiée combinant analyse de données, machine learning et gestion de models.

Capacités

• Bâti sur l'infrastructure Spark, permettant une intégration de bout en bout de la préparation des données, de l'entraînement des models et de l'inference.
• Utilise MLflow pour le suivi des models, y compris les paramètres, les métriques et l'historique des expériences.
• Unity Catalog assure la traçabilité des données et la gouvernance pour des pratiques d'IA responsables.
• Solide dans le traitement par lots et la comparaison de models.

Limites

• Non optimisé pour l'inference en temps réel. La surveillance et les métriques sont conçues pour les traitements par lots, pas pour la latence par requête.
• Mieux adapté à la gestion de processus complexes impliquant données et models, plutôt qu'aux charges de travail d'IA critiques en matière de latence.

Cas d'usage : Efficace pour les entreprises qui doivent intégrer l'IA dans les pipelines de la science des données, en particulier pour la modélisation prédictive et les applications d'entreprise où la gouvernance et la traçabilité sont requises.

Plateformes d'hébergement de models

Baseten

Baseten se positionne comme une plateforme d'hébergement de models pour le déploiement et l'exécution de models d'IA, en mettant l'accent sur la fiabilité en production et une observabilité détaillée.

Capacités

• Décompose la durée des appels API en chargement de model, inference et sérialisation de la réponse, permettant aux développeurs d'identifier les sources de latence.
• Les démarrages à froid (cold starts) sont suivis au niveau des réplicas pour mesurer l'impact sur les performances.
• Les utilisateurs configurent les paramètres d'autoscaling, comme le nombre de réplicas et les seuils de concurrence. Cela offre de la flexibilité, mais introduit un risque de mauvaise configuration, entraînant des coûts gaspillés ou une latence plus élevée.
• Ce système fournit un suivi des coûts par requête lié au type et à l'utilisation des GPU, permettant des comparaisons de performances et de coûts lors du passage entre des matériels tels que les A100 et les H100 GPUs.
• La diffusion des journaux en temps réel est disponible, bien que le filtrage et la recherche soient limités.

Limites

• La surveillance est détaillée au niveau des requêtes, mais la recherche et le filtrage des journaux sont basiques, ce qui rend le débogage des grandes charges de travail plus difficile.
• Un autoscaling mal configuré peut avoir un impact direct sur les coûts et la latence.

Cas d'usage : Baseten est idéal pour les développeurs IA à la recherche d'une observabilité transparente pour les models d'IA générative en environnement de production.

Parasail

Parasail propose un réseau d'inference IA conçu pour une utilisation flexible des GPU et une optimisation des coûts.

Capacités

• Le système prend en charge le passage entre différents types de GPU, avec une allocation automatique des ressources en fonction des besoins des charges de travail.
• Le tableau de bord met en évidence des métriques d'utilisation agrégées, notamment la disponibilité et l'allocation des GPU.
• Il offre une flexibilité tarifaire grâce à différentes classes de GPU, permettant des compromis entre coût et performance.

Limites

• N'offre pas de traçage au niveau des requêtes. Les développeurs ne peuvent pas analyser le coût ou la performance des requêtes individuelles.
• L'observabilité reste à un niveau agrégé, ce qui limite la profondeur du débogage.

Cas d'usage : Parasail est conçu pour les organisations qui privilégient des solutions d'IA flexibles et peu coûteuses, mais il offre moins de visibilité aux équipes qui ont besoin d'une observabilité détaillée.

DeepInfra

DeepInfra fournit un hébergement serverless GPU dans plusieurs régions, permettant un déploiement évolutif de models d'IA sous forme d'APIs.

Capacités

• La prise en charge multirégionale permet une inference plus proche des utilisateurs finaux, réduisant la latence.
• Fournit des métriques de latence et de débit au niveau du tableau de bord.
• Propose une tarification à l'usage (pay-as-you-go) avec un rapport de coûts agrégé.
• Prend en charge le déploiement de models d'IA générative open source avec de simples APIs.

Limites

• N'offre pas de traçage au niveau des requêtes, ce qui rend difficile l'analyse des causes racines.
• La répartition des coûts est agrégée, sans détail par requête ni par région.
• Le versioning des models et les mécanismes de rollback ne sont pas automatisés, nécessitant une gestion manuelle.

Cas d'usage : Particulièrement adapté aux organisations qui déploient des charges de travail d'IA dans plusieurs régions, où la flexibilité des coûts et la couverture géographique importent plus qu'un débogage approfondi.

Together AI

Together AI opère comme un cloud d'accélération d'IA offrant à la fois des capacités d'hébergement de models et d'entraînement.

Capacités

• Fournit des métriques à la fois au niveau agrégé et au niveau des requêtes, y compris des histogrammes de latence et des ventilations d'appels par version.
• Le versioning des models intégré et le rollback permettent de revenir rapidement aux versions précédentes.
• La répartition du trafic permet des tests A/B entre les versions de model.
• Prise en charge solide des SDK avec des bibliothèques clientes multilingues.
• Les intégrations CI/CD rendent les pipelines de déploiement plus matures que ceux d'autres plateformes d'hébergement.

Limites

• Cette solution offre une plus grande maturité opérationnelle, mais au prix d'une complexité système plus élevée par rapport aux plateformes d'hébergement plus légères.

Cas d'usage : Together AI convient aux entreprises d'IA et aux cabinets de services professionnels qui ont besoin d'un contrôle de versions fiable, d'une surveillance avancée et de l'intégration d'outils d'IA générative dans des workflows structurés.

Infrastructure optimisée pour le matériel / spécialisée

Cerebras

Cerebras se concentre sur une infrastructure d'IA optimisée pour le matériel, construite autour de son moteur wafer-scale (WSE).

Capacités

• Le WSE intègre des millions d'unités de traitement sur une seule puce, offrant un débit extrêmement élevé pour les charges de travail d'IA.
• Les tableaux de bord exposent des métriques standard telles que les tokens par seconde et le débit global.
• Adapté à l'entraînement et à l'inference sur des models d'IA avancés à grande échelle.

Limites

• Le déploiement n'est pas instantané ; il nécessite une préparation de l'infrastructure.
• Les détails internes du matériel, comme la planification et l'utilisation de la mémoire, sont abstraits pour les utilisateurs.
• Prise en charge limitée de l'apport de models personnalisés arbitraires.

Cas d'usage : Efficace pour les tâches de machine learning à grande échelle et à haut débit dans les laboratoires d'IA, l'industrie de la défense ou les agences gouvernementales, où le débit importe plus que la flexibilité.

Gruve IA Inference Infrastructure Fabric

Gruve fournit une infrastructure d'inference IA distribuée conçue pour des performances prévisibles, une latence plus faible et une mise à l'échelle plus rapide des capacités dans les environnements de production. Son positionnement est plus proche d'une trame d'infrastructure (fabric) que de l'hébergement de models, avec l'accent mis sur l'accès à l'énergie, les emplacements distribués et l'optimisation full-stack.

Capacités

• Prend en charge une capacité d'inference évolutive grâce à une infrastructure distribuée à proximité des villes Tier 1 et Tier 2.
• Utilise de l'électricité non exploitée et sous-utilisée pour réduire et stabiliser les coûts de l'infrastructure d'inference.
• Déploie l'inference plus près des utilisateurs, des applications et des données pour réduire la latence du réseau.
• Offre des clusters d'infrastructure à haute densité, notamment des baies refroidies par liquide et des sites de plusieurs mégawatts.
• Fournit une infrastructure native de l'IA conçue pour soutenir l'évolution des exigences en matière de model, de serving et de charges de travail d'agents.
• Combine l'infrastructure, la fondation de données et les capacités d'agents IA dans une stack d'exécution d'IA d'entreprise plus large.
• Inclut des fonctionnalités de fiabilité d'entreprise telles que l'exploitation 24/7, la sécurité intégrée, la gouvernance et le contrôle opérationnel.

Limites

Elle peut être mieux adaptée aux organisations qui ont besoin d'une infrastructure d'inference dédiée qu'aux équipes qui recherchent une plateforme légère d'hébergement de models basée sur des API.

Cas d'usage : Particulièrement adapté aux entreprises et aux sociétés d'IA qui exécutent des charges de travail d'inference à l'échelle de la production, où l'efficacité des coûts, la disponibilité des capacités, la faible latence et la fiabilité de l'infrastructure sont prioritaires.

SambaNova

SambaNova construit des matériels d'IA et des solutions logicielles basés sur son architecture dataflow, optimisée au niveau du graphe de calcul.

Capacités

• Fournit des plateformes telles que SambaCloud (service cloud), SambaStack (sur site) et SambaManaged (service géré).
• Optimisé pour l'inference et l'entraînement de models d'IA générative.
• Métriques standard du tableau de bord pour la latence au niveau du token et le débit.

Limites

• Le déploiement nécessite une compatibilité du model avec son architecture, exigeant une optimisation supplémentaire.
• Les métriques de performance internes, comme la bande passante mémoire, ne sont pas exposées aux utilisateurs.
• Les déploiements ne sont pas immédiats ; des phases de mise en œuvre sont nécessaires.

Cas d'usage : Adapté aux entreprises qui ont besoin de solutions propulsées par l'IA combinant matériel et logiciel, en particulier dans les secteurs exigeant une infrastructure informatique contrôlée.

Groq

Groq propose une plateforme d'inference IA propulsée par ses unités de traitement du langage (LPU).

Capacités

• Optimisé pour la génération séquentielle de tokens avec des réponses en streaming à faible latence.
• Les tableaux de bord exposent le nombre de tokens, la latence et les taux d'erreur.
• Les coûts sont suivis au niveau du token.

Limites

• Ne prend pas en charge le déploiement de models personnalisés. Les models fournis par Groq sont disponibles.
• Des outils de débogage minimaux sont disponibles ; si des problèmes de performance surviennent, l'ouverture d'un ticket de support est requise.
• Les opérations internes des LPU restent opaques.

Cas d'usage : Particulièrement adapté aux applications où les réponses à latence ultra-faible pour les large language models sont critiques, comme l'IA conversationnelle ou les algorithmes de prise de décision.

Antimatter

Antimatter fournit une infrastructure d'IA intégrée verticalement qui combine des actifs énergétiques, des centres de données modulaires et des logiciels cloud distribués.

Capacités

• Déploie du calcul sur des sites où existe une énergie renouvelable, sous-utilisée ou non exploitée.
• Utilise des unités modulaires Policloud pour mettre en service du calcul IA haute densité plus rapidement que les constructions traditionnelles de data centers hyperscale.
• Relie les sites distribués en une seule trame opérationnelle (fabric) grâce au logiciel Hivenet.
• Fournit des services cloud tels que le calcul, le stockage et le transfert de fichiers via des APIs.
• Prend en charge l'orchestration des charges de travail entre les sites en fonction de la demande, de la capacité, des prix et des contraintes locales.
• Sépare l'infrastructure physique des services orientés client, permettant aux nouveaux sites et services d'évoluer indépendamment.
• Utilise une orchestration basée sur Kubernetes, des machines virtuelles, un support bare metal, du stockage distribué, un réseau chiffré, un GPU passthrough et une observabilité centralisée.

Limites

Son model peut être plus pertinent pour les organisations ayant besoin d'une infrastructure d'IA distribuée ou souveraine que pour les équipes recherchant une simple API de model serverless.

Cas d'usage : Particulièrement adapté aux acheteurs d'infrastructure d'IA d'entreprise qui ont besoin d'une capacité d'inference évolutive proche des sources d'énergie, des utilisateurs et des juridictions réglementées, en particulier là où la prévisibilité des coûts, la souveraineté et la rapidité de déploiement comptent.

Hébergement basé sur API

Fireworks AI

Fireworks AI fournit un service d'hébergement léger basé sur API pour les models d'IA.

Capacités

• Déploiement rapide de models avec des endpoints API immédiats.
• Prend en charge le fine-tuning de models d'IA générative.
• Les tableaux de bord fournissent des métriques telles que la latence des appels, l'utilisation des tokens, le taux d'erreur et le nombre de requêtes.

Limites

• Le traçage au niveau des requêtes est absent, ce qui limite le débogage détaillé.
• Les données de coût sont agrégées, sans visibilité par requête.
• Le rollback est manuel ; revenir à des versions antérieures nécessite un redéploiement.

Cas d'usage : Convient aux développeurs d'IA qui ont besoin d'un accès rapide aux capacités d'IA générative sans observabilité approfondie ni gestion de déploiement complexe.

Qu'est-ce qu'un fournisseur d'IA ?

Un fournisseur d'IA est une entreprise d'intelligence artificielle qui fournit l'infrastructure, les models et les services nécessaires pour que d'autres développent et exécutent des solutions propulsées par l'IA.

Les fournisseurs d'IA sont essentiels car ils :

• Réduisent les obstacles à l'adoption de l'IA, en particulier pour les entreprises ne disposant pas d'une expertise interne approfondie.
• Offrent une évolutivité en gérant des processus complexes tels que l'autoscaling et l'entraînement distribué.
• Offrent une efficacité des coûts grâce à une infrastructure à la demande au lieu d'investissements initiaux dans le matériel d'IA.
• Garantissent des pratiques d'IA responsables grâce à des fonctionnalités de gouvernance, de traçabilité et de conformité.

Types de fournisseurs d'IA

Les fournisseurs d'IA peuvent être regroupés en trois grandes catégories :

• Fournisseurs d'infrastructure d'IA se concentrent sur le matériel d'IA spécialisé, notamment les processeurs personnalisés et les puces haute performance, pour l'entraînement et l'inference.
• Plateformes d'hébergement de models donnent accès à des models d'IA générative via des APIs, facilitant l'intégration de l'IA dans les applications. Elles proposent souvent des fonctionnalités telles que l'autoscaling, la surveillance de la latence et le fine-tuning.
• Plateformes de données et de machine learning mettent l'accent sur l'intégration de bout en bout de l'analyse de données, de l'entraînement des models et de la gouvernance, avec un accent sur l'IA responsable.

Caractéristiques clés des fournisseurs d'IA

Dans toutes les catégories, la plupart des fournisseurs d'IA partagent plusieurs caractéristiques fondamentales qui façonnent la manière dont ils créent de la valeur et permettent aux organisations d'adopter efficacement les capacités d'IA :

Accès aux large language models et autres models d'IA générative

Les fournisseurs d'IA offrent un accès direct aux large language models (LLMs) et à une gamme de models d'IA générative pour des tâches telles que la génération de texte, le traitement de la parole et la reconnaissance d'images. Ces models sont généralement proposés via des APIs, ce qui permet aux organisations d'intégrer plus facilement des solutions propulsées par l'IA dans les applications sans nécessiter une expertise approfondie en entraînement de models.

Infrastructure d'IA pour gérer des charges de travail d'IA exigeantes

Les fournisseurs proposent des environnements de calcul adaptés aux models d'IA avancés et aux charges de travail d'IA à grande échelle. Cela inclut la puissance de traitement nécessaire à l'entraînement, au fine-tuning et à l'inference, souvent conçue pour prendre en charge à la fois les opérations par lots à haut débit et les tâches sensibles à la latence. Une telle infrastructure permet aux entreprises d'exécuter des processus complexes de manière efficace et fiable.

Tableaux de bord de déploiement et de surveillance avec des métriques de latence, de débit et de coûts

Les tableaux de bord sont une fonctionnalité standard, offrant une visibilité sur les performances et l'efficacité des systèmes d'IA. Les métriques typiques comprennent la latence par requête, le débit global, les taux de traitement des tokens et le nombre d'erreurs. Une visibilité sur les coûts est également fournie, allant du reporting par requête aux résumés agrégés. Ces outils favorisent une gestion et une optimisation efficaces des ressources.

Options de fine-tuning et de gestion des models

De nombreuses plateformes incluent la possibilité de fine-tuner des models d'IA générative pour des cas d'usage spécialisés. Cela permet aux organisations d'adapter les models aux besoins spécifiques de leur secteur, comme la modélisation prédictive dans la chaîne d'approvisionnement ou l'IA conversationnelle dans le support client. Les fonctionnalités de gestion des models incluent souvent le contrôle de versions, le rollback et la répartition du trafic pour les expériences, ce qui contribue à maintenir la fiabilité lors de l'itération sur de nouveaux déploiements.

Flexibilité tarifaire, souvent basée sur le paiement à l'usage ou la consommation de tokens

Au lieu de dépendre de lourds investissements initiaux dans le matériel d'IA, les fournisseurs utilisent généralement une tarification basée sur la consommation. Celle-ci peut être structurée par requête, par token ou par temps de calcul. Une tarification flexible abaisse les barrières à l'entrée pour les organisations qui expérimentent l'adoption de l'IA, tout en permettant aux entreprises d'aligner leurs dépenses sur les demandes des charges de travail et d'optimiser à la fois les coûts et les performances.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Que sont les passerelles IA ?

Une passerelle IA est une plateforme middleware qui gère l'intégration, le routage et la gouvernance des models et services d'IA au sein des environnements d'entreprise. Au lieu de fournir elles-mêmes les models, les passerelles IA servent de point d'entrée unifié entre les applications et plusieurs outils d'IA, notamment les large language models, les systèmes de reconnaissance d'images et d'autres services d'IA générative.

Elles gèrent des fonctions telles que la standardisation des API, l'orchestration des models, la surveillance, l'application de la sécurité et le suivi des coûts, permettant aux organisations de contrôler la manière dont les charges de travail d'IA sont accessibles et utilisées chez divers fournisseurs.

Principales différences entre les passerelles IA et les fournisseurs d'IA

Fonction

• Les fournisseurs d'IA fournissent l'infrastructure d'IA, les models d'IA et la puissance de calcul nécessaire pour les exécuter.
• Les passerelles IA gèrent et orchestrent les interactions avec ces models, offrant cohérence et gouvernance.

Position dans la stack

• Les fournisseurs d'IA opèrent au niveau de l'infrastructure et du model, fournissant les capacités d'IA réelles.
• Les passerelles IA se placent au-dessus des fournisseurs, reliant les applications à un ou plusieurs models via une couche de contrôle unique.

Périmètre de responsabilité

• Les fournisseurs d'IA se concentrent sur l'entraînement, le fine-tuning, l'hébergement et le serving de models.
• Les passerelles IA se concentrent sur l'unification des API, le routage des charges de travail, l'observabilité et l'application des politiques entre les models.

Gouvernance et sécurité

• Les fournisseurs d'IA mettent en œuvre une gouvernance pour leurs propres models, comme le contrôle de versions et le suivi des coûts.
• Les passerelles IA offrent une gouvernance centralisée, permettant la conformité, le contrôle d'accès et la protection des données sur plusieurs models et fournisseurs.

Approche de déploiement

• Les fournisseurs d'IA proposent divers choix d'infrastructure, notamment des API cloud, des clusters dédiés et du matériel sur site.
• Les passerelles IA fournissent des modèles de déploiement (mondial, multicloud, sidecar ou micro-gateway) qui optimisent le routage du trafic entre les applications et les models.

Méthodologie du benchmark

Dans ce benchmark, GPT-OSS-120B, le model open source le plus utilisé sur la plateforme OpenRouter, a été analysé et sélectionné. Avant de procéder au benchmark, la performance de référence du model GPT-OSS-120B a été établie. Le model a été testé dans un environnement auto-hébergé sur une instance RunPod H200 GPU et a atteint une précision de 98 % sur le dataset de 108 questions utilisé dans le benchmark (35 questions basées sur des articles + 73 problèmes mathématiques).

Avant de lancer le benchmark, les données de part de marché sur OpenRouter ont été analysées pour identifier les sept principaux fournisseurs d'IA ayant la plus grande part, et ces fournisseurs ont été utilisés dans le test. Toutes les requêtes API ont été envoyées via le même endpoint OpenRouter API afin de garantir la cohérence des conditions de test.

Dataset et processus de test

Le dataset du benchmark se compose au total de 108 questions. Parmi ces questions, 35 sont des questions de connaissances réelles issues d'articles de CNN News et appariées à une vérité terrain vérifiée. L'objectif de cette section est de mesurer si le model se souvient avec précision des informations numériques telles que les pourcentages, les dates et les quantités, et d'évaluer sa tendance aux hallucinations. Les 73 questions restantes consistent en des problèmes de raisonnement mathématique et testent la cohérence numérique, l'inference logique et la précision de calcul du model.

Les 108 questions utilisées dans le processus de test sont des questions auxquelles le model répond systématiquement correctement. L'objectif de ce test est d'observer la dégradation des performances et de la qualité du model à des moments précis de la journée ou lors de changements de charge du système.

Le processus de test se déroule comme suit :

• Les 108 questions sont envoyées individuellement à intervalles de 5 minutes, et ce processus se poursuit en continu.
• Les réponses Vrai/Faux obtenues pour chaque question sont utilisées dans les calculs de précision.
• Simultanément, à chaque envoi, une question de référence fixe est également envoyée à tous les fournisseurs. Les métriques mesurées à partir de cette question de référence sont :
  • First Token Latency (FTL) : le temps écoulé entre l'envoi de la requête et la production du premier token par le model.
  • End-to-End Latency (E2E latency) : le temps nécessaire au model pour générer complètement la réponse.

Les requêtes sont envoyées à tous les fournisseurs simultanément pour le même model et via le même endpoint API. Le système de benchmark fonctionne de manière cyclique ; à la fin de chaque journée, les valeurs de précision obtenues à partir des 108 questions et les moyennes quotidiennes des valeurs de latence FTL/E2E mesurées à partir de la question de référence fixe sont reportées dans les graphiques.

Détails du test de référence auto-hébergé

Le test de performance de référence a été réalisé en exécutant le model openai/gpt-oss-120b dans un environnement auto-hébergé sur une instance RunPod H200 GPU. L'environnement de test a été construit en utilisant le template RunPod PyTorch, avec le moteur d'inference vLLM (version 0.10.2) installé comme bibliothèque de serving principale. Un composant critique de la stack logicielle était le SDK openai-harmony, obligatoire pour encoder correctement les prompts et décoder les réponses de la série de models GPT-OSS. Le moteur vLLM a été configuré avec gpu_memory_utilization=0.85 et max_model_len=4096 pour répondre aux exigences de quantification MXFP4 et de contexte du model. Pour optimiser les performances, la bibliothèque flashinfer a également été installée, offrant une accélération significative de l'inference sur le matériel H200.

Le benchmark a été exécuté à l'aide du script test_baseline_harmony_correct.py, qui traite un dataset consolidé de 108 questions (35 questions basées sur des articles et 73 problèmes mathématiques). Pour chaque question, un prompt a été construit de manière programmatique à l'aide du SDK openai-harmony. Cela impliquait de créer un objet Conversation avec des messages distincts Role.SYSTEM, Role.DEVELOPER et Role.USER ; le DeveloperContent incluait spécifiquement l'instruction « Reasoning: high » afin d'obtenir des réponses détaillées. Cet objet a été transformé en IDs de tokens à l'aide de l'encodage HarmonyEncodingName.HARMONY_GPT_OSS. L'inference a été réalisée avec des paramètres d'échantillonnage déterministes (temperature=0.0) et max_tokens=2048 pour capturer l'intégralité du raisonnement. Les stop_token_ids ont été fournis directement par la méthode stop_tokens_for_assistant_actions() de l'encodage harmony. Enfin, les tokens de sortie du model ont été analysés par le SDK harmony pour extract la réponse structurée, qui a ensuite été normalisée et validée par rapport à la vérité terrain pour calculer la précision.

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{ermut2026,
  author = {Ermut, Sıla and Şipi, Nazlı},
  title  = {{Top 7 des fournisseurs d'IA benchmarkés}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/ai-providers}},
  note   = {AIMultiple. Consulté le 14 octobre 2026}
}

Journal des modifications

4 mises à jour

Toutes4Général3Méthodologie1

20262025

1. 18 mai

   Ajout de Gruve AI et Antimatter comme sections complètes de fournisseurs dans la comparaison.

Sıla Ermut

Analyste sectorielle

Suivre

Sıla Ermut est analyste sectorielle chez AIMultiple, couvrant les modèles d’IA, l’infrastructure d’IA, la gouvernance de l’IA et les applications d’IA d’entreprise. Ses recherches portent principalement sur l’utilisation de l’IA dans le marketing, la santé, les chaînes d’approvisionnement et le développement durable.
Elle a précédemment travaillé comme recruteuse dans des cabinets de gestion de projet et de conseil. Sıla est titulaire d’un master en psychologie sociale et d’une licence en relations internationales.

Voir le profil complet

Recherche effectuée par

Nazlı Şipi

Chercheuse en IA

Suivre

Nazlı est analyste de données chez AIMultiple. Elle a une expérience préalable en analyse de données dans divers secteurs, où elle a travaillé à transformer des datasets complexes en informations exploitables.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire