Top 9 fournisseurs d'IA comparés

L'écosystème de l'infrastructure d'IA se développe rapidement, les fournisseurs proposant des approches diverses pour construire, héberger et accélérer les modèles. Bien qu'ils visent tous à alimenter les applications d'IA, chacun se concentre sur une couche différente de la pile.

Nous avons évalué les fournisseurs les plus utilisés sur OpenRouter : Cerebras, DeepInfra, Fireworks AI, Groq, Nebius et SambaNova, en utilisant le modèle GPT-OSS-120B. Nous avons évalué chaque fournisseur en utilisant le même jeu de données de 108 questions, comprenant 35 questions de connaissances réelles et 73 problèmes de raisonnement mathématique.

Évaluation de la précision des fournisseurs d'IA

Nous envoyons 108 questions (35 questions de connaissances basées sur des articles + 73 problèmes mathématiques) à chaque fournisseur toutes les 5 minutes tout au long de la journée et calculons les moyennes de précision quotidiennes. Parallèlement à ces questions, nous envoyons une question de référence spécifique à chaque fois pour mesurer les métriques de latence FTL et E2E.

Pour des raisons inconnues, Fireworks AI n'a pas réussi à produire de réponses finales pour la plupart des questions le 26 octobre, bien qu'il n'y ait pas de limite maximale de token. Bien qu'il y ait eu une courte panne de 1 minute ce jour-là, le problème semblait affecter les réponses tout au long de la journée. Nous avons appris que certains fournisseurs échouent occasionnellement à générer des réponses finales pour des raisons qui restent obscures, comme précédemment documenté. Cette situation semble similaire à des incidents passés.

Nous avons testé GPT-OSS-120B sur une instance RunPod H200 GPU, et il a atteint 98 % de précision sur le jeu de données utilisé dans notre évaluation. Lisez notre méthodologie d'évaluation.

Évaluation de la latence des fournisseurs d'IA

Les jours où la latence augmentait pour Fireworks, il y avait une panne de 1 minute, mais tout au long de la journée, il a répondu à la plupart des questions en environ 10 minutes chacune pour des raisons inconnues.

Comparaison de la latence et des coûts

Nous avons identifié les modèles les plus utilisés qui sont également les plus couramment proposés par les fournisseurs d'IA, puis collecté les prix combinés des fournisseurs par 1M de tokens d'entrée/sortie et leurs métriques de latence du premier token.

Fournisseurs d'IA : Comparaison détaillée

Intégration des pipelines de données et de ML

Weights & Biases

Weights & Biases (W&B) combine le suivi des expériences, l'évaluation des modèles et l'observabilité des applications avec une infrastructure d'entraînement et d'inférence gérée. Initialement positionné comme un système d'enregistrement pour les flux de travail ML, W&B s'est étendu à une offre plus verticalement intégrée suite à son acquisition avec CoreWeave.

Capacités

• Suivi des expériences, hyperparamètres, métriques, jeux de données et artefacts pour soutenir la reproductibilité et la comparaison entre les modèles et l'infrastructure.
• Fournit un registre de modèles avec versioning, promotion, retour arrière et lignage reliant les modèles aux données et aux exécutions d'entraînement.
• Propose un entraînement et un fine-tuning gérés, incluant un calcul GPU sans serveur pour l'apprentissage par renforcement et les charges de travail d'IA générative.
• Prend en charge l'inférence hébergée pour les modèles open-source et personnalisés.
• Permet l'observabilité au niveau de la requête pour les applications LLM via Weave, capturant les prompts, les réponses, la latence et les scores d'évaluation.
• Prend en charge l'évaluation automatisée et humaine en boucle et le benchmarking à travers les modèles, les prompts et les fournisseurs.
• S'intègre avec des fournisseurs d'IA tiers, des GPU auto-hébergés et des API externes en plus de sa propre infrastructure.

Limites

W&B fournit une infrastructure d'IA native limitée via ses offres basées sur CoreWeave. L'inférence hébergée et l'entraînement GPU sans serveur sont pris en charge, mais l'entraînement de modèles à grande échelle ou personnalisés nécessite souvent une infrastructure externe.

Cas d'utilisation : Mieux adapté aux équipes d'IA nécessitant une visibilité de bout en bout sur l'expérimentation, l'entraînement, l'évaluation et le déploiement, en particulier lors de la comparaison de plusieurs modèles ou fournisseurs et du maintien d'une observabilité de niveau production sans verrouillage complet du fournisseur.

Databricks

Databricks fournit une plateforme unifiée combinant l'analyse de données, l'apprentissage automatique et la gestion des modèles.

Capacités

• Bâti sur l'infrastructure Spark, permettant une intégration de bout en bout de la préparation des données, de l'entraînement des modèles et de l'inférence.
• Utilise MLflow pour le suivi des modèles, incluant les paramètres, les métriques et l'historique des expériences.
• Unity Catalog assure la lignée des données et la gouvernance pour les pratiques d'IA responsable.
• Fort dans le traitement par lots et la comparaison de modèles.

Limites

• Non optimisé pour l'inférence en temps réel. La surveillance et les métriques sont conçues pour les travaux par lots, et non pour la latence par requête.
• Mieux adapté à la gestion de processus complexes entre les données et les modèles, plutôt qu'aux charges de travail d'IA critiques en termes de latence.

Cas d'utilisation : Efficace pour les entreprises qui doivent intégrer l'IA dans les pipelines de science des données, en particulier pour la modélisation prédictive et les applications d'entreprise où la gouvernance et la traçabilité sont requises.

Plateformes d'hébergement de modèles

Baseten

Baseten se positionne comme une plateforme d'hébergement de modèles pour déployer et exécuter des modèles d'IA, en se concentrant sur la fiabilité de production et une observabilité détaillée.

Capacités

• Décompose la durée des appels API en chargement du modèle, inférence et sérialisation de la réponse, permettant aux développeurs d'identifier les sources de latence.
• Les démarrages à froid sont suivis au niveau du réplique pour mesurer l'impact sur les performances.
• Les utilisateurs configurent les paramètres de mise à l'échelle automatique tels que le nombre de répliques et les seuils de concurrence. Cela permet de la flexibilité mais introduit le risque de mauvaise configuration, entraînant soit un gaspillage de coûts, soit une latence plus élevée.
• Ce système fournit un suivi des coûts par requête lié au type de GPU et à l'utilisation, permettant des comparaisons de performances et de coûts lors du passage entre des matériels tels que A100 et H100 GPUs.
• Le streaming de logs en temps réel est disponible, bien que le filtrage et la recherche soient limités.

Limites

• La surveillance est détaillée au niveau de la requête, mais la recherche et le filtrage des logs sont basiques, ce qui rend le débogage des grandes charges de travail plus difficile.
• Une mise à l'échelle automatique mal configurée peut avoir un impact direct sur les coûts et la latence.

Cas d'utilisation : Baseten est idéal pour les développeurs d'IA recherchant une observabilité transparente pour les modèles d'IA générative dans des environnements de production.

Parasail

Parasail offre un réseau d'inférence d'IA conçu pour une utilisation flexible des GPU et une optimisation des coûts.

Capacités

• Le système prend en charge le changement entre les types de GPU, avec une allocation automatique des ressources basée sur les besoins de la charge de travail.
• Le tableau de bord met en évidence les métriques d'utilisation agrégées, incluant le temps de fonctionnement et l'allocation de GPU.
• Il offre une flexibilité de tarification grâce à différentes classes de GPU, permettant des compromis coût-performance.

Limites

• Ne propose pas de traçage au niveau de la requête. Les développeurs ne peuvent pas analyser le coût ou les performances des requêtes individuelles.
• L'observabilité reste au niveau agrégé, limitant la profondeur du débogage.

Cas d'utilisation : Parasail est conçu pour les organisations privilégiant des solutions d'IA peu coûteuses et flexibles, mais il offre moins d'informations pour les équipes nécessitant une observabilité détaillée.

DeepInfra

DeepInfra fournit un hébergement sans serveur GPU dans plusieurs régions, permettant un déploiement évolutif de modèles d'IA sous forme de APIs.

Capacités

• Le support multi-régions permet une inférence plus proche des utilisateurs finaux, réduisant la latence.
• Fournit des métriques de latence et de débit au niveau du tableau de bord.
• Propose une tarification à l'usage avec des rapports de coûts agrégés.
• Prend en charge le déploiement de modèles d'IA générative open-source avec des APIs simples.

Limites

• Ne fournit pas de traçage au niveau de la requête, rendant l'analyse des causes racines difficile.
• La ventilation des coûts est uniquement agrégée, sans détail par requête ou par région.
• Le versioning des modèles et les mécanismes de retour arrière ne sont pas automatisés, nécessitant une gestion manuelle.

Cas d'utilisation : Mieux adapté aux organisations déployant des charges de travail d'IA dans plusieurs régions, où la flexibilité des coûts et la couverture géographique comptent plus que le débogage approfondi.

Together AI

Together AI opère comme un cloud d'accélération d'IA offrant à la fois des capacités d'hébergement et d'entraînement de modèles.

Capacités

• Fournit des métriques à la fois au niveau agrégé et au niveau de la requête, incluant des histogrammes de latence et des ventilations d'appels par version.
• Le versioning et le retour arrière intégrés des modèles permettent un retour rapide aux versions précédentes.
• La répartition du trafic permet des tests A/B entre les versions de modèles.
• Un fort support SDK avec des bibliothèques clientes multi-langages.
• Les intégrations CI/CD rendent les pipelines de déploiement plus matures que les autres plateformes d'hébergement.

Limites

• Cette solution offre plus de maturité opérationnelle, mais elle se fait au prix d'une complexité système plus élevée par rapport aux plateformes d'hébergement plus légères.

Cas d'utilisation : Together AI convient aux entreprises d'IA et aux cabinets de services professionnels ayant besoin d'un contrôle de version fiable, d'une surveillance avancée et de l'intégration d'outils d'IA générative dans des flux de travail structurés.

Infrastructure optimisée pour le matériel / spécialisée

Cerebras

Cerebras se concentre sur une infrastructure d'IA optimisée pour le matériel, construite autour de son moteur à échelle de wafer (WSE).

Capacités

• Le WSE intègre des millions d'unités de traitement sur une seule puce, offrant un débit extrêmement élevé pour les charges de travail d'IA.
• Les tableaux de bord exposent des métriques standard telles que les tokens par seconde et le débit global.
• Suitable pour l'entraînement et l'inférence sur des modèles d'IA avancés à grande échelle.

Limites

• Le déploiement n'est pas instantané ; il nécessite une préparation de l'infrastructure.
• Les détails matériels internes, tels que la planification et l'utilisation de la mémoire, sont abstraits pour les utilisateurs.
• Support limité pour l'apport de modèles personnalisés arbitraires.

Cas d'utilisation : Efficace pour les tâches d'apprentissage automatique à haut débit à grande échelle dans les laboratoires d'IA, l'industrie de la défense ou les agences gouvernementales où le débit compte plus que la flexibilité.

Gruve AI Inference Infrastructure Fabric

Gruve fournit une infrastructure d'inférence d'IA distribuée conçue pour des performances prévisibles, une latence plus faible et une mise à l'échelle de capacité plus rapide dans les environnements de production. Son positionnement est plus proche d'une infrastructure de tissu que d'un hébergement de modèles, avec un accent sur l'accès à l'énergie, les emplacements distribués et l'optimisation de la pile complète.

Capacités

• Prend en charge une capacité d'inférence évolutive grâce à une infrastructure distribuée près des villes de niveau 1 et 2.
• Utilise l'énergie bloquée et sous-utilisée pour réduire et stabiliser les coûts de l'infrastructure d'inférence.
• Déploie l'inférence plus près des utilisateurs, des applications et des données pour réduire la latence réseau.
• Offre des clusters d'infrastructure à haute densité, incluant des armoires refroidies par liquide et des sites de plusieurs mégawatts.
• Fournit une infrastructure native d'IA conçue pour soutenir les besoins changeants des modèles, du service et des charges de travail d'agents.
• Combine l'infrastructure, la fondation de données et les capacités d'agent d'IA dans une pile d'exécution d'IA d'entreprise plus large.
• Inclut des fonctionnalités de fiabilité d'entreprise telles que les opérations 24/7, la sécurité intégrée, la gouvernance et le contrôle opérationnel.

Limites

Il peut être mieux adapté aux organisations ayant besoin d'une infrastructure d'inférence dédiée qu'aux équipes recherchant une plateforme d'hébergement de modèles basée sur une API légère.

Cas d'utilisation : Mieux adapté aux entreprises et aux entreprises d'IA exécutant des charges de travail d'inférence à l'échelle de la production où l'efficacité des coûts, la disponibilité de la capacité, la faible latence et la fiabilité de l'infrastructure sont des priorités.

SambaNova

SambaNova construit des solutions matérielles et logicielles d'IA basées sur son architecture de flux de données, optimisée au niveau du graphe de calcul.

Capacités

• Fournit des plateformes telles que SambaCloud (service cloud), SambaStack (sur site) et SambaManaged (service géré).
• Optimisé pour l'inférence et l'entraînement de modèles d'IA générative.
• Métriques de tableau de bord standard pour la latence et le débit au niveau du token.

Limites

• Le déploiement nécessite la compatibilité du modèle avec son architecture, exigeant une optimisation supplémentaire.
• Les métriques de performance internes, telles que la bande passante mémoire, ne sont pas exposées aux utilisateurs.
• Les déploiements ne sont pas immédiats ; des phases de mise en œuvre sont requises.

Cas d'utilisation : Adapté aux entreprises ayant besoin de solutions alimentées par l'IA combinant matériel et logiciel, en particulier dans les industries nécessitant une infrastructure informatique contrôlée.

Groq

Groq offre une plateforme d'inférence d'IA alimentée par ses unités de traitement du langage (LPU).

Capacités

• Optimisé pour la génération séquentielle de tokens avec des réponses de streaming à faible latence.
• Les tableaux de bord exposent les comptes de tokens, la latence et les taux d'erreur.
• Le coût est suivi au niveau du token.

Limites

• Ne prend pas en charge le déploiement de modèles personnalisés. Seuls les modèles fournis par Groq sont disponibles.
• Des outils de débogage minimaux sont disponibles ; si des problèmes de performance surviennent, un ticket de support doit être soumis.
• Les opérations internes des LPU restent opaques.

Cas d'utilisation : Mieux adapté aux applications où des réponses à ultra-faible latence pour les grands modèles de langage sont critiques, telles que l'IA conversationnelle ou les algorithmes de prise de décision.

Antimatter

Antimatter fournit une infrastructure d'IA verticalement intégrée qui combine des actifs énergétiques, des centres de données modulaires et un logiciel de cloud distribué.

Capacités

• Déploie le calcul sur des sites où l'énergie renouvelable, sous-utilisée ou bloquée existe déjà.
• Utilise des unités Policloud modulaires pour mettre en ligne du calcul IA à haute densité plus rapidement que les constructions traditionnelles de centres de données hyperscale.
• Connecte les sites distribués en un seul tissu opérationnel via le logiciel Hivenet.
• Fournit des services cloud tels que le calcul, le stockage et le transfert de fichiers via des APIs.
• Prend en charge l'orchestration de charges de travail entre les sites basée sur la demande, la capacité, la tarification et les contraintes locales.
• Sépare l'infrastructure physique des services destinés aux clients, permettant aux nouveaux sites et services de se développer indépendamment.
• Utilise une orchestration basée sur Kubernetes, des machines virtuelles, un support bare metal, un stockage distribué, un réseau chiffré, un passage de GPU et une observabilité centralisée.

Limites

Son modèle peut être plus pertinent pour les organisations ayant besoin d'une infrastructure d'IA distribuée ou souveraine que pour les équipes recherchant une simple API de modèle sans serveur.

Cas d'utilisation : Mieux adapté aux acheteurs d'infrastructure d'IA d'entreprise qui ont besoin d'une capacité d'inférence évolutive proche des sources d'énergie, des utilisateurs et des juridictions réglementées, en particulier là où la prévisibilité des coûts, la souveraineté et la vitesse de déploiement comptent.

API-based hosting

Fireworks AI

Fireworks AI fournit un service d'hébergement léger basé sur une API pour les modèles d'IA.

Capacités

• Déploiement rapide de modèles avec des endpoints API immédiats.
• Prend en charge le fine-tuning de modèles d'IA générative.
• Les tableaux de bord fournissent des métriques telles que la latence d'appel, l'utilisation des tokens, le taux d'erreur et le nombre de requêtes.

Limites

• Le traçage au niveau de la requête est absent, limitant le débogage détaillé.
• Les données de coûts sont uniquement agrégées, sans visibilité par requête.
• Le retour arrière est manuel ; revenir aux anciennes versions nécessite un redéploiement.

Cas d'utilisation : Convient aux développeurs d'IA ayant besoin d'un accès rapide aux capacités d'IA générative sans observabilité approfondie ni gestion complexe du déploiement.

Qu'est-ce qu'un fournisseur d'IA ?

Un fournisseur d'IA est une entreprise d'intelligence artificielle qui fournit l'infrastructure, les modèles et les services nécessaires pour que d'autres développent et exécutent des solutions alimentées par l'IA.

Les fournisseurs d'IA sont critiques car ils :

• Abaissent les barrières à l'adoption de l'IA, en particulier pour les entreprises sans expertise interne approfondie.
• Fournissent une évolutivité en gérant des processus complexes tels que la mise à l'échelle automatique et l'entraînement distribué.
• Offrent une efficacité des coûts avec une infrastructure à la demande plutôt que des investissements initiaux dans le matériel d'IA.
• Assurent des pratiques d'IA responsable grâce à la gouvernance, la traçabilité et les fonctionnalités de conformité.

Types de fournisseurs d'IA

Les fournisseurs d'IA peuvent être regroupés en trois catégories principales :

• Les fournisseurs d'infrastructure d'IA se concentrent sur le matériel d'IA spécialisé, incluant des processeurs personnalisés et des puces haute performance, pour l'entraînement et l'inférence.
• Les plateformes d'hébergement de modèles fournissent un accès aux modèles d'IA générative via des APIs, facilitant l'intégration de l'IA dans les applications. Elles offrent souvent des fonctionnalités telles que la mise à l'échelle automatique, la surveillance de la latence et le fine-tuning.
• Les plateformes de données et d'apprentissage automatique mettent l'accent sur l'intégration de bout en bout de l'analyse de données, de l'entraînement des modèles et de la gouvernance, avec un accent sur l'IA responsable.

Découvrez davantage de nos benchmarks et analyses basées sur les données dans la recherche Google.

Ajouter comme source préférée

Fonctionnalités clés des fournisseurs d'IA

Dans toutes les catégories, la plupart des fournisseurs d'IA partagent plusieurs caractéristiques de base qui façonnent la façon dont ils délivrent de la valeur et permettent aux organisations d'adopter efficacement les capacités d'IA :

Accès aux grands modèles de langage et autres modèles d'IA générative

Les fournisseurs d'IA offrent un accès direct aux grands modèles de langage (LLMs) et à une gamme de modèles d'IA générative pour des tâches incluant la génération de texte, le traitement de la parole et la reconnaissance d'images. Ces modèles sont généralement proposés via des APIs, ce qui facilite aux organisations l'intégration de solutions alimentées par l'IA dans des applications sans nécessiter une expertise approfondie en entraînement de modèles.

Infrastructure d'IA pour gérer des charges de travail d'IA exigeantes

Les fournisseurs fournissent des environnements de calcul adaptés aux modèles d'IA avancés et aux charges de travail d'IA à grande échelle. Cela inclut la puissance de traitement nécessaire pour l'entraînement, le fine-tuning et l'inférence, souvent conçus pour prendre en charge à la fois les opérations par lots à haut débit et les tâches sensibles à la latence. Une telle infrastructure permet aux entreprises d'exécuter des processus complexes de manière efficace et fiable.

Tableaux de bord de déploiement et de surveillance avec des métriques de latence, de débit et de coûts

Les tableaux de bord sont une fonctionnalité standard, offrant une visibilité sur les performances et l'efficacité des systèmes d'IA. Les métriques typiques incluent la latence par requête, le débit global, les taux de traitement des tokens et les comptes d'erreurs. La visibilité des coûts est également fournie, allant des rapports par requête aux résumés agrégés. Ces outils soutiennent une gestion et une optimisation efficaces des ressources.

Options de fine-tuning et de gestion des modèles

De nombreuses plateformes incluent la possibilité de faire du fine-tuning de modèles d'IA générative pour des cas d'utilisation spécialisés. Cela permet aux organisations d'adapter les modèles à des besoins spécifiques à l'industrie, tels que la modélisation prédictive dans la chaîne d'approvisionnement ou l'IA conversationnelle dans le support client. Les fonctionnalités de gestion des modèles incluent souvent le contrôle de version, le retour arrière et la répartition du trafic pour les expériences, ce qui aide à maintenir la fiabilité tout en itérant sur les nouveaux déploiements.

Flexibilité de tarification, souvent basée sur le paiement à l'usage ou la consommation de tokens

Au lieu de compter sur des investissements initiaux lourds dans le matériel d'IA, les fournisseurs utilisent couramment une tarification basée sur la consommation. Cela peut être structuré par requête, par token ou par temps de calcul. Une tarification flexible abaisse la barrière à l'entrée pour les organisations expérimentant l'adoption de l'IA, tout en permettant aux entreprises d'aligner les dépenses sur les demandes de charge de travail et d'optimiser à la fois les coûts et les performances.

Qu'est-ce qu'une passerelle d'IA ?

Une passerelle d'IA est une plateforme intermédiaire qui gère l'intégration, le routage et la gouvernance des modèles et services d'IA au sein des environnements d'entreprise. Au lieu de fournir les modèles eux-mêmes, les passerelles d'IA agissent comme un point d'entrée unifié entre les applications et plusieurs outils d'IA, incluant les grands modèles de langage, les systèmes de reconnaissance d'images et d'autres services d'IA générative.

Elles gèrent des fonctions telles que la standardisation des APIs, l'orchestration des modèles, la surveillance, l'application de la sécurité et le suivi des coûts, permettant aux organisations de contrôler comment les charges de travail d'IA sont accessibles et utilisées auprès de divers fournisseurs.

Différences clés entre les passerelles d'IA et les fournisseurs d'IA

Fonction

• Les fournisseurs d'IA délivrent l'infrastructure d'IA, les modèles d'IA et la puissance de calcul nécessaire pour les exécuter.
• Les passerelles d'IA gèrent et orchestrent les interactions avec ces modèles, offrant cohérence et gouvernance.

Position dans la pile

• Les fournisseurs d'IA opèrent au niveau de l'infrastructure et des modèles, fournissant les capacités d'IA réelles.
• Les passerelles d'IA se situent au-dessus des fournisseurs, connectant les applications à un ou plusieurs modèles via une seule couche de contrôle.

Portée de la responsabilité

• Les fournisseurs d'IA se concentrent sur l'entraînement, le fine-tuning, l'hébergement et le service des modèles.
• Les passerelles d'IA se concentrent sur l'unification des APIs, le routage des charges de travail, l'observabilité et l'application des politiques à travers les modèles.

Gouvernance et sécurité

• Les fournisseurs d'IA mettent en œuvre la gouvernance pour leurs propres modèles, tels que le contrôle de version et la surveillance des coûts.
• Les passerelles d'IA fournissent une gouvernance centralisée, permettant la conformité, le contrôle d'accès et la protection des données à travers plusieurs modèles et fournisseurs.

Approche de déploiement

• Les fournisseurs d'IA offrent diverses options d'infrastructure, incluant des APIs cloud, des clusters dédiés et du matériel sur site.
• Les passerelles d'IA fournissent des modèles de déploiement (mondial, multicloud, sidecar ou micro-passerelle) qui optimisent le routage du trafic entre les applications et les modèles.

Méthodologie d'évaluation

Dans cette évaluation, GPT-OSS-120B, le modèle open-source le plus utilisé sur la plateforme OpenRouter, a été analysé. Avant de procéder à l'évaluation, les performances de base du modèle GPT-OSS-120B ont été établies. Le modèle a été testé dans un environnement auto-hébergé sur une instance RunPod H200 GPU et a atteint 98 % de précision sur le jeu de données de 108 questions utilisé dans l'évaluation (35 questions basées sur des articles + 73 problèmes mathématiques).

Avant de lancer l'évaluation, les données de part de marché sur OpenRouter ont été analysées pour identifier les six principaux fournisseurs d'IA avec la part la plus élevée, et seuls ces fournisseurs ont été utilisés dans le test. Toutes les requêtes API ont été envoyées via le même endpoint API OpenRouter pour assurer la cohérence des conditions de test.

Jeu de données et processus de test

Le jeu de données d'évaluation se compose d'un total de 108 questions. Parmi ces questions, 35 sont des questions de connaissances réelles dérivées d'articles de CNN News et appariées avec une vérité terrain vérifiée. Le but de cette section est de mesurer si le modèle rappelle avec précision des informations numériques telles que des pourcentages, des dates et des quantités, et d'évaluer sa tendance à l'hallucination. Les 73 questions restantes consistent en des problèmes de raisonnement mathématique et testent la cohérence numérique du modèle, l'inférence logique et la précision computationnelle.

Les 108 questions utilisées dans le processus de test sont des questions auxquelles le modèle répond systématiquement correctement. Le but de ce test est d'observer les performances et la dégradation de la qualité du modèle à des moments spécifiques de la journée ou lors de changements de charge système.

Le processus de test est effectué comme suit :

• Les 108 questions sont envoyées individuellement à des intervalles de 5 minutes, et ce processus se poursuit continuellement.
• Les réponses Vrai/Faux obtenues de chaque question sont utilisées dans les calculs de précision.
• Simultanément, avec chaque soumission, une question de référence fixe est également envoyée à tous les fournisseurs. Les métriques mesurées à partir de cette question de référence sont :
  • Latence du premier token (FTL) : Le temps écoulé entre l'envoi de la requête et la production du premier token par le modèle.
  • Latence de bout en bout (E2E latency) : Le temps nécessaire au modèle pour générer complètement la réponse.

Les requêtes sont envoyées à tous les fournisseurs simultanément pour le même modèle et via le même endpoint API. Le système d'évaluation fonctionne de manière cyclique ; à la fin de chaque journée, les valeurs de précision obtenues à partir des 108 questions et les moyennes quotidiennes des valeurs de latence FTL/E2E mesurées à partir de la question de référence fixe sont reflétées dans les graphiques.

Détails du test de base auto-hébergé

Le test de performance de base a été effectué en exécutant le modèle openai/gpt-oss-120b dans un environnement auto-hébergé sur une instance RunPod H200 GPU. L'environnement de test a été construit en utilisant le modèle PyTorch de RunPod, avec le moteur d'inférence vLLM (version 0.10.2) installé comme bibliothèque de service principale. Un composant critique de la pile logicielle était le SDK openai-harmony, qui est obligatoire pour encoder correctement les prompts et décoder les réponses pour la série de modèles GPT-OSS. Le moteur vLLM a été configuré avec gpu_memory_utilization=0.85 et max_model_len=4096 pour accommoder la quantification MXFP4 du modèle et les exigences de contexte. Pour optimiser les performances, la bibliothèque flashinfer a également été installée, ce qui fournit une accélération significative pour l'inférence sur le matériel H200.

L'évaluation a été exécutée en utilisant le script test_baseline_harmony_correct.py, qui traite un jeu de données consolidé de 108 questions (35 questions basées sur des articles et 73 problèmes mathématiques). Pour chaque question, un prompt a été construit de manière programmatique en utilisant le SDK openai-harmony. Cela impliquait de créer un objet Conversation avec des messages Role.SYSTEM, Role.DEVELOPER et Role.USER distincts ; le DeveloperContent incluait spécifiquement l'instruction "Reasoning: high" pour susciter des réponses détaillées. Cet objet a été rendu en IDs de tokens en utilisant le codage HarmonyEncodingName.HARMONY_GPT_OSS. L'inférence a été conduite avec des paramètres d'échantillonnage déterministes (temperature=0.0) et max_tokens=2048 pour capturer le raisonnement complet. Les stop_token_ids ont été fournis directement à partir de la méthode stop_tokens_for_assistant_actions() du codage harmony. Enfin, les tokens de sortie du modèle ont été analysés par le SDK harmony pour extraire la réponse structurée, qui a ensuite été normalisée et validée par rapport à la vérité terrain pour calculer la précision.

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{ermut2026,
  author = {Ermut, Sıla and Şipi, Nazlı},
  title  = {{Top 9 fournisseurs d'IA comparés}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/ai-providers}},
  note   = {AIMultiple. Consulté le 18 Mai 2026}
}

Sıla Ermut

Analyste du secteur

Suivre

Sıla Ermut est analyste chez AIMultiple, spécialisée dans le marketing par e-mail et les vidéos de vente. Auparavant, elle travaillait comme recruteuse dans des cabinets de conseil et de gestion de projets. Sıla est titulaire d'un master en psychologie sociale et d'une licence en relations internationales.

Voir le profil complet

Recherche effectuée par

Nazlı Şipi

Chercheur en IA

Suivre

Nazlı est analyste de données chez AIMultiple. Elle possède une expérience préalable en analyse de données dans divers secteurs, où elle a travaillé à transformer des ensembles de données complexes en informations exploitables.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire