Benchmarks LLM

ARC-AGI-1Raisonnement abstrait few-shot sur des transformations de grilles ; le premier benchmark ARC Prize.

ARC-AGI-2Nouvelles énigmes de raisonnement visuel évaluant la généralisation, et non la mémorisation.

ArxivMathProblemes de mathematiques recents d'arXiv, executes peu apres publication pour limiter la contamination.

BioMysteryBenchBenchmark d'Anthropic evaluant si les agents peuvent resoudre de vrais mysteres bio-informatiques a partir de donnees brutes.

CritPtProblemes de physique de niveau recherche exigeant des derivations multi-etapes.

AIMultiple

FinanceReasoningRaisonnement financier complexe en plusieurs étapes sur 238 questions difficiles de FinanceReasoning.

Frontier-BenchTaches logicielles agentiques sur des depots de pointe, notees par taux de resolution.

FrontierMathProblèmes de mathématiques de recherche inédits, rédigés par des experts (niveaux 1 à 4).

LegalBenchRaisonnement juridique participatif sur 162 tâches créées par des praticiens du droit.

MMMU-ProComprehension multimodale de niveau universitaire entre disciplines, durcie contre les raccourcis textuels.

Terminal-Bench 2.1Taches agentiques en terminal couvrant le genie logiciel, les donnees et l'administration systeme.

Terminal-Bench HardLe sous-ensemble difficile de Terminal-Bench : des taches logicielles multi-etapes resolues dans un vrai terminal.

Terminal-Bench-ScienceTaches en terminal issues de flux de travail reels de calcul scientifique.

AIMultiple

Text-to-SQLPrécision de la génération de requêtes SQL à partir du langage naturel sur plus de 35 LLM.

Mises à jour récentes

Derniers changements de l'indice d'intelligence, de la couverture des modèles et de la méthodologie de benchmarks d'AIMultiple.

2 sept. 2026

Google

Gemini 3.8 Flash

Nouveau modèle ajouté à l'indice d'intelligence AIMultiple.

1 sept. 2026

Anthropic

Claude Fable 5.1

Nouveau modèle ajouté à l'indice d'intelligence AIMultiple.

28 août 2026

Tencent

Hy4 preview

Nouveau modèle ajouté à l'indice d'intelligence AIMultiple.

26 août 2026

Z AI

GLM 5.3 Flash

Nouveau modèle ajouté à l'indice d'intelligence AIMultiple.

Chronologie des sorties de modèles d'IALes 12 derniers modèles en 21 jours

Principales sorties de modèles d'IA des fournisseurs leaders au cours des 21 derniers jours.

OpenAI

04 Sep 2026

GPT-6 Astra +1 de plusGPT-6 AstraGPT-6 Astra Pro

Alibaba Cloud

26 Août 2026

Qwen3.8 Flash

03 Sep 2026

Qwen3.8 Max (0902)

Google

02 Sep 2026

Gemini 3.8 Flash

Explorez Cas d'utilisation, analyses et points de référence du LLM

Comparer 9 grands modèles de langage dans le domaine de la santé

Comparaison des Fonctionnalités

4 Sep

Nous avons évalué 9 LLMs à l'aide du dataset MedQA, un benchmark d'examen clinique de niveau universitaire dérivé des questions de l'USMLE. Chaque modèle a répondu aux mêmes scénarios cliniques à choix multiples à l'aide d'un prompt standardisé, permettant une comparaison directe de la précision. Nous avons également enregistré la latence par question en divisant…

Grands modèles multimodaux (LMM) vs LLMs

Nous avons évalué les performances des grands modèles multimodaux (LMM) dans des tâches de raisonnement financier en utilisant un jeu de données soigneusement sélectionné. En analysant un sous-ensemble d’échantillons financiers de haute qualité, nous évaluons les capacités des modèles à traiter et à raisonner avec des données multimodales dans le domaine financier. La section méthodologie…

2 Sep

Lois d'échelle des LLM: analyse de chercheurs en IA

Les grands modèles de langage prédisent le token suivant à partir de motifs appris dans les données textuelles. Le terme lois d'échelle des LLM désigne des régularités empiriques qui relient les performances du modèle à la quantité de calcul, aux données d'entraînement et aux paramètres du modèle utilisés pendant l'entraînement. Pour comprendre comment ces relations…

2 Sep

LLM Outils d'observabilité: Weights & Biases, Langsmith

Les applications LLM sont passées de chats à un seul tour à des agents multi-étapes qui utilisent des outils, interrogent des bases de données et se coordonnent avec d’autres modèles, ce qui rend leur comportement plus difficile à interpréter. L’observabilité des LLM offre une visibilité continue sur ces flux de travail complexes, aidant les organisations…

Comparaison des Fonctionnalités

2 Sep

Cloud LLM vs local LLMs: exemples & avantages

Les LLMs cloud, alimentés par des modèles avancés comme GPT-5.5 et Claude Opus 4.7, offrent évolutivité et accessibilité. Inversement, les LLMs locaux, pilotés par des modèles open source tels que Llama 4, DeepSeek V4 et Qwen3.6-Plus, garantissent une confidentialité et une personnalisation renforcées. Découvrez ce que sont les LLMs cloud, leurs forces et faiblesses, les…

Benchmark

Simulation d'audience: Les LLM peuvent-elles prédire le comportement humain ?

En marketing, évaluer avec quelle précision les LLMs prédisent le comportement humain est crucial pour estimer leur efficacité à anticiper les besoins du public et pour reconnaître les risques de décalage, de communication inefficace ou d'influence non désirée. La simulation d'audience avec des LLMs permet de modéliser des publics virtuels, aidant les organisations à anticiper…

LLM Guide de fine-tuning pour les entreprises

Suivez les liens pour les solutions spécifiques aux défis de sortie de votre LLM. Si votre LLM : L’adoption généralisée des grands modèles de langage (LLM) a amélioré notre capacité à traiter le langage humain. Cependant, leur entraînement générique donne souvent des performances sous-optimales pour des tâches spécifiques. Pour surmonter cette limitation, des méthodes de…

LLM Part de marché: Comparer l'utilisation et l'adoption

Nous avons analysé la part de marché des LLM en combinant des données basées sur l'utilisation et des estimations de visites web pour montrer comment la demande pour les grands modèles de langage est répartie entre les laboratoires d'IA et les applications d'IA : Consultez la méthodologie pour voir comment nous avons mesuré et calculé…

10+ exemples de grands modèles de langage

Nous avons rassemblé des benchmarks open source pour comparer les principaux grands modèles de langage propriétaires et open source. Choisissez votre cas d’usage pour trouver le modèle adapté. Vous pouvez évaluer les grands modèles de langage en examinant leurs performances sur les benchmarks et leur latence réelle (disponible en cliquant sur le nom de chaque…

31 Août

LLM Calculateur de VRAM pour l'auto-hébergement

Auto-héberger un LLM signifie exécuter l'inférence sur du matériel contrôlé par l'opérateur plutôt que via une API tierce, ce qui modifie le coût, le contrôle des données et le profil de confidentialité. Qu'un modèle puisse s'exécuter dépend de la mémoire. Le calculateur estime la VRAM ou la mémoire unifiée dont un modèle a besoin pour…