Benchmarks LLM

Un indice d'intelligence unique et transparent combinant des benchmarks publics avec les propres évaluations agentiques, RAG et de raisonnement d'entreprise d'AIMultiple. Voir la méthodologie.

Moonshot AI

16 juil. 2026

Kimi K3 ajouté

Le modèle le plus récent de l'indice d'intelligence AIMultiple est Kimi K3.

Voir le journal des modifications

MEILLEUR MODÈLE

Claude Fable 5

Indice 92

Meilleur rapport qualité-prix

MiniMax M3

$0.42 / 1M

Le plus rapide

GPT OSS 120B

0.23s TTFT

Couverture

64 modèles

8 benchmarks · 336 évaluations

Indice d'intelligence AIMultiple

Classement

Les modèles les mieux notés sur tous les benchmarks.

#	Modèle	Index	LegalBench	FinanceReasoning	Text-to-SQL	Agentic RAG	ARC-AGI-2	Agentic LLM Benchmark	FrontierMath	Swe-Bench
1	Claude Fable 5 Anthropic	92	89	90	90	98	-	69	-	-
2	Kimi K3 Moonshot AI	88	86	88	77	93	-	73	-	-
3	GPT-5.6 Sol OpenAI	87	87	90	74	87	93	62	-	-
4	Grok 4.5 X	86	86	88	79	83	-	73	-	-
5	GPT-5.5 OpenAI	83	87	-	-	-	85	59	-	-
6	GPT-5.6 Terra OpenAI	80	85	87	71	91	84	61	-	-
7	GPT-5.6 Sol Pro OpenAI	80	-	91	79	96	-	54	-	-
8	Claude Opus 4.6 Anthropic	78	-	88	68	80	69	72	-	-
9	Gemini 3 Pro Preview Google	77	87	86	60	89	31	-	-	-
10	Gemini 3.1 Pro Preview Google	77	87	87	65	89	77	46	27	-
Page 1 sur 7

Coût$20.00

Latence4.02s

Contexte1M

TTFT4.02s

LegalBench

FinanceReasoning

Text-to-SQL

Agentic RAG

Agentic LLM Benchmark

Coût$6.00

Latence2.93s

Contexte1M

TTFT2.93s

LegalBench

FinanceReasoning

Text-to-SQL

Agentic RAG

Agentic LLM Benchmark

Coût$11.25

Latence4.31s

Contexte1M

TTFT4.31s

LegalBench

FinanceReasoning

Text-to-SQL

Agentic RAG

ARC-AGI-2

Agentic LLM Benchmark

Coût$3.00

Latence7.25s

Contexte500k

TTFT7.25s

LegalBench

FinanceReasoning

Text-to-SQL

Agentic RAG

Agentic LLM Benchmark

Coût$11.25

Latence0.70s

Contexte272k

TTFT0.70s

LegalBench

ARC-AGI-2

Agentic LLM Benchmark

Coût$4.50

Latence1.62s

Contexte1M

TTFT1.62s

LegalBench

FinanceReasoning

Text-to-SQL

Agentic RAG

ARC-AGI-2

Agentic LLM Benchmark

Coût$11.25

Latence11.11s

Contexte1M

TTFT11.11s

FinanceReasoning

Text-to-SQL

Agentic RAG

Agentic LLM Benchmark

Coût$10.00

Latence1.71s

Contexte1M

TTFT1.71s

FinanceReasoning

Text-to-SQL

Agentic RAG

ARC-AGI-2

Agentic LLM Benchmark

Coût$4.50

Latence-

Contexte1M

TTFT

LegalBench

FinanceReasoning

Text-to-SQL

Agentic RAG

ARC-AGI-2

Coût$4.50

Latence22.02s

Contexte1M

TTFT22.02s

LegalBench

FinanceReasoning

Text-to-SQL

Agentic RAG

ARC-AGI-2

Agentic LLM Benchmark

FrontierMath

Page 1 sur 7

Évolution dans le temps

Indice d'intelligence par date de sortie du modèle

Coût vs performance

Coût combiné par rapport à l'indice d'intelligence

Modèle × Benchmark

Meilleurs modèles sur les benchmarks sélectionnés

Méthodologie

Comment l'indice est construit

L'indice d'intelligence normalise chaque benchmark sur une échelle de 0 à 100 et fait la moyenne de la position relative d'un modèle sur les benchmarks pour lesquels il a été évalué. Chaque benchmark ci-dessous alimente ce score.

AIMultiple

FinanceReasoningRaisonnement financier complexe en plusieurs étapes sur 238 questions difficiles de FinanceReasoning.

AIMultiple

Text-to-SQLPrécision de la génération de requêtes SQL à partir du langage naturel sur plus de 35 LLM.

AIMultiple

Agentic RAGRoutage multi-bases de données et génération de requêtes SQL sur 5 bases de données (BIRD-SQL, 500 questions).

AIMultiple

AI MemoryRécupération de données numériques en contexte long selon la position dans le document (100 éléments, 14 transcriptions).

AIMultiple

AI HallucinationRésistance à l'invention de métriques non mentionnées dans des documents à contexte long (204 pièges, 14 transcriptions).

Public

Humanity's Last ExamRaisonnement à livre fermé de niveau expert dans plus de 100 disciplines académiques (2,5k questions).

Public

SciCodeCodage scientifique de niveau recherche en physique, mathématiques, biologie et chimie (338 sous-problèmes)

Public

LegalBenchRaisonnement juridique participatif sur 162 tâches créées par des praticiens du droit.

Public

FrontierMathProblèmes de mathématiques de recherche inédits, rédigés par des experts (niveaux 1 à 4).

Public

ARC-AGI-2Nouvelles énigmes de raisonnement visuel évaluant la généralisation, et non la mémorisation.

Public

Swe-BenchTickets GitHub réels résolus de bout en bout (jeu complet de 2 294 instances).

Public

LiveCodeBenchProblèmes de programmation compétitive sans contamination, mis à jour en continu.

AIMultiple

Agentic LLM BenchmarkCodage agentique sur 10 tâches de développement logiciel via un outil CLI (~3 500 étapes de validation).

Mises à jour récentes

Derniers changements de l'indice d'intelligence, de la couverture des modèles et de la méthodologie de benchmarks d'AIMultiple.

16 juil. 2026

Moonshot AI

Kimi K3

Nouveau modèle ajouté à l'indice d'intelligence AIMultiple.

9 juil. 2026

OpenAI

GPT-5.6 Sol

Nouveau modèle ajouté à l'indice d'intelligence AIMultiple.

9 juil. 2026

OpenAI

GPT-5.6 Terra

Nouveau modèle ajouté à l'indice d'intelligence AIMultiple.

9 juil. 2026

OpenAI

GPT-5.6 Sol Pro

Nouveau modèle ajouté à l'indice d'intelligence AIMultiple.

Chronologie des sorties de modèles d'IALes 15 derniers modèles en 41 jours

Principales sorties de modèles d'IA des fournisseurs leaders au cours des 41 derniers jours.

Google

21 Juil 2026

Gemini 3.5 Flash Lite +1 de plusGemini 3.5 Flash LiteGemini 3.6 Flash

13 Août 2026

Gemini 3.7 Flash

Explorez Cas d'utilisation, analyses et points de référence du LLM

LLM Calculateur VRAM pour l'auto-hébergement

LLM

Analyse

12 Juil

Auto-héberger un LLM signifie exécuter l'inférence sur du matériel que l'opérateur contrôle, plutôt que via une API tierce, ce qui modifie le coût, le contrôle des données et le profil de confidentialité. Qu'un modèle puisse fonctionner ou non dépend de la mémoire. Le calculateur estime la VRAM ou la mémoire unifiée dont un modèle a…

LLM Part de marché: Comparer l'utilisation et l'adoption

Nous avons analysé la part de marché des LLM en combinant des données basées sur l'utilisation et des estimations de visites web pour montrer comment la demande pour les grands modèles de langage est répartie entre les laboratoires d'IA et les applications d'IA : Consultez la méthodologie pour voir comment nous avons mesuré et calculé…

LLM

Analyse

26 Juin

LLM Paramètres: GPT-5 High, Moyen, Bas et Minimal

Certains LLMs, comme OpenAI’s GPT-5 family, existent en différentes versions (par exemple, GPT-5, GPT-5-mini et GPT-5-nano) et avec divers réglages de paramètres, notamment élevé, moyen, bas et minimal. Ci-dessous, nous explorons les différences entre ces versions de modèles en rassemblant leurs performances de benchmark et les coûts d’exécution de ces benchmarks. Nous avons utilisé la…

LLM

Analyse

22 Juin

10+ exemples de grands modèles de langage

Nous avons rassemblé des benchmarks open source pour comparer les principaux grands modèles de langage propriétaires et open source. Choisissez votre cas d’usage pour trouver le modèle adapté. Vous pouvez évaluer les grands modèles de langage en examinant leurs performances sur les benchmarks et leur latence réelle (disponible en cliquant sur le nom de chaque…

LLM

Comparaison des Fonctionnalités

22 Juin

Cloud LLM vs local LLMs: exemples & avantages

Les LLMs cloud, alimentés par des modèles avancés comme GPT-5.5 et Claude Opus 4.7, offrent évolutivité et accessibilité. Inversement, les LLMs locaux, pilotés par des modèles open source tels que Llama 4, DeepSeek V4 et Qwen3.6-Plus, garantissent une confidentialité et une personnalisation renforcées. Découvrez ce que sont les LLMs cloud, leurs forces et faiblesses, les…

LLM

Benchmark

5 Juin

Grands modèles de langage en cybersécurité

Nous avons évalué 7 grands modèles de langage dans 9 domaines de la cybersécurité en utilisant SecBench, un benchmark à grande échelle et multi-format pour les tâches de sécurité. Nous avons testé chaque modèle sur 44 823 questions à choix multiples (QCM) et 3 087 questions à réponse courte (QRC), couvrant des domaines tels que…

LLM

Benchmark

15 Avr

LLM Quantification: BF16 vs FP8 vs INT4

Nous avons effectué des benchmarks de Qwen3-32B à 4 niveaux de précision (BF16, FP8, GPTQ-Int8, GPTQ-Int4) sur un seul NVIDIA H100 80GB GPU. Chaque configuration a été évaluée sur 2 benchmarks (~12,2K questions) couvrant les connaissances et la génération de code, ainsi que sur plus de 2 000 exécutions d'inférence pour mesurer le débit. Int4…

1 2 3

Benchmarks LLM

Classement

Claude Fable 5Anthropic92Index

Kimi K3Moonshot AI88Index

GPT-5.6 SolOpenAI87Index

Grok 4.5X86Index

GPT-5.5OpenAI83Index

GPT-5.6 TerraOpenAI80Index

GPT-5.6 Sol ProOpenAI80Index

Claude Opus 4.6Anthropic78Index

Gemini 3 Pro PreviewGoogle77Index

Gemini 3.1 Pro PreviewGoogle77Index

Comment l'indice est construit

Mises à jour récentes

Kimi K3

GPT-5.6 Sol

GPT-5.6 Terra

GPT-5.6 Sol Pro

Explorez Cas d'utilisation, analyses et points de référence du LLM

LLM Calculateur VRAM pour l'auto-hébergement

LLM Part de marché: Comparer l'utilisation et l'adoption

LLM Paramètres: GPT-5 High, Moyen, Bas et Minimal

10+ exemples de grands modèles de langage

Cloud LLM vs local LLMs: exemples & avantages

Grands modèles de langage en cybersécurité

LLM Quantification: BF16 vs FP8 vs INT4