AIM LLM Index

AIM-Agentic-RAGRoutage multi-bases de données et génération de requêtes SQL sur 5 bases de données (BIRD-SQL, 500 questions).

AIM-AI-BiasPer model per question per repetition bias evaluation results across 64 questions in both multiple choice and open ended formats, 27 models in the multiple choice condition and 26 in the open ended condition

AIM-FinanceReasoningRaisonnement financier complexe en plusieurs étapes sur 238 questions difficiles de FinanceReasoning.

AIM-Text-to-SQLPrécision de la génération de requêtes SQL à partir du langage naturel sur plus de 35 LLM.

CritPtProblemes de physique de niveau recherche exigeant des derivations multi-etapes.

FrontierMathProblèmes de mathématiques de recherche inédits, rédigés par des experts (niveaux 1 à 4).

MMMU-ProComprehension multimodale de niveau universitaire entre disciplines, durcie contre les raccourcis textuels.

SciCodeCodage scientifique de niveau recherche en physique, mathématiques, biologie et chimie (338 sous-problèmes)

Terminal-Bench 4.0La generation actuelle de Terminal-Bench : taches agentiques en terminal notees par taux de resolution.

Mises à jour récentes

Derniers changements de l'AIM LLM Index, de la couverture des modèles et de la méthodologie de benchmarks d'AIMultiple.

13 oct. 2026

Google

Gemini 4 Argon

Nouveau modèle ajouté à l'AIM LLM Index.

12 oct. 2026

Muse Wonder

Nouveau modèle ajouté à l'AIM LLM Index.

7 oct. 2026

Anthropic

Claude Haiku 5.5

Nouveau modèle ajouté à l'AIM LLM Index.

29 sept. 2026

OpenAI

GPT-6.1 Sol

Nouveau modèle ajouté à l'AIM LLM Index.

Chronologie des sorties de LLMLe rythme de l'innovation en IA

DeepSeek

DeepSeek V4 Flash Vision Exp

21 août

DeepSeek V4.1 Flash

10 sep

DeepSeek V4.1 Flash 1017

17 oct

Explorez Cas d'utilisation, analyses et points de référence du LLM

LLM Benchmark de latence par cas d'utilisation

13 oct

Vous trouverez ici des détails sur la façon dont nous avons mesuré la latence. Nous présentons séparément les models de raisonnement et les models sans raisonnement. Les models de raisonnement passent plusieurs secondes à réfléchir avant la première réponse visible, il serait donc trompeur de les comparer directement aux models sans raisonnement sur la latence.…

50+ Cas d'utilisation de ChatGPT avec des exemples concrets

ChatGPT a atteint environ 1 milliard d’utilisateurs actifs hebdomadaires début 2026, soit environ 10 % de la population mondiale. OpenAI a dépassé 20 milliards de dollars de revenus annuels pour 2025, confirmé par la directrice financière Sarah Friar. L’Anthropic Economic Index distingue deux modes d’utilisation : l’augmentation, où un humain interagit avec l’IA, et l’automatisation, où…

6 oct

Large Language Models en cybersécurité

Nous avons évalué 7 large language models dans 9 domaines de cybersécurité à l’aide de SecBench, un benchmark à grande échelle et multi-format pour les tâches de sécurité. Nous avons testé chaque model sur 44 823 questions à choix multiples (MCQs) et 3 087 questions à réponse courte (SAQs), couvrant la sécurité des données, la gestion des…

Comparaison des Fonctionnalités

6 oct

LLM Tarification: comparatif des 15+ principaux fournisseurs

Nous suivons les prix de lancement de plus de 160 LLMs, depuis GPT-3.5 Turbo en mars 2023 jusqu’aux dernières sorties, regroupés par classe de taille. Nous comparons également les prix des API des modèles actuels avec leurs résultats de référence et passons en revue les plans d’abonnement des principaux fournisseurs. Les prix sont indiqués par…

30 sep

Passerelles IA pour OpenAI: OpenRouter Alternatives

Nous avons évalué OpenRouter, SambaNova, TogetherAI, Groq et IA/ML API selon trois indicateurs (latence du premier token, latence totale et nombre de tokens en sortie), avec 300 tests utilisant des prompts courts (environ 18 tokens) et des prompts longs (environ 203 tokens) pour la latence totale. Si vous prévoyez d’utiliser l’une de ces passerelles IA,…

Analyse

21 sep

LLM Calculateur de VRAM pour l'auto-hébergement

Auto-héberger un LLM signifie exécuter l'inférence sur du matériel contrôlé par l'opérateur plutôt que via une API tierce, ce qui modifie le coût, le contrôle des données et le profil de confidentialité. Qu'un modèle puisse s'exécuter dépend de la mémoire. Le calculateur estime la VRAM ou la mémoire unifiée dont un modèle a besoin pour…

18 sep

IT agentique: les agents IA peuvent-ils concevoir un benchmark ?

Nous avons testé 16 modèles sur une conception de benchmark en text-to-SQL et en appel d'outils. Chaque modèle a construit un benchmark par sujet, pour un total de 32 soumissions. Aucune soumission n'a réussi tous les critères de la grille d'évaluation. Les agents ont pu construire et exécuter des tests, mais aucun n'a démontré à…

17 sep

AIM Enterprise: Benchmark d'entreprise agentique

Les entreprises utilisent des LLM tous les jours pour leurs tâches courantes. Pour trouver les LLM les plus rentables, nous avons conçu AIM Enterprise, un benchmark d'entreprise agentique, dans lequel nous avons utilisé 69 tâches d'entreprise réelles couvrant la stratégie, le marketing, les RH, la vente et les opérations. Deux models juges ont noté chaque…

Analyse

15 sep

LLM Lois d'échelle: analyse de chercheurs en IA

Les grands models de langage prédisent le token suivant en se basant sur des motifs appris à partir de données textuelles. Le terme lois d’échelle des LLM désigne des régularités empiriques qui relient les performances du model à la quantité de calcul, aux données d’entraînement et aux paramètres du model utilisés pendant l’entraînement. Pour comprendre…

Comparaison des Fonctionnalités

15 sep

Comparer 9 grands modèles de langage dans le domaine de la santé

Nous avons évalué 9 LLMs à l'aide du dataset MedQA, un benchmark d'examen clinique de niveau universitaire dérivé des questions de l'USMLE. Chaque modèle a répondu aux mêmes scénarios cliniques à choix multiples à l'aide d'un prompt standardisé, permettant une comparaison directe de la précision. Nous avons également enregistré la latence par question en divisant…