Benchmark de 40+ LLMs en Finance: Claude Fable 5 & GPT-5

Nous avons évalué 40+ LLMs en finance sur 238 questions difficiles issues du benchmark FinanceReasoning pour identifier les modèles qui excellent dans les tâches de raisonnement financier complexes telles que l'analyse des états financiers, les prévisions et les calculs de ratios.

LLM aperçu du benchmark financier

Nous avons évalué des LLMs sur 238 questions difficiles issues du benchmark FinanceReasoning (Tang et al.).¹ Ce sous-ensemble cible les tâches de raisonnement financier les plus difficiles, évaluant un raisonnement quantitatif complexe en plusieurs étapes impliquant des concepts et des formules financières. Notre évaluation a utilisé une conception de prompt personnalisée ainsi que des critères de notation basés sur la précision et la consommation de tokens.

Pour une explication détaillée de la façon dont ces métriques ont été calculées et du cadre utilisé pour cette évaluation, veuillez consulter notre méthodologie du benchmark financier.

Résultats : Quel est le meilleur LLM pour la finance ?

Performeurs de premier plan (>83% de précision) :

claude-fable-5 obtient la meilleure précision du benchmark à 90.34% avec 183,258 tokens. C'est le premier modèle à dépasser 90% sur ce benchmark, devant claude-opus-4.8 (89.08%).

claude-opus-4.8 obtient 89.08% de précision avec 113,434 tokens, le deuxième meilleur résultat et le plus faible nombre de tokens produits parmi les modèles au-dessus de 88%.

gpt-5-2025-08-07 obtient 88.23% de précision avec 829,720 tokens, le troisième meilleur résultat du benchmark.

claude-opus-4.6 obtient 87.82% de précision avec 164,369 tokens, une performance proche du sommet pour une fraction du nombre de tokens de gpt-5.

gpt-5-mini-2025-08-07 atteint 87.39% de précision avec 595,505 tokens, offrant une alternative solide au sein de la famille GPT-5.

gemini-3.5-flash atteint 86.97% de précision avec 1,191,757 tokens, la meilleure précision de la gamme Flash de Google mais aussi le plus gros consommateur de tokens de la famille.

claude-sonnet-5 obtient 86.97% de précision avec 414,668 tokens. Il égale gemini-3.5-flash à la décimale près (86.97%) tout en consommant 414,668 tokens contre 1,191,757 pour gemini-3.5-flash, et coûte 4.325 $ par exécution contre 10.83 $, de sorte que les deux atteignent la même précision avec 35% des tokens et 40% du coût.

gemini-3.1-pro-preview obtient 86.55% de précision avec 475,148 tokens, surpassant son prédécesseur gemini-3-pro-preview (86.13%) tout en consommant 35% de tokens en moins (730,759 tokens).

glm-5.2 obtient 86.13% de précision avec 735,988 tokens. Il améliore glm-4.5 (64.29%) de 21.84 points, le plus grand bond entre deux versions d’une même famille de modèles dans le benchmark ; le bond suivant est de 3.79 points. Le nombre de tokens de 735,988 est le troisième plus élevé du peloton de tête, derrière gemini-3.5-flash et gpt-5-2025-08-07.

gemini-3-pro-preview et gpt-5.2 sont à égalité à 86.13% de précision. gpt-5.2 atteint la même précision avec 247,660 tokens, soit environ trois fois plus efficace en tokens de sortie que gemini-3-pro-preview à 730,759 tokens.

claude-opus-4.7 obtient 85.29% de précision avec 103,268 tokens, le modèle le plus économe en tokens du peloton de tête (37% de tokens de sortie en moins que claude-opus-4.6 tout en dépassant le seuil de 83%).

Performeurs solides (80-83% de précision) :

grok-4.3 atteint 84.87% de précision avec 309,781 tokens, le meilleur résultat de xAI dans le benchmark et un redressement par rapport à l'ancien grok-4-0709

claude-opus-4.5 affiche 84.03% de précision avec 144,505 tokens, maintenant l'équilibre solide de Claude entre performances et efficacité.

claude-sonnet-4.6 et gemini-3-flash-preview sont à égalité à 83.61% de précision. Claude Sonnet 4.6 utilise 161,035 tokens tandis que Gemini 3 Flash Preview y parvient avec 118,530 tokens, ce qui en fait l'option la plus économe en tokens parmi tous les modèles très performants.

kimi-k2.5 obtient 82.77% de précision mais nécessite 877,868 tokens, la consommation la plus élevée parmi les modèles de ce niveau de performance.

Niveau intermédiaire (70-80% de précision) :

o3-pro-2025-06-10 (78.15% de précision, 473,659 tokens) et kimi-k2 (78.15% de précision, 100,323 tokens) sont à égalité. Kimi-k2 est le modèle le plus efficace de ce groupe.

o3-mini-2025-01-31 (77.31% de précision, 376,929 tokens), gpt-5-nano-2025-08-07 (76.89% de précision, 1,028,909 tokens) et claude-sonnet-4-20250514 (76.05% de précision, 135,462 tokens) suivent de près.

Moins performants (<70% de précision) :

claude-3-5-sonnet-20241022 (67.65% de précision, 90,103 tokens) et gpt-oss-20b (67.65% de précision, 515,041 tokens) mènent ce niveau.

gemini-2.5-flash (65.55% de précision, 286,603 tokens), glm-4.5 (64.29% de précision, 692,662 tokens) et gpt-4.1-nano-2025-04-14 (63.45% de précision, 171,096 tokens) suivent.

Aperçu des performances :

Le benchmark ne montre aucune corrélation claire entre la consommation de tokens et la précision. deepseek-r1-0528 a consommé le plus de tokens (1,251,064) mais a atteint une précision de 62.18%, tandis que claude-opus-4-20250514 a obtenu 80.25% avec 132,274 tokens.

L'efficacité en tokens varie même parmi les modèles très performants. gemini-3-flash-preview utilise 118,530 tokens pour atteindre 83.61% de précision, tandis que kimi-k2.5 consomme 877,868 tokens pour 82.77% (7.4x plus de tokens pour 0.84 points de pourcentage de précision en moins).

Le tableau ci-dessus présente d'autres benchmarks de modèles d'IA, y compris ceux utilisés pour ce benchmark.

Coût par exécution du benchmark

Les tokens de sortie seuls ne déterminent pas les dépenses, car les tarifs des tokens d'entrée et des tokens de sortie diffèrent d'un ordre de grandeur chez la plupart des fournisseurs. Nous avons calculé le coût en dollars de l'exécution de chaque modèle sur les 238 questions en utilisant le tarif par token indiqué par le fournisseur au moment de l'exécution.

Meilleur rapport coût-précision dans le segment de pointe. grok-4.3 atteint 84.87% de précision pour un coût total de 0.86 $, le coût le plus bas dans la tranche de précision >83%. Le modèle de pointe suivant le plus proche par le coût est gemini-3-flash-preview à 0.39 $ pour 83.61%.

Le nouveau champion de la précision paie un supplément. claude-fable-5 atteint la meilleure précision du benchmark de 90.34% pour 10.05 $ par exécution, soit environ trois fois le coût de claude-opus-4.8 (3.28 $ pour 89.08%). claude-opus-4.8 reste le modèle le moins cher du benchmark à dépasser 88% de précision.

Raisonnement premium à prix premium. o1-pro est le modèle le plus coûteux du benchmark à 381 $ pour 80.67% de précision (en raison des tarifs de 150 $/M en entrée et 600 $/M en sortie). o3-pro coûte 39.23 $ pour 78.15%, o1 coûte 46.59 $ pour 74.79%. Aucun de ces modèles n'atteint le peloton de tête ; tous les trois se situent en dessous de claude-opus-4.7 en précision et 10x ou plus au-dessus en termes de coût.

La gamme économique reste compétitive en termes de précision. gpt-oss-120b atteint 81.09% de précision pour un coût total de 0.06 $, l'exécution la moins chère du benchmark, et à portée du seuil de 83%. llama-4-maverick atteint 75.21% pour 0.10 $. Pour les charges de travail où une précision de 80% suffit, ces modèles coûtent moins de 1% des modèles phares de pointe.

Méthodologie du benchmark de raisonnement financier

Notre benchmark fournit une évaluation équitable, transparente et reproductible des performances des modèles de langage de grande taille (LLM) sur des tâches de raisonnement financier complexes.

Configuration du test et corpus de données

• Suite de benchmark : Nous avons utilisé les données, le code et les scripts d'évaluation du benchmark FinanceReasoning. Nous l'avons sélectionné pour son accent spécialisé sur les problèmes financiers quantitatifs et inférentiels.
• Corpus de connaissances et requêtes de test : Nous avons concentré notre analyse sur le sous-ensemble difficile, comprenant 238 questions difficiles. Tel que défini par le benchmark, chaque point de données comprend :
  1. Une question nécessitant une déduction logique et numérique en plusieurs étapes.
  2. Un contexte, qui contient souvent des informations denses présentées dans des formats structurés comme des tableaux Markdown (par exemple, bilans, données de performance boursière).
  3. Une réponse de vérité terrain définitive pour une notation objective.

• Types de requêtes illustratifs : La difficulté du benchmark provient de son exigence pour les modèles de gérer des tâches de raisonnement financier diverses et complexes. Pour illustrer cette diversité, nous mettons en évidence deux exemples représentatifs de l'ensemble de test :

Exemple : Raisonnement algorithmique et chronologique (analyse technique)

Contexte : Un investisseur analyse… les cours des actions sur les 25 derniers jours… pour calculer le canal de Keltner en utilisant une période EMA de 10 jours et une période ATR de 10 jours, avec un multiplicateur de 1.5…

Question : Quelle est la valeur de la dernière bande supérieure du canal de Keltner… ? Réponse à deux décimales.

Cette requête teste la capacité d'un modèle à agir en tant qu'analyste quantitatif en :

1. Décomposer un indicateur composite : Reconnaître que le « canal de Keltner » est dérivé de deux autres indicateurs complexes :
   • la moyenne mobile exponentielle (EMA)
   • moyenne vraie plage (ATR).
2. Implémenter une logique algorithmique : Implémenter correctement les algorithmes itératifs pour l'EMA et l'ATR à partir de zéro sur une série chronologique de 25 points de données.
3. Synthétiser les résultats : Combiner les valeurs calculées selon la formule finale du canal de Keltner (Bande supérieure = EMA + (Multiplicateur × ATR)).

Principes fondamentaux d'évaluation

• Appels API isolés et standardisés : Pour chaque modèle, nous avons effectué l'évaluation de manière programmatique via leurs points de terminaison API respectifs (par exemple, OpenRouter, OpenAI). Cela a garanti que chaque modèle recevait exactement la même entrée dans des conditions identiques, éliminant la variabilité liée aux interactions UI.
• Génération libre : Nous n'avons pas contraint les modèles à un format de choix multiples. Au lieu de cela, ils ont été invités à générer une réponse complète et libre, permettant une évaluation plus authentique de leurs capacités de raisonnement.
• Prompting en chaîne de pensée (CoT) : Pour solliciter et évaluer le processus de raisonnement des modèles, nous avons utilisé une stratégie de prompting en chaîne de pensée (CoT). Le prompt système a explicitement demandé à chaque modèle de « d'abord réfléchir au problème étape par étape » avant de conclure avec une réponse finale. Cette approche permet une analyse plus approfondie de la façon dont un modèle parvient à sa conclusion, au-delà de la sortie finale.

Métriques d'évaluation et cadre

Nous avons utilisé le cadre d'évaluation entièrement automatisé du benchmark FinanceReasoning pour noter les sorties des modèles. Ce cadre est conçu pour mesurer à la fois l'exactitude conceptuelle et le coût computationnel.

1. Métrique principale : Précision

Cette métrique répond à la question cruciale : « Le modèle peut-il correctement résoudre le problème financier ? ». Le processus de notation implique un pipeline sophistiqué en deux étapes :

• Étape 1 : Extraction de réponse basée sur un LLM : La sortie brute d'un modèle est un texte non structuré contenant à la fois le raisonnement et une réponse finale. Pour analyser de manière fiable la valeur numérique ou booléenne, nous avons utilisé un modèle superviseur (anthropic/claude-sonnet-4.5) comme analyseur.
• Étape 2 : Comparaison basée sur la tolérance : Une simple « correspondance exacte » est insuffisante pour les problèmes numériques. Par conséquent, la réponse extraite a été comparée de manière programmatique à la vérité terrain. Le script applique un seuil de tolérance numérique (une différence relative de 0.2%) pour gérer équitablement les variations mineures de virgule flottante ou d'arrondi, garantissant que les solutions conceptuellement correctes sont marquées comme justes.

2. Métrique secondaire : Consommation de tokens

Cette métrique répond à la question : « Quel est le coût computationnel pour le modèle de résoudre ces problèmes ? ». Elle mesure le coût total associé à la génération des 238 réponses.

• Calcul des tokens : Pour chaque appel API, nous avons collecté prompt_tokens et completion_tokens à partir de l'objet d'utilisation du fournisseur. Le score en tokens par modèle est la somme des completion_tokens sur l'ensemble des 238 questions. Nous rapportons les tokens de complétion (et non les tokens totaux) car l'entrée est presque constante entre les modèles partageant le même ensemble de données (66k-92k tokens d'entrée par exécution selon le tokenizer).
• Calcul du coût : Nous avons calculé le coût en dollars comme prompt_tokens × prix_prompt_par_M + completion_tokens × prix_complétion_par_M, additionné sur toutes les 238 questions. Les prix sont les tarifs par token indiqués par le point de terminaison /api/v1/models de OpenRouter au moment de l'exécution du modèle.

Cette approche à deux métriques, fournie par le benchmark FinanceReasoning lui-même, permet une évaluation holistique, équilibrant la capacité brute de résolution de problèmes d'un modèle (précision) par rapport à son efficacité opérationnelle (consommation de tokens).

Raisonnement financier avec la génération augmentée par récupération (RAG)

Pour surpasser les modèles autonomes, nous avons conçu et mis en œuvre un cadre RAG personnalisé distinct de la mise en œuvre initiale du benchmark. Notre approche repose sur une pile moderne de base de données vectorielle (Qdrant) pour fournir aux LLMs des connaissances pertinentes et spécifiques au domaine au moment de l'inférence, les aidant à résoudre des problèmes au-delà de leurs données d'entraînement. Nous avons testé cela sur gpt-4o-mini pour mesurer son impact.

Résultats et analyse : Le compromis RAG

L'introduction de RAG a eu un impact significatif et mesurable sur les performances de gpt-4o-mini.

Principaux enseignements de l'évaluation du RAG :

• Amélioration significative de la précision : Le RAG a nettement amélioré la capacité de résolution de problèmes du modèle, augmentant la précision de plus de 10 points de pourcentage. Cela confirme que la fourniture d'un contexte externe pertinent est très efficace pour les tâches de raisonnement complexes et spécifiques à un domaine.
• Le coût de la précision : Ce gain de performance s'est accompagné d'un coût élevé. La consommation totale de tokens a augmenté de près de x18, et le temps d'exécution total a augmenté de x20. Cela est dû aux appels API supplémentaires pour l'embedding et, surtout, aux prompts beaucoup plus volumineux et complexes que le LLM doit traiter.
• Implications pour les modèles plus grands : Les résultats de gpt-4o-mini suggèrent que même si le RAG peut débloquer des performances plus élevées, l'application de cette méthode à des modèles plus grands et plus coûteux comme GPT-4o ou Claude Opus sera considérablement plus coûteuse et chronophage. Cela met en évidence le compromis critique entre la précision, le coût et la latence dans la conception de systèmes d'IA financière de qualité production.

Méthodologie RAG pour le raisonnement financier

Notre pipeline RAG repose sur une pile moderne utilisant Qdrant comme base de données vectorielle et le modèle text-embedding-3-small d'OpenAI pour générer des représentations vectorielles sémantiques. Le processus comprend deux phases principales : une phase d'indexation hors ligne et une phase de récupération-génération en ligne.

1. Indexation du corpus de connaissances

• Création du corpus : Nous avons constitué une base de connaissances spécialisée à partir de deux sources fournies par le benchmark :
  1. Documents financiers : Une collection d'articles (financial_documents.json) expliquant divers concepts et termes financiers.
  2. Fonctions financières : Une bibliothèque de fonctions Python prêtes à l'emploi (functions-article-all.json) conçues pour résoudre des calculs financiers spécifiques.
• Segmentation intelligente et embedding : Pour préparer ce corpus à une récupération efficace, chaque document et fonction a été traité et indexé :
  1. Segmentation (chunking) : Les documents ont été segmentés en morceaux plus petits et sémantiquement cohérents en fonction de leurs sections. Chaque fonction Python a été traitée comme un seul morceau atomique. Cela garantit que le contexte récupéré est ciblé et pertinent.
  2. Embedding : Chaque morceau a ensuite été converti en un vecteur de 1536 dimensions à l'aide du modèle text-embedding-3-small.
  3. Indexation : Ces vecteurs ont été indexés dans deux collections distinctes au sein de notre instance Qdrant locale (financial_documents_openai_small et financial_functions_openai_small), optimisées pour la recherche par similarité cosinus.

2. Inférence alimentée par RAG

Pour chacune des 238 questions, le processus de raisonnement du modèle a été augmenté par les étapes automatisées suivantes :

1. Génération d'embedding (appels API 1 et 2) : La requête de l'utilisateur (question + contexte) a été convertie en un vecteur d'embedding. Cela a nécessité deux appels à l'API d'embedding d'OpenAI pour préparer les recherches dans les deux collections.
2. Récupération multisource : Le vecteur de requête a été utilisé pour effectuer une recherche sémantique simultanée dans les deux collections Qdrant afin de récupérer les informations les plus pertinentes :
   • Les 3 morceaux de documents les plus pertinents de la collection financial_documents.
   • Les 2 fonctions Python les plus pertinentes de la collection financial_functions.
3. Augmentation du prompt : Les documents et fonctions récupérés ont été injectés dynamiquement dans le prompt, créant un « paquet d'informations » riche et adapté au contexte. Cela a considérablement augmenté la taille du prompt d'entrée (de ~300-500 tokens à ~3,000-5,000+ tokens).
4. Génération de la réponse finale (appel API 3) : Ce prompt augmenté a été envoyé au modèle gpt-4o-mini pour générer la réponse finale raisonnée.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Limites du benchmark LLMs en finance

Notre benchmark, bien que complet, est soumis à plusieurs limites clés :

• Risque de contamination des données : Il est possible que ces modèles aient été entraînés sur l'ensemble de données du benchmark puisque l'ensemble de données est public. Cela pourrait conduire à des scores gonflés, rendant difficile l'évaluation de la véritable capacité de raisonnement.
• Analyse RAG sur un seul modèle : L'évaluation du RAG a été réalisée sur un seul modèle (gpt-4o-mini), de sorte que les compromis observés entre performance et coût peuvent ne pas s'appliquer à tous les autres modèles.

Journal des modifications

Nous ajoutons des modèles à ce benchmark à chaque nouvelle version.

30 juin 2026

• Anthropic: Claude Sonnet 5 (anthropic/claude-sonnet-5)

22 juin 2026

• Zhipu IA: GLM-5.2 (z-ai/glm-5.2)

10 juin 2026

• Anthropic: Claude Fable 5 (anthropic/claude-fable-5)

2 juin 2026

• Anthropic: Claude Opus 4.8 (anthropic/claude-opus-4.8)

22 mai 2026

• Google: Gemini 3.5 Flash (google/gemini-3.5-flash)
• xAI: Grok 4.3 (x-ai/grok-4.3)
• Ajout de la colonne coût par exécution du benchmark et du bouton de basculement du graphique précision-coût. Méthodologie mise à jour avec la formule de calcul du coût et le changement d'extracteur de réponse (claude-sonnet-4.5)

20 avril 2026

• Anthropic: Claude Opus 4.7 (anthropic/claude-opus-4.7)

20 février 2026

• Google: Gemini 3.1 Pro Preview (google/gemini-3.1-pro-preview)
• Anthropic: Claude Sonnet 4.6 (anthropic/claude-sonnet-4.6)

6 février 2026

• Anthropic: Claude Opus 4.6 (anthropic/claude-opus-4.6)
• Anthropic: Claude Opus 4.5 (anthropic/claude-opus-4.5)
• Anthropic: Claude Sonnet 4.5 (anthropic/claude-sonnet-4.5)
• Google: Gemini 3 Pro Preview (google/gemini-3-pro-preview)
• Google: Gemini 3 Flash Preview (google/gemini-3-flash-preview)
• OpenAI: GPT-5.2 (openai/gpt-5.2)
• Moonshot IA: Kimi K2.5 (moonshotai/kimi-k2.5)

Lectures complémentaires

L'analyse financière peut faire référence à de multiples capacités, telles que l'analyse boursière, l'interprétation du droit financier et le raisonnement financier. Dans notre benchmark, nous nous sommes concentrés spécifiquement sur le raisonnement financier, tandis que d'autres tâches sont couvertes dans des articles séparés :

• LLM pour l'analyse boursière : Ces modèles aident à traiter les données de marché, les rapports d'entreprise et les actualités pour identifier les opportunités d'investissement. (Voir l'analyse complète ici : Trading boursier basé sur l'IA)
• IA en droit financier : Certains LLMs peuvent interpréter les réglementations financières, les contrats et les exigences de conformité pour assister les tâches juridico-financières. (Voir notre liste d'outils d'IA juridique ici : Outils d'IA juridique)

FAQ

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{sar2026,
  author = {Sarı, Ekrem},
  title  = {{Benchmark de 40+ LLMs en Finance: Claude Fable 5 & GPT-5}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/finance-llm}},
  note   = {AIMultiple. Consulté le 30 Juin 2026}
}

Liens de référence

1.

[2506.05828] FinanceReasoning: Benchmarking Financial Numerical Reasoning More Credible, Comprehensive and Challenging

Ekrem Sarı

Chercheur en IA

Suivre

Ekrem est chercheur en IA chez AIMultiple, spécialisé dans l'automatisation intelligente, les GPU, les agents IA et les frameworks RAG.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire