Benchmark de plus de 90 LLM en finance: Claude Opus 5.5 & Gemini 4 Argon

L'ensemble de test est le sous-ensemble difficile du benchmark FinanceReasoning (Tang et al.), avec 238 questions.¹ La précision est le pourcentage de questions auxquelles il a été répondu correctement. Les réponses numériques reçoivent une tolérance relative de 0,2 %.

Les tokens de sortie sont les tokens générés pour les 238 réponses. Les tokens d'entrée sont comptés séparément dans le calcul du coût.

Le coût est la dépense en USD calculée pour l'exécution de réponse aux questions, en utilisant les nombres de tokens et les tarifs consignés dans notre analyse de coût. Certains nombres de tokens d'entrée sont estimés. Ces chiffres excluent les coûts d'extraction des réponses et ne constituent pas une nouvelle vérification des prix.

Précision, utilisation des tokens et constats de coût

Muse Wonder et Claude Opus 5.5 sont à égalité avec 218 bonnes réponses

Muse Wonder et Claude Opus 5.5 partagent le meilleur score enregistré, 91,60 % (218/238). Gemini 4 Argon et GPT-5.6 Sol Pro répondent correctement à deux questions de moins, avec un score de 90,76 % (216/238). GPT-5.6 Sol, Claude Fable 5.1, Claude Fable 5, Grok 4.6 et GPT-6.1 Sol Pro répondent chacun correctement à 215 questions, avec un score de 90,34 %.

Muse Wonder génère 407 149 tokens de sortie pour 8.4098 $, contre 144 834 tokens de sortie et 3.2532 $ pour Opus 5.5. Le coût de Muse Wonder utilise 66 706 tokens d'entrée mesurés. L'utilisation des tokens d'entrée d'Opus est estimée à partir d'un modèle apparenté. Leurs configurations d'exécution diffèrent, et la fiabilité entre exécutions répétées n'a pas été établie.

Gemini 4 Argon égale GPT-5.6 Sol Pro à 90,76 % pour 2.65 $

Gemini 4 Argon obtient 90,76 % (216/238), générant 249 825 tokens de sortie pour 2.6477 $. GPT-5.6 Sol Pro répond correctement au même nombre de questions avec 385 886 tokens de sortie pour 16.3533 $. Argon a renvoyé une réponse non vide pour chaque question. Son coût utilise des nombres de tokens d'entrée et de sortie mesurés.

GPT-6.1 Sol Pro a le coût le plus bas parmi les modèles à égalité à 90,34 %

GPT-6.1 Sol Pro répond correctement à 215 questions pour 3.28 $, le coût calculé le plus bas parmi les cinq modèles à égalité à 90,34 %. GPT-5.6 Sol coûte 3.85 $, Grok 4.6 coûte 4.45 $, Claude Fable 5.1 coûte 8.64 $ et Claude Fable 5 coûte 10.05 $.

GPT-6.1 Sol Pro génère 187 502 tokens de sortie, contre 117 735 pour GPT-5.6 Sol. Ses tarifs de tokens enregistrés plus bas compensent la sortie plus longue et le nombre d'entrées plus élevé. Parmi ces modèles à égalité, GPT-5.6 Sol utilise toujours le moins de tokens de sortie.

GPT-6 Sol génère le moins de tokens de sortie

GPT-6 Sol utilise 85 228 tokens de sortie, le total le plus bas parmi les 91 modèles. Il répond correctement à 212 questions (89,08 %) pour 0.98 $. GPT-6 Astra génère 87 774 tokens, répond correctement à 208 questions (87,39 %) et coûte 5.02 $ à ses tarifs enregistrés.

GPT-6.1 Sol répond correctement à 214 questions (89,92 %), en utilisant 89 153 tokens de sortie pour 1.02 $. Claude Sonnet 5.5 atteint 212 bonnes réponses (89,08 %) avec 142 728 tokens pour 1.61 $. Chaque comparaison couvre une exécution complète sur les mêmes 238 questions.

GPT-6 Luna dépasse 83 % de précision pour 0.0754 $

GPT-6 Luna répond correctement à 207 questions (86,97 %) pour 0.0754 $, le coût enregistré le plus bas parmi les modèles au-dessus de 83 %. DeepSeek V4.1 Flash répond également correctement à 207 questions pour 0.2572 $. GPT-6 Sol porte le total à 212 (89,08 %) pour 0.9792 $.

GPT-OSS-120B obtient 81,09 % pour 0.0611 $, tandis que Llama 4 Maverick obtient 75,21 % pour 0.0995 $. Mistral Small 3.2 24B a l'exécution la moins chère au total à 0.0352 $, avec une précision de 41,18 %.

Claude Haiku 5.5 répond à 204 questions pour 0.1506 $

Claude Haiku 5.5 obtient 85,71 % (204/238), générant 283 280 tokens de sortie pour 0.1506 $. Mistral Large 4 obtient 87,39 % (208/238), générant 1 562 401 tokens de sortie pour 3.3083 $. Les deux exécutions ont renvoyé une réponse non vide pour chaque question.

Dépenser plus ne garantit pas un meilleur score

O1 Pro a le coût calculé le plus élevé, 381.28 $, et obtient 80,67 %. O3 Pro coûte 39.23 $ pour 78,15 %, tandis qu'O1 coûte 46.59 $ pour 74,79 %. Chacun obtient un score inférieur à Gemini 3 Flash Preview à 0.39 $.

Hy4 Preview génère 4 119 093 tokens de sortie, le plus grand total de la comparaison, et obtient 89,92 %. GPT-6.1 Sol atteint le même nombre de 214 bonnes réponses avec 89 153 tokens. DeepSeek R1 0528 génère 1 251 064 tokens à 62,18 %, un autre exemple de longueur de sortie qui varie indépendamment de la précision.

Résultats pour les 91 modèles

Les valeurs de précision enregistrées utilisent des arrondis différents dans certaines entrées plus anciennes. GPT-5, Grok 4.5 et Kimi K3 ont chacun 210 bonnes réponses, malgré les valeurs affichées de 88,23 % et 88,24 %. Les identifiants de modèles sont préservés et les coûts sont arrondis à quatre décimales.

Expérience de récupération : 24 bonnes réponses supplémentaires

Notre rapport d'expérience existant compare la génération autonome à la génération augmentée par récupération (RAG), qui ajoute des documents récupérés au prompt d'un modèle. Il enregistre une augmentation de 104 à 128 bonnes réponses sur le même ensemble de 238 questions.

Les notes de l'expérience désignent le modèle testé GPT-4o Mini. Le tableau principal des résultats attribue la même précision de base et le même nombre de tokens à O4 Mini. L'identité du modèle RAG doit être confirmée par rapport aux enregistrements d'exécution d'origine. Sa colonne de tokens ne dispose pas non plus d'une ventilation vérifiée entre entrée et sortie, de sorte qu'elle ne peut pas être comparée directement à la colonne des tokens de sortie ci-dessus.

Le temps enregistré passe d'environ 3 à 59 minutes. La latence par requête et le temps distinct consacré à la récupération n'ont pas été établis ici. Les tests n'ont porté que sur un seul modèle rapporté, ce qui limite les conclusions concernant RAG sur les autres modèles.

Configuration de récupération enregistrée

Des notes historiques décrivent un index Qdrant contenant des explications financières et des fonctions Python issues du corpus de connaissances du benchmark. Text-embedding-3-small produit des vecteurs de dimension 1 536. Les documents sont découpés par section, et chaque fonction forme un segment distinct.

Pour chaque question et son contexte, le pipeline recherche dans deux collections en utilisant la similarité cosinus, en récupérant trois segments de document et deux fonctions. Ces notes enregistrent deux appels d'embedding par requête et une augmentation d'environ 300–500 à 3 000–5 000 tokens d'entrée. Le matériel récupéré est inclus dans le prompt de génération. Ces détails de configuration font toujours partie du rapport historique. Le script de récupération local inspecté pour cette réécriture ne permet pas d'établir que cette exécution spécifique de Qdrant a bien eu lieu.

Méthodologie du benchmark de raisonnement financier

Questions and prompting

Nous avons utilisé le sous-ensemble difficile de FinanceReasoning de 238 questions. Chaque question fournit un contexte et une réponse de référence. Le contexte peut inclure des tableaux financiers, des séries chronologiques ou les entrées d'un calcul financier.

Un exemple demande la dernière bande supérieure du canal de Keltner à partir de 25 jours de cours boursiers, en utilisant une moyenne mobile exponentielle sur 10 jours, une amplitude moyenne vraie sur 10 jours et un multiplicateur de 1.5. La réponse est demandée avec deux décimales. La résolution nécessite de calculer la moyenne mobile et l'amplitude moyenne vraie, puis d'appliquer la formule de la bande supérieure.

Avec un prompt de chaîne de pensée, le modèle est invité à effectuer le calcul et à terminer par une réponse numérique. Il reçoit la question et le contexte dans une tâche de génération free-form. Les 35 modèles ajoutés en septembre et octobre 2026 ont chacun terminé l'inférence et l'évaluation pour les 238 questions via OpenRouter, sans aucune sortie manquante. Le résultat accepté d'Opus 5.5 provient d'une configuration d'exécution qui différait du pipeline principal de l'API. Les conditions d'exécution varient donc au sein de la comparaison.

Answer extraction and scoring

L'évaluation extrait une réponse de la réponse générée, puis la compare à la référence. Notre configuration actuelle utilise Claude Sonnet 4.5 pour l'extraction des réponses. Les réponses numériques sont acceptées lorsque leur erreur absolue est d'au plus 0,2 % de la valeur absolue de la réponse de référence.

La précision est le nombre de bonnes réponses divisé par 238. Une question modifie le score d'environ 0.42 point de pourcentage. Les nombres de bonnes réponses rendent les égalités explicites lorsque les pourcentages enregistrés diffèrent en raison des arrondis.

Calculs des tokens et des coûts

Les totaux de tokens de sortie proviennent des relevés d'utilisation des modèles. Nous calculons le coût en combinant les tokens d'entrée et de sortie avec leurs prix enregistrés par million de tokens :

Les prix enregistrés incluent les tarifs historiques des modèles obsolètes. Les nombres de tokens d'entrée estimés sont signalés dans le tableau de résultats sous-jacent. Le coût d'Opus 5.5 combine ses 144 834 tokens de sortie mesurés avec un nombre estimé de 89 138 tokens d'entrée provenant d'un modèle apparenté, en utilisant 4 $ par million de tokens d'entrée et 20 $ par million de tokens de sortie. Cela donne 3.2532 $.

Les coûts couvrent les réponses finales conservées pour la génération de réponses. Les appels au modèle d'évaluation, les nouvelles tentatives échouées ou remplacées, ainsi que les frais d'indexation ou d'embedding RAG sont exclus de ce calcul. Les différences entre tokenizers, paramètres de génération et configurations d'exécution affectent également les comparaisons.

Limites du benchmark

Ce jeu de données public peut avoir été présent dans les données d'entraînement des modèles. Les scores ne permettent donc pas d'établir dans quelle mesure un modèle traite des problèmes financiers inédits.

Les résultats couvrent un ensemble de questions fixe et les exécutions enregistrées. La variation entre exécutions répétées et la significativité statistique n'ont pas été établies. L'extraction de réponses basée sur les LLM peut introduire des erreurs, et la notation de la réponse finale ne valide pas chaque étape de l'explication.

Les nombres de tokens d'entrée estimés et les prix enregistrés limitent la précision des coûts. Notre rapport distinct sur le RAG présente une attribution de modèle et une comptabilité des tokens non résolues, comme décrit ci-dessus. Ses chiffres restent des observations historiques en attendant une réconciliation des sources.

Ce benchmark mesure la réponse à des questions financières. Il ne teste pas les rendements d'investissement, la conformité réglementaire, la détection de fraude ni la fiabilité du déploiement.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Lectures complémentaires

Trading boursier basé sur l'IA couvre une application financière distincte.un ensemble de questions fixe. La fiabilité entre exécutions répétées reste non mesurée.

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Benchmark de plus de 90 LLM en finance: Claude Opus 5.5 & Gemini 4 Argon}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/finance-llm}},
  note   = {AIMultiple. Consulté le 1 octobre 2026}
}

Liens de référence

1.

[2506.05828] FinanceReasoning: Benchmarking Financial Numerical Reasoning More Credible, Comprehensive and Challenging

Ekrem Sarı

Chercheur en IA

Suivre

Ekrem est chercheur en IA et scientifique des données chez AIMultiple. Il conçoit et exécute des benchmarks pratiques pour les systèmes d'IA et de LLM.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire