Benchmark de plus de 90 LLM en finance: Claude Opus 5.5 et Gemini 4 Argon

L'ensemble de test est le sous-ensemble difficile du benchmark FinanceReasoning (Tang et al.), avec 238 questions.¹ La précision est le pourcentage de questions ayant reçu une réponse correcte. Les réponses numériques bénéficient d'une tolérance relative de 0,2 %.

Les tokens de sortie sont les tokens générés pour les 238 réponses. Les tokens d'entrée sont comptés séparément dans le calcul du coût.

Le coût est la dépense calculée en USD pour l'exécution de réponse aux questions, en utilisant les nombres de tokens et les tarifs enregistrés dans notre analyse des coûts. Certains nombres de tokens d'entrée sont estimés. Ces chiffres excluent les coûts d'extraction des réponses. Les coûts pour GPT-6.1 Terra, MiniMax M3.1 Flash et Kimi K3.1 Pro utilisent des nombres mesurés de tokens d'entrée et de sortie et les prix OpenRouter vérifiés le 27 octobre 2026. DeepSeek V4.1 Flash 1017 et Muse Spark Open utilisent des nombres mesurés de tokens d'entrée et de sortie et les prix catalogue OpenRouter vérifiés le 30 octobre 2026. Leurs tarifs d'entrée/sortie par million de tokens sont de $0,30/$1,20 et de $1,25/$4,25, respectivement. Ces calculs utilisent les tarifs catalogue de base et excluent les remises liées au cache et au temps. Les entrées plus anciennes conservent leurs tarifs enregistrés.

Précision, utilisation des tokens et constats sur les coûts

Muse Wonder et Claude Opus 5.5 sont à égalité avec 218 réponses correctes

Muse Wonder et Claude Opus 5.5 partagent le meilleur score enregistré, 91,60 % (218/238). Gemini 4 Argon et GPT-5.6 Sol Pro répondent correctement à deux questions de moins, avec un score de 90,76 % (216/238). GPT-5.6 Sol, Claude Fable 5.1, Claude Fable 5, Grok 4.6 et GPT-6.1 Sol Pro répondent chacun correctement à 215 questions, avec un score de 90,34 %.

Muse Wonder génère 407 149 tokens de sortie pour $8,4098, contre Opus 5.5, qui a 144 834 tokens de sortie et $3.2532. Le coût de Muse Wonder utilise 66 706 tokens d'entrée mesurés. L'utilisation de tokens d'entrée d'Opus est estimée à partir d'un modèle frère. Leurs configurations d'exécution diffèrent et la fiabilité entre exécutions répétées n'a pas été établie.

Gemini 4 Argon égalise avec GPT-5.6 Sol Pro à 90,76 % pour $2,65

Gemini 4 Argon obtient 90,76 % (216/238), en générant 249 825 tokens de sortie pour $2.6477. GPT-5.6 Sol Pro répond correctement au même nombre de questions avec 385 886 tokens de sortie pour $16.3533. Argon a renvoyé une réponse non vide pour chaque question. Son coût utilise des comptages mesurés de tokens d'entrée et de sortie.

GPT-6.1 Sol Pro présente le coût le plus bas parmi les modèles à égalité à 90,34 %

GPT-6.1 Sol Pro répond correctement à 215 questions pour $3,28, le coût calculé le plus bas parmi les cinq modèles à égalité à 90,34 %. GPT-5.6 Sol coûte $3,85, Grok 4.6 coûte $4,45, Claude Fable 5.1 coûte $8,64 et Claude Fable 5 coûte $10.05.

GPT-6.1 Sol Pro génère 187 502 tokens de sortie, contre GPT-5.6 Sol avec 117 735. Ses tarifs de tokens enregistrés plus bas compensent la sortie plus longue et le nombre de tokens d'entrée plus élevé. Parmi ces modèles à égalité, GPT-5.6 Sol utilise encore le moins de tokens de sortie.

GPT-6.1 Terra génère le moins de tokens de sortie

GPT-6.1 Terra utilise 79 655 tokens de sortie, le nombre le plus bas parmi les 96 modèles. Il répond correctement à 207 questions (86,97 %) pour $0.4617. GPT-6 Sol utilise 85 228 tokens de sortie et répond correctement à 212 questions (89,08 %) pour $0.98. GPT-6 Astra génère 87 774 tokens, répond correctement à 208 questions (87,39 %) et coûte $5,02 à ses tarifs enregistrés.

GPT-6.1 Sol répond correctement à 214 questions (89,92 %), en utilisant 89 153 tokens de sortie pour $1.02. Claude Sonnet 5.5 atteint 212 réponses correctes (89,08 %) avec 142 728 tokens pour $1.61. Chaque comparaison couvre une exécution complète sur les mêmes 238 questions.

GPT-6 Luna dépasse 83 % de précision pour $0,0754

GPT-6 Luna répond correctement à 207 questions (86,97 %) pour $0,0754, le coût enregistré le plus bas parmi les modèles au-dessus de 83 %. DeepSeek V4.1 Flash répond également correctement à 207 questions pour $0.2572. GPT-6 Sol augmente le nombre à 212 (89,08 %) pour $0.9792.

GPT-OSS-120B obtient 81,09 % pour $0,0611, tandis que Llama 4 Maverick obtient 75,21 % pour $0.0995. Mistral Small 3.2 24B a l'exécution la moins chère au total à $0,0352, avec une précision de 41,18 %.

Claude Haiku 5.5 répond correctement à 204 questions pour $0,1506

Claude Haiku 5.5 obtient 85,71 % (204/238), en générant 283 280 tokens de sortie pour $0.1506. Mistral Large 4 obtient 87,39 % (208/238), en générant 1 562 401 tokens de sortie pour $3.3083. Les deux exécutions ont renvoyé une réponse non vide pour chaque question.

Des dépenses plus élevées ne garantissent pas un meilleur score

O1 Pro présente le coût calculé le plus élevé, $381,28, et obtient 80,67 %. O3 Pro coûte $39,23 pour 78,15 %, tandis qu'O1 coûte $46,59 pour 74,79 %. Chacun obtient un score inférieur à Gemini 3 Flash Preview à $0.39.

Hy4 Preview génère 4 119 093 tokens de sortie, le plus grand nombre de la comparaison, et obtient 89,92 %. GPT-6.1 Sol atteint les mêmes 214 réponses correctes avec 89 153 tokens. DeepSeek R1 0528 génère 1 251 064 tokens à 62,18 %, un autre exemple de longueur de sortie variant indépendamment de la précision.

Résultats pour l'ensemble des 96 modèles

Les valeurs de précision enregistrées utilisent des arrondis différents dans certaines entrées plus anciennes. GPT-5, Grok 4.5 et Kimi K3 ont chacun 210 réponses correctes, malgré les valeurs affichées de 88,23 % et 88,24 %. Les identifiants de modèles sont conservés et les coûts sont arrondis à quatre décimales.

Comment les modèles ont répondu à la même question financière

Huit modèles ont répondu à la même question d'évaluation d'obligation. L'obligation coûte $950 et a des flux de trésorerie annuels de $50, $50 et $1 050. Les taux au comptant du Trésor correspondants sont 1,5 %, 1,8 % et 2,0 %.

Ces extraits proviennent de réponses de modèles enregistrées. Ils conservent la formulation d'origine, avec une mise en forme simplifiée et les passages omis signalés par […]. Chaque en-tête indique la valeur sélectionnée par l'extracteur de réponse et le résultat de benchmark enregistré. Sept modèles ont utilisé OpenRouter, tandis qu'Opus 5.5 a utilisé Claude Code.

La réponse de référence est 4,92 %. Nous l'avons vérifiée en résolvant l'équation des flux de trésorerie, ce qui donne environ 4.916972 %. Six modèles ont réussi avec des réponses extraites de 4,92 %. Gemini 4 Argon a renvoyé 4,94 %, en dehors de la tolérance relative de 0,2 % du benchmark.

Muse Spark Open a donné une fourchette de 4,90 % à 4,95 % et a également mentionné 4,92 %. L'extracteur de réponse a sélectionné 4,90 %, produisant un échec enregistré. Cette réponse montre comment plusieurs valeurs candidates peuvent affecter l'extraction de réponse.

MiniMax M3.1 Flash a réussi avec 4,92 %. Son explication décrit également cet écart comme environ 49 points de base. Un écart de 4.92 points de pourcentage équivaut à 492 points de base. Le benchmark note le nombre final extrait, de sorte qu'un score de réussite peut coexister avec une erreur dans l'explication.

Cette question sélectionnée illustre les réponses individuelles et le comportement de notation. Les résultats pour l'ensemble des 238 questions fournissent la comparaison plus large des modèles.

Expérience de récupération : 24 réponses correctes supplémentaires

Notre rapport d'expérience existant compare la génération autonome à la génération augmentée par récupération (RAG), qui ajoute des documents récupérés au prompt d'un modèle. Il enregistre une augmentation de 104 à 128 réponses correctes sur le même ensemble de 238 questions.

Les notes d'expérience désignent le modèle testé comme GPT-4o Mini. Le tableau principal des résultats attribue la même précision de référence et le même nombre de tokens à O4 Mini. L'identité du modèle RAG doit être confirmée par rapport aux enregistrements d'exécution d'origine. Sa colonne de tokens manque également d'une répartition entrée/sortie vérifiée, de sorte qu'elle ne peut pas être comparée directement à la colonne des tokens de sortie ci-dessus.

Le temps enregistré passe d'environ 3 à 59 minutes. La latence par requête et le temps distinct consacré à la récupération n'ont pas été établis ici. Les tests ont porté sur un seul modèle signalé, ce qui limite les conclusions concernant RAG sur les autres modèles.

Configuration de récupération enregistrée

Les notes historiques décrivent un index Qdrant contenant des explications financières et des fonctions Python issues du corpus de connaissances du benchmark. Text-embedding-3-small produit des vecteurs de 1 536 dimensions. Les documents sont divisés par section et chaque fonction forme un segment distinct.

Pour chaque question et son contexte, le pipeline recherche dans deux collections en utilisant la similarité cosinus, en récupérant trois segments de document et deux fonctions. Ces notes enregistrent deux appels d'embedding par requête et une augmentation d'environ 300–500 à 3 000–5 000 tokens d'entrée. Le matériel récupéré est inclus dans le prompt de génération. Ces détails de configuration font toujours partie du rapport historique. Le script de récupération local inspecté pour cette réécriture ne permet pas d'établir que cette exécution Qdrant spécifique a eu lieu.

Méthodologie du benchmark de raisonnement financier

Questions and prompting

Nous avons utilisé le sous-ensemble difficile de FinanceReasoning composé de 238 questions. Chaque question fournit un contexte et une réponse de référence. Le contexte peut inclure des tableaux financiers, des séries temporelles ou les entrées d'un calcul financier.

Un exemple demande la dernière bande supérieure de Keltner Channel à partir de 25 jours de cours boursiers, en utilisant une moyenne mobile exponentielle de 10 jours, une amplitude réelle moyenne de 10 jours et un multiplicateur de 1.5. La réponse est demandée avec deux décimales. La résolution nécessite de calculer la moyenne mobile et l'amplitude réelle, puis d'appliquer la formule de la bande supérieure.

Avec un prompt de chaîne de pensée, le modèle est invité à mener le calcul jusqu'au bout et à terminer par une réponse numérique. Il reçoit la question et le contexte dans une tâche de génération de forme gratuit. Les 40 modèles ajoutés en septembre et octobre 2026 ont chacun terminé l'inférence et l'évaluation pour l'ensemble des 238 questions via OpenRouter, sans sortie manquante. Le résultat accepté d'Opus 5.5 provient d'une configuration d'exécution différente du pipeline API principal. Les conditions d'exécution varient donc dans la comparaison.

Answer extraction and scoring

L'évaluation extrait une réponse de la réponse générée, puis la compare à la référence. Notre configuration actuelle utilise Claude Sonnet 4.5 pour l'extraction de réponse. Les réponses numériques sont valides lorsque leur erreur absolue est au plus de 0,2 % de la valeur absolue de la réponse de référence.

La précision est le nombre de réponses correctes divisé par 238. Une question modifie le score d'environ 0.42 point de pourcentage. Les nombres de réponses correctes rendent les égalités explicites lorsque les pourcentages enregistrés diffèrent en raison de l'arrondi.

Calculs des tokens et des coûts

Les totaux de tokens de sortie proviennent des enregistrements d'utilisation des modèles. Nous calculons le coût en combinant les tokens d'entrée et de sortie avec leurs prix enregistrés par million de tokens :

Les prix enregistrés incluent les tarifs historiques des modèles obsolètes. Les nombres de tokens d'entrée estimés sont indiqués dans le tableau de résultats sous-jacent. Le coût d'Opus 5.5 combine ses 144 834 tokens de sortie mesurés avec une estimation de 89 138 tokens d'entrée provenant d'un modèle frère, en utilisant $4 par million de tokens d'entrée et $20 par million de tokens de sortie. Cela produit $3.2532.

Les coûts couvrent les réponses finales conservées de génération. Les appels au modèle d'évaluation, les nouvelles tentatives échouées ou remplacées, ainsi que les frais RAG d'indexation ou d'embedding sont exclus de ce calcul. Les différences de tokenizers, de paramètres de génération et de configuration d'exécution affectent également les comparaisons.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Limites du benchmark

Ce jeu de données public peut être apparu dans les données d'entraînement des modèles. Les scores ne peuvent donc pas établir dans quelle mesure un modèle traite des problèmes financiers inédits.

Les résultats couvrent un ensemble de questions fixe et les exécutions enregistrées. La variation entre exécutions répétées et la significativité statistique n'ont pas été établies. L'extraction de réponse basée sur les LLM peut introduire des erreurs, et noter la réponse finale ne valide pas chaque étape de l'explication.

Les nombres de tokens d'entrée estimés et les prix enregistrés limitent la précision des coûts. Notre rapport distinct sur RAG présente des problèmes non résolus d'attribution de modèle et de comptabilisation des tokens, comme décrit ci-dessus. Ses chiffres restent des observations historiques en attendant le rapprochement des sources.

Ce benchmark mesure la réponse à des questions financières. Il ne teste pas les rendements d'investissement, la conformité réglementaire, la détection de fraude ou la fiabilité du déploiement.

Pour aller plus loin

Trading boursier basé sur l'IA couvre une application financière distincte.un ensemble de questions fixe.

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Benchmark de plus de 90 LLM en finance: Claude Opus 5.5 et Gemini 4 Argon}},
  year   = {2026},
  month  = nov,
  howpublished    = {\url{https://aimultiple.com/finance-llm}},
  note   = {AIMultiple. Consulté le 3 novembre 2026}
}

Liens de référence

1.

[2506.05828] FinanceReasoning: Benchmarking Financial Numerical Reasoning More Credible, Comprehensive and Challenging

Ekrem Sarı

Chercheur en IA

Suivre

Ekrem est chercheur en IA et scientifique des données chez AIMultiple. Il conçoit et exécute des benchmarks pratiques pour les systèmes d'IA et de LLM.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire