Benchmark von 90+ LLMs im Finanzwesen: Claude Opus 5.5 & Gemini 4 Argon
We evaluated 90+ LLMs in finance on 238 hard questions from the FinanceReasoning benchmark to identify which models excel at complex financial reasoning tasks.
Der Testsatz ist die schwierige Teilmenge des FinanceReasoning-Benchmarks (Tang et al.) mit 238 Fragen.1 Die Genauigkeit ist der Prozentsatz der korrekt beantworteten Fragen. Numerische Antworten erhalten eine relative Toleranz von 0,2 %.
Output-Tokens sind die Tokens, die über die 238 Antworten hinweg generiert wurden. Eingabetokens werden bei der Kostenberechnung separat gezählt.
Die Kosten sind die berechneten USD-Ausgaben für den Frage-Antwort-Lauf, wobei die in unserer Kostenanalyse erfassten Tokenzahlen und -preise verwendet werden. Einige Eingabewerte sind geschätzt. Diese Zahlen schließen die Kosten für die Antwortenextraktion aus und stellen keine neue Preisprüfung dar.
Genauigkeit, Tokenverbrauch und Kostenbefunde
Muse Wonder und Claude Opus 5.5 liegen mit 218 richtigen Antworten gleichauf
Muse Wonder und Claude Opus 5.5 teilen sich das höchste erzielte Ergebnis von 91,60 % (218/238). Gemini 4 Argon und GPT-5.6 Sol Pro beantworten zwei Fragen weniger korrekt und erreichen 90,76 % (216/238). GPT-5.6 Sol, Claude Fable 5.1, Claude Fable 5, Grok 4.6 und GPT-6.1 Sol Pro beantworten jeweils 215 korrekt und erreichen 90,34 %.
Muse Wonder erzeugt 407.149 Output-Tokens für $8,4098, verglichen mit Opus 5.5’s 144.834 Output-Tokens und $3.2532. Die Kosten von Muse Wonder verwenden 66.706 gemessene Eingabetokens. Die Eingabeverwendung von Opus wird anhand eines Schwestermodells geschätzt. Ihre Ausführungsumgebungen unterscheiden sich, und die Zuverlässigkeit bei wiederholten Läufen wurde nicht nachgewiesen.
Gemini 4 Argon entspricht GPT-5.6 Sol Pro mit 90,76 % für $2,65
Gemini 4 Argon erreicht 90,76 % (216/238) und erzeugt 249.825 Output-Tokens für $2.6477. GPT-5.6 Sol Pro beantwortet genauso viele Fragen korrekt, mit 385.886 Output-Tokens zu $16.3533. Argon lieferte für jede Frage eine nicht leere Antwort. Seine Kosten verwenden gemessene Eingabe- und Ausgabetokenzahlen.
GPT-6.1 Sol Pro hat die niedrigsten Kosten unter den Models, die bei 90,34 % gleichauf liegen
GPT-6.1 Sol Pro beantwortet 215 Fragen korrekt für $3,28, die niedrigsten berechneten Kosten unter den fünf Models, die bei 90,34 % gleichauf liegen. GPT-5.6 Sol kostet $3,85, Grok 4.6 kostet $4,45, Claude Fable 5.1 kostet $8,64 und Claude Fable 5 kostet $10.05.
GPT-6.1 Sol Pro erzeugt 187.502 Output-Tokens, verglichen mit GPT-5.6 Sol’s 117.735. Seine niedrigeren erfassten Tokenpreise gleichen die längere Ausgabe und die höhere Eingabezahl aus. Unter diesen punktgleichen Models verwendet GPT-5.6 Sol weiterhin die wenigsten Output-Tokens.
GPT-6 Sol erzeugt die wenigsten Output-Tokens
GPT-6 Sol verwendet 85.228 Output-Tokens, die niedrigste Zahl unter den 91 Models. Es beantwortet 212 Fragen korrekt (89,08 %) für $0.98. GPT-6 Astra erzeugt 87.774 Tokens, beantwortet 208 korrekt (87,39 %) und kostet zu seinen erfassten Preisen $5.02.
GPT-6.1 Sol beantwortet 214 Fragen korrekt (89,92 %) und verwendet 89.153 Output-Tokens für $1.02. Claude Sonnet 5.5 erreicht 212 richtige Antworten (89,08 %) mit 142.728 Tokens zu $1.61. Jeder Vergleich umfasst einen abgeschlossenen Lauf bei denselben 238 Fragen.
GPT-6 Luna übertrifft 83 % Genauigkeit für $0,0754
GPT-6 Luna beantwortet 207 Fragen korrekt (86,97 %) für $0,0754, die niedrigsten erfassten Kosten unter den Models über 83 %. DeepSeek V4.1 Flash beantwortet ebenfalls 207 korrekt für $0.2572. GPT-6 Sol erhöht die Zahl auf 212 (89,08 %) für $0.9792.
GPT-OSS-120B erreicht 81,09 % für $0,0611, während Llama 4 Maverick 75,21 % für $0,0995 erreicht. Mistral Small 3.2 24B hat insgesamt den günstigsten Lauf mit $0,0352 und einer Genauigkeit von 41,18 %.
Claude Haiku 5.5 beantwortet 204 Fragen für $0,1506
Claude Haiku 5.5 erreicht 85,71 % (204/238) und erzeugt 283.280 Output-Tokens für $0.1506. Mistral Large 4 erreicht 87,39 % (208/238) und erzeugt 1.562.401 Output-Tokens für $3.3083. Beide Läufe lieferten für jede Frage eine nicht leere Antwort.
Höhere Ausgaben garantieren kein höheres Ergebnis
O1 Pro hat die höchsten berechneten Kosten von $381,28 und erreicht 80,67 %. O3 Pro kostet $39,23 für 78,15 %, während O1 $46,59 für 74,79 % kostet. Beide erzielen Werte unter Gemini 3 Flash Preview bei $0.39.
Hy4 Preview erzeugt 4.119.093 Output-Tokens, die größte Zahl im Vergleich, und erreicht 89,92 %. GPT-6.1 Sol erreicht dieselben 214 richtigen Antworten mit 89.153 Tokens. DeepSeek R1 0528 erzeugt 1.251.064 Tokens bei 62,18 %, ein weiteres Beispiel dafür, dass die Ausgabelänge unabhängig von der Genauigkeit variiert.
Ergebnisse für alle 91 Models
Die erfassten Genauigkeitswerte verwenden in einigen älteren Einträgen unterschiedliche Rundungen. GPT-5, Grok 4.5 und Kimi K3 haben jeweils 210 richtige Antworten, trotz der angezeigten Werte von 88,23 % und 88,24 %. Model-Identifikatoren bleiben erhalten, und die Kosten werden auf vier Dezimalstellen gerundet.
Model | Genauigkeit (%) | Richtig / 238 | Output-Tokens | Kosten (USD) |
|---|---|---|---|---|
claude-opus-5.5 | 91.60 | 218 | 144.834 | 3.2532 |
muse-wonder | 91.60 | 218 | 407.149 | 8.4098 |
gpt-5.6-sol-pro | 90.76 | 216 | 385.886 | 16.3533 |
gemini-4-argon | 90.76 | 216 | 249.825 | 2.6477 |
gpt-5.6-sol | 90.34 | 215 | 117.735 | 3.8493 |
claude-fable-5.1 | 90.34 | 215 | 154.919 | 8.6421 |
claude-fable-5 | 90.34 | 215 | 183.258 | 10.0543 |
grok-4.6 | 90.34 | 215 | 704.035 | 4.4460 |
gpt-6.1-sol-pro | 90.34 | 215 | 187.502 | 3.2817 |
claude-opus-5 | 89.92 | 214 | 225.562 | 6.0847 |
Retrieval-Experiment: 24 zusätzliche richtige Antworten
Unser bestehender Experimentbericht vergleicht die eigenständige Generierung mit der Retrieval-Augmented Generation (RAG), die abgerufene Dokumente zum Prompt eines Models hinzufügt. Er verzeichnet einen Anstieg von 104 auf 128 richtige Antworten bei demselben Satz von 238 Fragen.
Die Experimentnotizen bezeichnen das getestete Model als GPT-4o Mini. Die Haupttabelle ordnet O4 Mini dieselbe Basisgenauigkeit und Tokenzahl zu. Die Identität des RAG-Models muss anhand der ursprünglichen Laufaufzeichnungen bestätigt werden. Die Token-Spalte enthält außerdem keine verifizierte Eingabe-/Ausgabeaufteilung und kann daher nicht direkt mit der obigen Output-Token-Spalte verglichen werden.
Die erfasste Zeit steigt von etwa 3 auf 59 Minuten. Die Latenz pro Anfrage und die separat für das Retrieval aufgewendete Zeit wurden hier nicht ermittelt. Die Tests umfassten nur ein berichtetes Model, was die Aussagekraft über RAG bei den übrigen Models einschränkt.
Erfasstes Retrieval-Setup
Historische Notizen beschreiben einen Qdrant-Index mit Finanzerklärungen und Python-Funktionen aus dem Wissenskorpus des Benchmarks. Text-embedding-3-small erzeugt 1.536-dimensionale Vektoren. Dokumente werden nach Abschnitten aufgeteilt, und jede Funktion bildet einen separaten Chunk.
Für jede Frage und ihren Kontext durchsucht die Pipeline zwei Sammlungen mithilfe der Kosinus-Ähnlichkeit und ruft drei Dokument-Chunks und zwei Funktionen ab. Diese Notizen verzeichnen zwei Embedding-Aufrufe pro Abfrage und einen Anstieg der Eingabetokens von etwa 300–500 auf 3.000–5.000. Das abgerufene Material wird in den Generations-Prompt aufgenommen. Diese Setup-Details bleiben Teil des historischen Berichts. Das für diese Neuauswertung geprüfte lokale Retrieval-Skript belegt nicht, dass genau dieser Qdrant-Lauf ausgeführt wurde.
Methodik des Financial-Reasoning-Benchmarks
Questions and prompting
Wir verwendeten die schwierige Teilmenge von FinanceReasoning mit 238 Fragen. Jede Frage liefert Kontext und eine Referenzantwort. Der Kontext kann Finanztabellen, Zeitreihen oder die Eingaben für eine Finanzberechnung umfassen.
Ein Beispiel verlangt das letzte obere Keltner-Channel-Band aus 25 Tagen Aktienkursen, mit einem 10-Tage-exponentiellen gleitenden Durchschnitt, einer 10-Tage-durchschnittlichen True Range und einem Multiplikator von 1.5. Die Antwort soll mit zwei Dezimalstellen angegeben werden. Die Lösung erfordert die Berechnung des gleitenden Durchschnitts und der True Range sowie anschließend die Anwendung der Formel für das obere Band.
Mit Chain-of-Thought-Prompting wird das Model angewiesen, die Berechnung durchzuarbeiten und mit einer numerischen Antwort zu enden. Es erhält die Frage und den Kontext in einer free-Form-Generierungsaufgabe. Die im September und Oktober 2026 hinzugefügten 35 Models absolvierten jeweils Inference und Evaluierung für alle 238 Fragen über OpenRouter, ohne fehlende Ausgaben. Das akzeptierte Ergebnis von Opus 5.5’s stammt aus einer Ausführungsumgebung, die sich von der Haupt-API-Pipeline unterschied. Die Ausführungsbedingungen variieren daher im Vergleich.
Answer extraction and scoring
Die Evaluierung extrahiert eine Antwort aus der generierten Antwort und vergleicht sie anschließend mit der Referenz. Unsere aktuelle Konfiguration verwendet Claude Sonnet 4.5 für die Antwortenextraktion. Numerische Antworten gelten als korrekt, wenn ihr absoluter Fehler höchstens 0,2 % des absoluten Werts der Referenzantwort beträgt.
Die Genauigkeit ist die Anzahl der richtigen Antworten geteilt durch 238. Eine Frage verändert das Ergebnis um etwa 0.42 Prozentpunkte. Die Anzahl der richtigen Antworten macht Gleichstände explizit, wenn die erfassten Prozentwerte durch Rundung abweichen.
Token- und Kostenberechnungen
Die Gesamtzahlen der Output-Tokens stammen aus den Nutzungsaufzeichnungen der Models. Wir berechnen die Kosten, indem wir Eingabe- und Ausgabetokens mit ihren erfassten Preisen pro eine Million Tokens kombinieren:
Die gespeicherten Preise umfassen historische Sätze für veraltete Models. Geschätzte Eingabezahlen sind in der zugrunde liegenden Ergebnistabelle gekennzeichnet. Die Kosten von Opus 5.5’s kombinieren seine gemessenen 144.834 Output-Tokens mit geschätzten 89.138 Eingabetokens aus einem Schwestermodell, wobei $4 pro Million Eingabetokens und $20 pro Million Output-Tokens verwendet werden. Das ergibt $3.2532.
Die Kosten umfassen die endgültigen, beibehaltenen Antwortgenerierungs-Antworten. Aufrufe von Evaluierungs-Models, fehlgeschlagene oder ersetzte Wiederholungsversuche sowie RAG-Indexierungs- oder Embedding-Gebühren liegen außerhalb dieser Berechnung. Unterschiede bei Tokenizern, Generierungseinstellungen und der Ausführungsumgebung beeinflussen die Vergleiche ebenfalls.
Einschränkungen des Benchmarks
Dieses öffentliche Dataset könnte in den Trainingsdaten von Models enthalten sein. Die Ergebnisse können daher nicht belegen, wie gut ein Model mit unbekannten Finanzproblemen umgeht.
Die Ergebnisse decken einen festen Fragensatz und die aufgezeichneten Läufe ab. Die Variation bei wiederholten Läufen und die statistische Signifikanz wurden nicht nachgewiesen. Die LLM-basierte Antwortenextraktion kann Fehler verursachen, und die Bewertung der endgültigen Antwort validiert nicht jeden Schritt in der Erklärung.
Geschätzte Eingabezahlen und gespeicherte Preise schränken die Kostengenauigkeit ein. Unser separater RAG-Bericht hat ungeklärte Model-Zuordnung und Token-Bilanzierung, wie oben beschrieben. Seine Zahlen bleiben historische Beobachtungen, bis die Quellen abgeglichen sind.
Dieser Benchmark misst die finanzielle Fragenbeantwortung. Er testet keine Anlagerenditen, regulatorische Compliance, Betrugserkennung oder Deployment-Zuverlässigkeit.
Fazit
Muse Wonder und Claude Opus 5.5 liegen mit dem höchsten erzielten Ergebnis gleichauf, mit jeweils 218 richtigen Antworten. Ihre berechneten Kosten betragen $8,4098 und $3.2532. Gemini 4 Argon erreicht 216 für $2,65 und entspricht damit GPT-5.6 Sol Pro zu niedrigeren berechneten Kosten. GPT-6.1 Sol Pro erreicht 215 für $3,28, GPT-6 Sol erreicht 212 mit den wenigsten Output-Tokens und GPT-6 Luna erreicht 207 für $0.0754. Dies sind beobachtete Ergebnisse bei einem festen Fragensatz. Die Zuverlässigkeit bei wiederholten Läufen bleibt ungemessen.
Als bevorzugte Quelle hinzufügenWeiterführende Literatur
KI-basiertes Aktienhandel behandelt eine separate Finanzanwendung.ein fester Fragensatz. Die Zuverlässigkeit bei wiederholten Läufen bleibt ungemessen.
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{sari2026,
author = {Sarı, Ekrem},
title = {{Benchmark von 90+ LLMs im Finanzwesen: Claude Opus 5.5 & Gemini 4 Argon}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/finance-llm}},
note = {AIMultiple. Abgerufen am 1. Oktober 2026}
}Ergebnisse und Zeitstempel von 1.6 Tausend Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 6 CSV-Dateien und eine README enthält.
Möchten Sie die granularen Daten dahinter? Premium beitreten
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.