Benchmark von 90+ LLMs im Finanzwesen: Claude Opus 5.5 & Gemini 4 Argon

Der Testsatz ist die schwere Teilmenge des FinanceReasoning-Benchmarks (Tang et al.) mit 238 Fragen.¹ Die Genauigkeit ist der Prozentsatz der korrekt beantworteten Fragen. Numerische Antworten erhalten eine relative Toleranz von 0,2 %.

Output-Tokens sind die Tokens, die über die 238 Antworten hinweg generiert wurden. Input-Tokens werden in der Kostenberechnung separat gezählt.

Die Kosten sind die berechneten USD-Ausgaben für den Frage-Antwort-Lauf, basierend auf den Token-Zahlen und Preisen aus unserer Kostenanalyse. Einige Input-Zahlen sind geschätzt. Diese Zahlen schließen die Kosten der Antwortevaluierung aus. Die Kosten für GPT-6.1 Terra, MiniMax M3.1 Flash und Kimi K3.1 Pro verwenden gemessene Input- und Output-Zahlen sowie OpenRouter-Preise, die am 27. Oktober 2026 geprüft wurden. DeepSeek V4.1 Flash 1017 und Muse Spark Open verwenden gemessene Input- und Output-Zahlen sowie OpenRouter-Listenpreise, die am 30. Oktober 2026 geprüft wurden. Ihre Input-/Output-Preise pro Million Tokens betragen $0,30/$1,20 bzw. $1,25/$4.25. Diese Berechnungen verwenden Basis-Listenpreise und schließen Cache- und zeitbasierte Rabatte aus. Ältere Einträge behalten ihre erfassten Preise bei.

Genauigkeit, Token-Nutzung und Kostenbefunde

Muse Wonder und Claude Opus 5.5 liegen mit 218 richtigen Antworten gleichauf

Muse Wonder und Claude Opus 5.5 teilen sich die höchste erfasste Punktzahl von 91,60 % (218/238). Gemini 4 Argon und GPT-5.6 Sol Pro beantworten zwei Fragen weniger richtig und erreichen 90,76 % (216/238). GPT-5.6 Sol, Claude Fable 5.1, Claude Fable 5, Grok 4.6 und GPT-6.1 Sol Pro beantworten jeweils 215 richtig und erreichen 90,34 %.

Muse Wonder erzeugt 407.149 Output-Tokens für $8,4098, verglichen mit 144.834 Output-Tokens von Opus 5.5 und $3.2532. Die Kosten von Muse Wonder verwenden 66.706 gemessene Input-Tokens. Die Opus-Input-Nutzung wird anhand eines Schwester-Models geschätzt. Die Ausführungssetups unterscheiden sich, und die Zuverlässigkeit wiederholter Läufe wurde nicht nachgewiesen.

Gemini 4 Argon entspricht GPT-5.6 Sol Pro bei 90,76 % für $2,65

Gemini 4 Argon erreicht 90,76 % (216/238) und erzeugt 249.825 Output-Tokens für $2.6477. GPT-5.6 Sol Pro beantwortet dieselbe Anzahl korrekt mit 385.886 Output-Tokens zu $16.3533. Argon lieferte für jede Frage eine nicht leere Antwort. Die Kosten verwenden gemessene Input- und Output-Token-Zahlen.

GPT-6.1 Sol Pro hat die niedrigsten Kosten unter den bei 90,34 % gleichauf liegenden Models

GPT-6.1 Sol Pro beantwortet 215 Fragen korrekt für $3,28, die niedrigsten berechneten Kosten unter den fünf bei 90,34 % gleichauf liegenden Models. GPT-5.6 Sol kostet $3,85, Grok 4.6 kostet $4,45, Claude Fable 5.1 kostet $8,64 und Claude Fable 5 kostet $10.05.

GPT-6.1 Sol Pro erzeugt 187.502 Output-Tokens, verglichen mit 117.735 von GPT-5.6 Sol. Die niedrigeren erfassten Token-Preise gleichen die längere Ausgabe und die höhere Input-Zahl aus. Unter diesen gleichauf liegenden Models verbraucht GPT-5.6 Sol weiterhin die wenigsten Output-Tokens.

GPT-6.1 Terra erzeugt die wenigsten Output-Tokens

GPT-6.1 Terra verbraucht 79.655 Output-Tokens, die niedrigste Zahl unter den 96 Models. Es beantwortet 207 Fragen korrekt (86,97 %) für $0.4617. GPT-6 Sol verbraucht 85.228 Output-Tokens und beantwortet 212 korrekt (89,08 %) für $0.98. GPT-6 Astra erzeugt 87.774 Tokens, beantwortet 208 korrekt (87,39 %) und kostet zu den erfassten Preisen $5.02.

GPT-6.1 Sol beantwortet 214 Fragen korrekt (89,92 %) und verbraucht 89.153 Output-Tokens für $1.02. Claude Sonnet 5.5 erreicht 212 korrekte Antworten (89,08 %) mit 142.728 Tokens zu $1.61. Jeder Vergleich deckt einen abgeschlossenen Lauf über dieselben 238 Fragen ab.

GPT-6 Luna übertrifft 83 % Genauigkeit für $0,0754

GPT-6 Luna beantwortet 207 Fragen korrekt (86,97 %) für $0,0754, die niedrigsten erfassten Kosten unter Models über 83 %. DeepSeek V4.1 Flash beantwortet ebenfalls 207 korrekt für $0.2572. GPT-6 Sol erhöht die Zahl auf 212 (89,08 %) für $0.9792.

GPT-OSS-120B erreicht 81,09 % für $0,0611, während Llama 4 Maverick 75,21 % für $0,0995 erreicht. Mistral Small 3.2 24B hat den insgesamt günstigsten Lauf mit $0,0352 und einer Genauigkeit von 41,18 %.

Claude Haiku 5.5 beantwortet 204 Fragen für $0,1506

Claude Haiku 5.5 erreicht 85,71 % (204/238) und erzeugt 283.280 Output-Tokens für $0.1506. Mistral Large 4 erreicht 87,39 % (208/238) und erzeugt 1.562.401 Output-Tokens für $3.3083. Beide Läufe lieferten für jede Frage eine nicht leere Antwort.

Höhere Ausgaben garantieren keine höhere Punktzahl

O1 Pro hat die höchsten berechneten Kosten von $381,28 und erreicht 80,67 %. O3 Pro kostet $39,23 für 78,15 %, während O1 $46,59 für 74,79 % kostet. Beide liegen unter Gemini 3 Flash Preview bei $0.39.

Hy4 Preview erzeugt 4.119.093 Output-Tokens, die größte Zahl im Vergleich, und erreicht 89,92 %. GPT-6.1 Sol erreicht dieselben 214 richtigen Antworten mit 89.153 Tokens. DeepSeek R1 0528 erzeugt 1.251.064 Tokens bei 62,18 %, ein weiteres Beispiel dafür, dass die Ausgabelänge unabhängig von der Genauigkeit variiert.

Ergebnisse für alle 96 Models

Die erfassten Genauigkeitswerte verwenden in einigen älteren Einträgen unterschiedliche Rundungen. GPT-5, Grok 4.5 und Kimi K3 haben jeweils 210 richtige Antworten, trotz der angezeigten Werte 88,23 % und 88,24 %. Model-Identifikatoren bleiben erhalten, und die Kosten werden auf vier Dezimalstellen gerundet.

Wie Models dieselbe Finanzfrage beantwortet haben

Acht Models haben dieselbe Frage zur Anleihepreisbewertung beantwortet. Die Anleihe kostet $950 und hat jährliche Cashflows von $50, $50 und $1.050. Die entsprechenden Treasury-Spot-Sätze betragen 1,5 %, 1,8 % und 2,0 %.

Diese Auszüge stammen aus gespeicherten Model-Antworten. Sie bewahren den ursprünglichen Wortlaut, wobei die Formatierung vereinfacht und ausgelassene Passagen mit […] markiert sind. Jede Überschrift nennt den vom Antwort-Extraktor ausgewählten Wert und das gespeicherte Benchmark-Ergebnis. Sieben Models verwendeten OpenRouter, während Opus 5.5 Claude Code verwendete.

Die Referenzantwort lautet 4,92 %. Wir haben sie durch Lösen der Cashflow-Gleichung überprüft, was ungefähr 4.916972 % ergibt. Sechs Models bestanden mit extrahierten Antworten von 4,92 %. Gemini 4 Argon gab 4,94 % zurück, außerhalb der relativen Toleranz des Benchmarks von 0,2 %.

Muse Spark Open gab einen Bereich von 4,90 % bis 4,95 % an und erwähnte auch 4,92 %. Der Antwort-Extraktor wählte 4,90 % aus, was zu einem gespeicherten Fehlschlag führte. Diese Antwort zeigt, wie mehrere Kandidatenwerte die Antwortevaluierung beeinflussen können.

MiniMax M3.1 Flash bestand mit 4,92 %. Die Erläuterung beschreibt diesen Spread außerdem als ungefähr 49 Basispunkte. Ein Spread von 4.92 Prozentpunkten entspricht 492 Basispunkten. Der Benchmark bewertet die extrahierte Endzahl, daher kann eine bestandene Punktzahl mit einem Fehler in der Erläuterung einhergehen.

Diese ausgewählte Frage veranschaulicht einzelne Antworten und das Bewertungsverhalten. Die Ergebnisse für alle 238 Fragen liefern den breiteren Vergleich der Models.

Retrieval-Experiment: 24 zusätzliche richtige Antworten

Unser vorhandener Experimentbericht vergleicht eigenständige Generierung mit Retrieval-Augmented Generation (RAG), bei der abgerufene Dokumente dem Prompt eines Models hinzugefügt werden. Er verzeichnet einen Anstieg von 104 auf 128 richtige Antworten im selben Fragensatz mit 238 Fragen.

Die Experimentnotizen bezeichnen das getestete Model als GPT-4o Mini. Die Haupttabelle ordnet O4 Mini dieselbe Basisgenauigkeit und Token-Zahl zu. Die Identität des RAG-Models muss anhand der ursprünglichen Laufprotokolle bestätigt werden. Außerdem fehlt der Token-Spalte eine verifizierte Input-/Output-Aufteilung, sodass sie nicht direkt mit der obigen Output-Token-Spalte verglichen werden kann.

Die erfasste Zeit steigt von ungefähr 3 auf 59 Minuten. Die Latenz pro Anfrage und die separat für das Retrieval aufgewendete Zeit wurden hier nicht ermittelt. Die Tests deckten ein berichtetes Model ab, was die Schlussfolgerungen zu RAG bei den anderen Models einschränkt.

Erfasstes Retrieval-Setup

Historische Notizen beschreiben einen Qdrant-Index, der Finanzerklärungen und Python-Funktionen aus dem Wissenskorpus des Benchmarks enthält. Text-embedding-3-small erzeugt 1.536-dimensionale Vektoren. Dokumente werden nach Abschnitten aufgeteilt, und jede Funktion bildet einen eigenen Chunk.

Für jede Frage und ihren Kontext durchsucht die Pipeline zwei Collections mithilfe der Kosinus-Ähnlichkeit und ruft drei Dokument-Chunks und zwei Funktionen ab. Jene Notizen verzeichnen zwei Embedding-Aufrufe pro Abfrage und einen Anstieg von ungefähr 300–500 auf 3.000–5.000 Input-Tokens. Abgerufenes Material wird in den Generierungs-Prompt aufgenommen. Diese Setup-Details bleiben Teil des historischen Berichts. Das für diese Überarbeitung geprüfte lokale Retrieval-Skript belegt nicht, dass dieser spezifische Qdrant-Lauf ausgeführt wurde.

Methodik des Financial-Reasoning-Benchmarks

Questions and prompting

Wir haben die schwere Teilmenge von FinanceReasoning mit 238 Fragen verwendet. Jede Frage liefert Kontext und eine Referenzantwort. Der Kontext kann Finanztabellen, Zeitreihen oder die Eingaben für eine Finanzberechnung enthalten.

Ein Beispiel fragt nach dem letzten oberen Keltner-Channel-Band aus 25 Tagen Aktienkursen, unter Verwendung eines 10-Tage-exponentiellen gleitenden Durchschnitts, einer 10-Tage-Durchschnitts-True-Range und eines Multiplikators von 1.5. Die Antwort wird mit zwei Dezimalstellen verlangt. Die Lösung erfordert die Berechnung des gleitenden Durchschnitts und der True Range und anschließend die Anwendung der Formel für das obere Band.

Beim Chain-of-Thought-Prompting wird das Model angewiesen, die Berechnung durchzuarbeiten und mit einer numerischen Antwort abzuschließen. Es erhält die Frage und den Kontext in einer free-form Generierungsaufgabe. Die im September und Oktober 2026 hinzugefügten 40 Models absolvierten jeweils Inference und Evaluierung für alle 238 Fragen über OpenRouter, ohne fehlende Ausgaben. Das akzeptierte Ergebnis von Opus 5.5 stammt aus einem Ausführungssetup, das sich von der Haupt-API-Pipeline unterschied. Die Ausführungsbedingungen variieren daher über den Vergleich hinweg.

Answer extraction and scoring

Die Evaluierung extrahiert eine Antwort aus der generierten Antwort und vergleicht sie mit der Referenz. Unsere aktuelle Konfiguration verwendet Claude Sonnet 4.5 für die Antwortevaluierung. Numerische Antworten gelten als bestanden, wenn ihr absoluter Fehler höchstens 0,2 % des absoluten Werts der Referenzantwort beträgt.

Die Genauigkeit ist die Anzahl richtiger Antworten geteilt durch 238. Eine Frage verändert die Punktzahl um ungefähr 0.42 Prozentpunkte. Die Anzahl richtiger Antworten macht Gleichstände dort deutlich, wo erfasste Prozentsätze durch Rundung abweichen.

Token- und Kostenberechnungen

Die Gesamtzahlen der Output-Tokens stammen aus den Nutzungsdatensätzen der Models. Wir berechnen die Kosten, indem wir Input- und Output-Tokens mit ihren erfassten Preisen pro Million Tokens kombinieren:

Gespeicherte Preise enthalten historische Raten für eingestellte Models. Geschätzte Input-Zahlen sind in der zugrunde liegenden Ergebnistabelle markiert. Die Kosten von Opus 5.5 kombinieren seine gemessenen 144.834 Output-Tokens mit geschätzten 89.138 Input-Tokens eines Schwester-Models, unter Verwendung von $4 pro Million Input-Tokens und $20 pro Million Output-Tokens. Das ergibt $3.2532.

Die Kosten decken die endgültigen aufbewahrten Antwortgenerierungs-Antworten ab. Aufrufe von Evaluierungs-Models, fehlgeschlagene oder ersetzte Wiederholungen sowie RAG-Indexierungs- oder Embedding-Gebühren liegen außerhalb dieser Berechnung. Unterschiede bei Tokenisierern, Generierungseinstellungen und Ausführungssetup beeinflussen die Vergleiche ebenfalls.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Limitierungen des Benchmarks

Dieses öffentliche Dataset könnte in den Trainingsdaten von Models enthalten gewesen sein. Die Punktzahlen können daher nicht belegen, wie gut ein Model mit unbekannten Finanzproblemen umgeht.

Die Ergebnisse decken einen festen Fragensatz und die erfassten Läufe ab. Die Variation bei wiederholten Läufen und die statistische Signifikanz wurden nicht ermittelt. Die LLM-basierte Antwortevaluierung kann Fehler verursachen, und die Bewertung der endgültigen Antwort validiert nicht jeden Schritt der Erläuterung.

Geschätzte Input-Zahlen und gespeicherte Preise begrenzen die Kostenpräzision. Unser separater RAG-Bericht weist, wie oben beschrieben, eine ungeklärte Model-Zuordnung und Token-Buchhaltung auf. Seine Zahlen bleiben historische Beobachtungen, bis die Quellen abgeglichen sind.

Dieser Benchmark misst die Beantwortung von Finanzfragen. Er testet keine Anlagerenditen, regulatorische Konformität, Betrugserkennung oder Bereitstellungszuverlässigkeit.

Weiterführende Informationen

KI-basierter Aktienhandel behandelt eine separate Finanzanwendung.ein fester Fragensatz.

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Benchmark von 90+ LLMs im Finanzwesen: Claude Opus 5.5 & Gemini 4 Argon}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/finance-llm}},
  note   = {AIMultiple. Abgerufen am 30. Oktober 2026}
}

Referenzlinks

1.

[2506.05828] FinanceReasoning: Benchmarking Financial Numerical Reasoning More Credible, Comprehensive and Challenging

Ekrem Sarı

KI-Forscher

Folgen auf

Ekrem ist KI-Forscher und Datenwissenschaftler bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten