Benchmark von 38 LLM-Studiengängen im Bereich Finanzen: Claude Opus 4.6, Gemini 3.1 Pro & mehr

Wir bewerteten 38 LLM-Studiengänge im Bereich Finanzen anhand von 238 anspruchsvollen Fragen aus dem FinanceReasoning-Benchmark, um herauszufinden, welche Studiengänge bei komplexen Aufgaben des finanziellen Denkens wie Bilanzanalyse, Prognosen und Kennzahlenberechnungen besonders gut abschneiden.

LLM-Finanzbenchmark-Übersicht

Wir bewerteten LLMs anhand von 238 schwierigen Fragen aus dem FinanceReasoning-Benchmark (Tang et al.). ¹ Dieser Teilbereich zielt auf die anspruchsvollsten Aufgaben im Bereich des finanzwirtschaftlichen Denkens ab und bewertet komplexe, mehrstufige quantitative Schlussfolgerungen unter Einbeziehung finanzwirtschaftlicher Konzepte und Formeln. Unsere Bewertung basierte auf einem speziell entwickelten Aufgabendesign und Bewertungskriterien wie Genauigkeit und Tokenverbrauch.

Eine detaillierte Erklärung, wie diese Kennzahlen berechnet wurden und welcher Rahmen für diese Bewertung verwendet wurde, finden Sie in unserer Methodik für Finanzbenchmarks .

Ergebnis: Welcher LLM-Studiengang ist der beste für den Bereich Finanzen?

Spitzenreiter (>83 % Genauigkeit):

gpt-5-2025-08-07 erzielt mit 829.720 Tokens eine Genauigkeit von 88,23 %. Dies entspricht dem aktuellen Stand der Technik bei Aufgaben zur finanziellen Argumentation.

claude-opus-4.6 erzielt eine Genauigkeit von 87,82 % bei 164.369 Token und liefert damit eine nahezu Spitzenleistung bei gleichzeitig deutlich geringerem Tokenverbrauch als der Marktführer.

gpt-5-mini-2025-08-07 erreicht eine Genauigkeit von 87,39 % mit 595.505 Token und stellt damit eine starke Alternative innerhalb der GPT-5-Familie dar.

gemini-3.1-pro-preview erzielt eine Genauigkeit von 86,55 % bei 475.148 Token und übertrifft damit seinen Vorgänger gemini-3-pro-preview (86,13 %) bei gleichzeitigem Verbrauch von 35 % weniger Token (730.759 Token).

Sowohl gemini-3-pro-preview als auch gpt-5.2 erreichen eine Genauigkeit von 86,13 %. gpt-5.2 benötigt dafür jedoch nur 247.660 Token, verglichen mit 730.759 Token bei gemini-3-pro-preview, was es dreimal effizienter macht.

Leistungsstarke Teams (80-83% Genauigkeit):

claude-opus-4.5 erzielt eine Genauigkeit von 84,03 % bei 144.505 Token und erhält damit Claudes starkes Gleichgewicht zwischen Leistung und Effizienz aufrecht.

Die Modelle claude-sonnet-4.6 und gemini-3-flash-preview erreichen eine Genauigkeit von 83,61 %. Claude Sonnet 4.6 benötigt 161.035 Token, während Gemini 3 Flash Preview dies mit 118.530 Token schafft und damit die tokeneffizienteste Option unter allen Hochleistungsmodellen darstellt.

kimi-k2.5 erreicht eine Genauigkeit von 82,77 %, benötigt aber 877.868 Token, den höchsten Verbrauch aller Modelle dieser Leistungsklasse.

Mittlere Stufe (70-80% Genauigkeit):

Die Modelle o3-pro-2025-06-10 (78,15 % Genauigkeit, 473.659 Token) und kimi-k2 (78,15 % Genauigkeit, 100.323 Token) liegen gleichauf. Kimi-k2 ist das effizienteste Modell dieser Gruppe.

o3-mini-2025-01-31 (77,31 % Genauigkeit, 376.929 Token), gpt-5-nano-2025-08-07 (76,89 % Genauigkeit, 1.028.909 Token) und claude-sonnet-4-20250514 (76,05 % Genauigkeit, 135.462 Token) folgen dicht dahinter.

Leistungsschwache Geräte (Genauigkeit <70 %):

claude-3-5-sonnet-20241022 (67,65 % Genauigkeit, 90.103 Token) und gpt-oss-20b (67,65 % Genauigkeit, 515.041 Token) führen diese Stufe an.

Es folgen gemini-2.5-flash (65,55 % Genauigkeit, 286.603 Token), glm-4.5 (64,29 % Genauigkeit, 692.662 Token) und gpt-4.1-nano-2025-04-14 (63,45 % Genauigkeit, 171.096 Token).

Das am schlechtesten bewertete Modell ist deepseek-v3-0324 , das bei 100.861 Token eine Genauigkeit von 10,92 % aufwies.

Leistungseinblicke:

Der Benchmark zeigt keinen eindeutigen Zusammenhang zwischen Tokenverbrauch und Genauigkeit. deepseek-r1-0528 verbrauchte die meisten Token (1.251.064) und erreichte dennoch eine Genauigkeit von 62,18 %, während claude-opus-4-20250514 mit 132.274 Token eine Genauigkeit von 80,25 % erzielte.

Die Token-Effizienz variiert selbst bei leistungsstarken Modellen erheblich. gemini-3-flash-preview benötigt 118.530 Token, um eine Genauigkeit von 83,61 % zu erreichen, während kimi-k2.5 877.868 Token für eine Genauigkeit von 82,77 % verbraucht (7,4-mal so viele Token für eine etwas geringere Leistung).

Die obige Tabelle enthält weitere KI-Modell-Benchmarks, darunter auch die für diesen Benchmark verwendeten.

Benchmark-Methodik für finanzielle Argumentation

Unser Benchmark ermöglicht eine faire, transparente und reproduzierbare Bewertung der Leistungsfähigkeit von Large Language Models (LLM) bei komplexen Aufgaben des finanziellen Denkens.

Testaufbau & Datenkorpus

• Benchmark-Suite: Wir nutzten die Daten, den Code und die Auswertungsskripte der FinanceReasoning-Benchmark. Wir wählten sie aufgrund ihres Spezialgebiets quantitative und inferenzielle Finanzprobleme.
• Wissenskorpus und Testfragen: Wir konzentrierten unsere Analyse auf die schwierige Teilmenge mit 238 anspruchsvollen Fragen. Gemäß der Benchmark-Definition umfasst jeder Datenpunkt Folgendes:
  1. Eine Frage, die mehrstufige logische und numerische Schlussfolgerungen erfordert.
  2. Ein Kontext, der oft dichte Informationen in strukturierten Formaten wie Markdown-Tabellen enthält (z. B. Bilanzen, Aktienkursdaten).
  3. Eine endgültige, realistische Antwort für eine objektive Bewertung.

• Beispielhafte Abfragetypen: Die Schwierigkeit des Benchmarks ergibt sich aus der Anforderung, dass die Modelle vielfältige und komplexe Aufgaben im Bereich des Finanzwesens bewältigen müssen. Um diese Bandbreite zu verdeutlichen, heben wir zwei repräsentative Beispiele aus dem Testdatensatz hervor:

Beispiel: Algorithmisches und zeitreihenanalytisches Schließen (technische Analyse)

Kontext: Ein Investor analysiert die Aktienkurse der letzten 25 Tage, um den Keltner-Kanal mithilfe eines 10-Tage-EMA-Zeitraums und eines 10-Tage-ATR-Zeitraums mit einem Multiplikator von 1,5 zu berechnen.

Frage: Welchen Wert hat das letzte obere Band im Keltner-Kanal…? Antwort auf zwei Dezimalstellen genau.

Diese Abfrage testet die Fähigkeit eines Modells, als quantitativer Analyst zu agieren, indem sie Folgendes prüft:

1. Dekonstruktion eines zusammengesetzten Indikators: Die Erkenntnis, dass der „Keltner-Kanal“ von zwei anderen komplexen Indikatoren abgeleitet ist:
   • exponentieller gleitender Durchschnitt (EMA)
   • Die durchschnittliche wahre Reichweite (ATR) .
2. Implementierung der algorithmischen Logik: Korrekte Implementierung der iterativen Algorithmen für EMA und ATR von Grund auf anhand einer Zeitreihe von 25 Datenpunkten.
3. Synthese der Ergebnisse: Kombination der berechneten Werte gemäß der endgültigen Keltner-Kanalformel (Oberes Band = EMA + (Multiplikator × ATR)).

Kernbewertungsprinzipien

• Isolierte und standardisierte API-Aufrufe: Für jedes Modell führten wir die Evaluierung programmatisch über die jeweiligen API-Endpunkte durch (z. B. OpenRouter, OpenAI). Dadurch wurde sichergestellt, dass jedes Modell unter identischen Bedingungen die gleichen Eingaben erhielt und somit Schwankungen durch Interaktionen mit der Benutzeroberfläche ausgeschlossen wurden.
• Freiformgenerierung: Wir haben die Modelle nicht auf ein Multiple-Choice-Format beschränkt. Stattdessen wurden sie aufgefordert, eine umfassende, freie Antwort zu formulieren, was eine authentischere Beurteilung ihrer Denkfähigkeit ermöglichte.
• Gedankenketten-Strategie: Um den Denkprozess der Modelle zu erfassen und zu bewerten, verwendeten wir eine Gedankenketten-Strategie. Das System forderte jedes Modell explizit auf, das Problem zunächst Schritt für Schritt zu durchdenken, bevor es zu einer endgültigen Antwort gelangte. Dieser Ansatz ermöglicht eine tiefere Analyse des Lösungswegs eines Modells, die über das Endergebnis hinausgeht.

Bewertungsmetriken und -rahmen

Wir nutzten das vollautomatische Bewertungsframework des FinanceReasoning-Benchmarks, um die Modellergebnisse zu bewerten. Dieses Framework ist darauf ausgelegt, sowohl die konzeptionelle Korrektheit als auch den Rechenaufwand zu messen.

1. Primäre Kennzahl: Genauigkeit

Diese Kennzahl beantwortet die entscheidende Frage: „Kann das Modell das finanzielle Problem korrekt lösen?“ Der Bewertungsprozess umfasst eine ausgeklügelte zweistufige Pipeline:

• Schritt 1: LLM-basierte Antwortextraktion: Die Rohausgabe eines Modells ist ein unstrukturierter Text, der sowohl die Begründung als auch das Endergebnis enthält. Um den endgültigen numerischen oder booleschen Wert zuverlässig zu extrahieren, verwendeten wir ein leistungsstarkes Supervisor-Modell (openai/gpt-4o) als intelligenten Parser. Diese Methode identifiziert das beabsichtigte Endergebnis konsistent, selbst bei geringfügigen Formatierungsabweichungen zwischen verschiedenen Modellen.
• Schritt 2: Toleranzbasierter Vergleich: Eine einfache „exakte Übereinstimmung“ reicht bei numerischen Problemen nicht aus. Daher wurde das ermittelte Ergebnis programmatisch mit den Referenzwerten verglichen. Das Skript wendet einen numerischen Toleranzschwellenwert (eine relative Abweichung von 0,2 %) an, um geringfügige Abweichungen bei Gleitkommazahlen oder Rundungen fair zu behandeln und sicherzustellen, dass inhaltlich sinnvolle Lösungen als korrekt markiert werden.

2. Sekundäre Kennzahl: Token-Verbrauch

Diese Kennzahl beantwortet die Frage: „Wie rechenaufwändig ist es für das Modell, diese Probleme zu lösen?“ Sie misst die Gesamtkosten, die mit der Generierung der 238 Antworten verbunden sind.

• Berechnung: Für jeden API-Aufruf erfassten wir die vom Modellanbieter zurückgegebenen Nutzungsdaten, darunter prompt_tokens und completion_tokens. Die Gesamtbewertung eines Modells ergibt sich aus der Summe der completion_tokens (vom Modell generierte Ausgabetokens) über alle 238 Fragen. Dies ermöglicht eine klare Messung der Ausführlichkeit des Modells und des gesamten Rechenaufwands für die jeweilige Aufgabe.

Dieser Zwei-Metrik-Ansatz, der vom FinanceReasoning-Benchmark selbst bereitgestellt wird, ermöglicht eine ganzheitliche Bewertung, indem die grundsätzliche Problemlösungsfähigkeit eines Modells (Genauigkeit) gegen seine operative Effizienz (Token-Verbrauch) abgewogen wird.

Finanzielles Denken mit Retrieval-Augmented Generation (RAG)

Um eigenständige Modelle zu übertreffen, haben wir ein eigenes RAG-Framework entwickelt und implementiert, das sich von der ursprünglichen Implementierung des Benchmarks unterscheidet. Unser Ansatz basiert auf einem modernen Vektordatenbank-Stack (Qdrant), der LLMs während der Inferenzzeit mit relevantem, domänenspezifischem Wissen versorgt und ihnen so hilft, Probleme zu lösen, die über ihre Trainingsdaten hinausgehen. Wir haben dies anhand von gpt-4o-mini getestet, um seine Auswirkungen zu messen.

Ergebnisse und Analyse: Der Ampel-Kompromisse

Die Einführung von RAG hatte einen signifikanten und messbaren Einfluss auf die Leistung von gpt-4o-mini.

Wichtigste Erkenntnisse aus der RAG-Bewertung:

• Deutliche Genauigkeitsverbesserung: RAG verbesserte nachweislich die Problemlösungsfähigkeit des Modells und steigerte die Genauigkeit um über 10 Prozentpunkte . Dies bestätigt, dass die Bereitstellung eines externen, relevanten Kontextes für komplexe, domänenspezifische Denkaufgaben äußerst effektiv ist.
• Der Preis der Genauigkeit: Dieser Leistungszuwachs hatte seinen Preis. Der Tokenverbrauch stieg um fast das 18-Fache und die Ausführungszeit um das 20-Fache. Dies ist auf die zusätzlichen API-Aufrufe für das Einbetten und, noch wichtiger, die wesentlich größeren und komplexeren Eingabeaufforderungen zurückzuführen, die das LLM verarbeiten muss.
• Auswirkungen auf größere Modelle: Die Ergebnisse von gpt-4o-mini legen nahe, dass RAG zwar eine höhere Leistung ermöglicht, die Anwendung dieser Methode auf größere, teurere Modelle wie GPT-4o oder Claude Opus jedoch deutlich aufwändiger und zeitintensiver ist. Dies verdeutlicht den entscheidenden Zielkonflikt zwischen Genauigkeit, Kosten und Latenz bei der Entwicklung produktionsreifer KI-Systeme im Finanzbereich.

Finanzielle Argumentation: RAG-Methode

Unsere RAG-Pipeline basiert auf einem modernen Stack und nutzt Qdrant als Vektordatenbank sowie das Modell von OpenAI zur Generierung semantischer Vektordarstellungen. Der Prozess besteht aus zwei Hauptphasen: einer Offline-Indexierungsphase und einer Online-Abruf- und Generierungsphase.

1. Indexierung von Wissenskorpora

• Korpuserstellung: Wir haben eine spezialisierte Wissensbasis aus zwei vom Benchmark bereitgestellten Quellen zusammengestellt:
  1. Finanzdokumente: Eine Sammlung von Artikeln (financial_documents.json), die verschiedene Finanzkonzepte und -begriffe erläutern.
  2. Finanzfunktionen: Eine Bibliothek mit sofort einsatzbereiten Python-Funktionen (functions-article-all.json), die zur Lösung spezifischer Finanzberechnungen entwickelt wurden.
• Intelligent Chunking & Embedding: Um dieses Korpus für einen effizienten Abruf vorzubereiten, wurden jedes Dokument und jede Funktion verarbeitet und indexiert:
  1. Chunking: Dokumente wurden anhand ihrer Abschnitte in kleinere, semantisch zusammenhängende Einheiten segmentiert. Jede Python-Funktion wurde als einzelne, atomare Einheit behandelt. Dadurch wird sichergestellt, dass der abgerufene Kontext fokussiert und relevant ist.
  2. Einbettung: Jeder Chunk wurde anschließend mithilfe des text-embedding-3-small-Modells in einen 1536-dimensionalen Vektor umgewandelt.
  3. Indizierung: Diese Vektoren wurden in zwei separate Sammlungen innerhalb unserer lokalen Qdrant-Instanz indiziert (financial_documents_openai_small und financial_functions_openai_small), optimiert für die Kosinusähnlichkeitssuche.

2. RAG-gestützte Inferenz

Für jede der 238 Fragen wurde der Denkprozess des Modells um die folgenden automatisierten Schritte erweitert:

1. Einbettungsgenerierung (API-Aufrufe 1 & 2): Die Benutzeranfrage (Frage + Kontext) wurde in einen Einbettungsvektor umgewandelt. Hierfür waren zwei Aufrufe der Einbettungs-API von OpenAI erforderlich, um die Suche in beiden Sammlungen vorzubereiten.
2. Multiquellen-Abfrage: Der Abfragevektor wurde verwendet, um gleichzeitig eine semantische Suche in beiden Qdrant-Sammlungen durchzuführen und die relevantesten Informationen abzurufen:
   • Die drei relevantesten Dokumentabschnitte aus der Sammlung financial_documents.
   • Die beiden relevantesten Python-Funktionen aus der Sammlung financial_functions.
3. Prompt-Erweiterung: Die abgerufenen Dokumente und Funktionen wurden dynamisch in den Prompt eingefügt, wodurch ein umfangreiches, kontextbezogenes „Informationspaket“ entstand. Dies erhöhte die Größe des Eingabeprompts erheblich (von ~300–500 Token auf ~3.000–5.000+ Token ).
4. Generierung der endgültigen Antwort (API-Aufruf 3): Diese erweiterte Eingabeaufforderung wurde an das Modell gpt-4o-mini gesendet, um die endgültige, begründete Antwort zu generieren.

LLM-Studiengänge im Bereich Finanzen – Benchmark-Beschränkungen

Unser Benchmark ist zwar umfassend, unterliegt aber einigen wichtigen Einschränkungen:

• Risiko der Datenverfälschung : Da der Datensatz öffentlich zugänglich ist, besteht die Möglichkeit, dass diese Modelle mit dem Benchmark-Datensatz trainiert wurden. Dies könnte zu überhöhten Werten führen und die Beurteilung der tatsächlichen Leistungsfähigkeit erschweren.
• RAG-Analyse eines einzelnen Modells : Die RAG-Bewertung wurde an einem Modell (gpt-4o-mini) durchgeführt, daher sind die beobachteten Zielkonflikte zwischen Leistung und Kosten möglicherweise nicht auf alle anderen Modelle übertragbar.

Änderungsprotokoll

20. Februar 2026

Dem Benchmark wurden 2 neue Modelle hinzugefügt:

• Google: Gemini 3.1 Pro Vorschau (google/gemini-3.1-pro-preview)
• Anthropic: Claude Sonnet 4.6 (anthropic/claude-sonnet-4.6)

6. Februar 2026

Dem Benchmark wurden 7 neue Modelle hinzugefügt:

• Claude Opus 4.6 (anthropic/claude-opus-4.6)
• Gemini 3 Pro Vorschau (google/gemini-3-pro-preview)
• GPT 5.2 (openai/gpt-5.2)
• Claude Opus 4.5 (anthropic/claude-opus-4.5)
• Gemini 3 Flash-Vorschau (google/gemini-3-flash-preview)
• Kimi K2.5 (moonshotai/kimi-k2.5)
• Claude Sonnet 4.5 (anthropic/claude-sonnet-4.5)

Weiterführende Literatur

Finanzanalyse kann verschiedene Fähigkeiten umfassen, wie beispielsweise Aktienanalyse, Auslegung von Finanzgesetzen und finanzlogisches Denken. In unserem Benchmark konzentrierten wir uns speziell auf finanzlogisches Denken, während andere Aufgaben in separaten Artikeln behandelt werden.

• LLM für die Aktienanalyse: Diese Modelle helfen bei der Verarbeitung von Marktdaten, Unternehmensberichten und Nachrichten, um Investitionsmöglichkeiten zu identifizieren. (Vollständige Analyse hier: KI-gestützter Aktienhandel )
• KI im Finanzrecht: Einige LLM-Absolventen können Finanzvorschriften, Verträge und Compliance-Anforderungen interpretieren, um juristische und finanzbezogene Aufgaben zu unterstützen. (Unsere Liste mit KI-Tools für das Rechtswesen finden Sie hier: KI-Tools für das Rechtswesen )

FAQs

Referenzlinks

1.

GitHub - BUPT-Reasoning/FinanceReasoning: [ACL 2025] Official resources of &quot;FinanceReasoning: Benchmarking Financial Numerical Reasoning More Credible, Comprehensive and Challenging&quot;. · GitHub

Ekrem Sarı

KI-Forscher

Folgen auf

Ekrem ist KI-Forscher bei AIMultiple und konzentriert sich auf intelligente Automatisierung, GPUs, KI-Agenten und RAG-Frameworks.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten