Agentic AI Finance Benchmark: FinRobot vs FinRL vs FinGPT

79 % der Führungskräfte geben an, dass ihre Unternehmen mit der Einführung von KI-Agenten begonnen haben, doch nur 34 % nutzen sie derzeit im Rechnungswesen und Finanzwesen. ¹

Wir führen einen Vergleich von drei agentenbasierten KI -Finanztools durch, die speziell für Finanzworkflows entwickelt wurden. Die Ergebnisse deuten darauf hin, dass

• FinGPT scheint besser für die Analyse von Finanzberichten geeignet zu sein.
• FinRobot zeigt relative Stärke bei Bewertungsaufgaben, und
• FinRL schnitt in beiden Anwendungsbereichen unterdurchschnittlich ab, obwohl es im Bereich der konzeptionellen Finanzierung mit anderen mithalten konnte.

Neben Benchmark-Details finden Sie hier Anwendungsfälle von KI-Agenten im Finanzwesen und Herausforderungen beim Einsatz agentenbasierter KI in Finanzoperationen:

Agentic Finanzbenchmark

Ergebnisse

Die Ergebnisse verdeutlichen mehrere wichtige Muster:

• Konzeptuelles Wissen: Alle drei Tools schnitten gleich gut ab (88%), was auf ein solides grundlegendes Finanzwissen auf allen Plattformen schließen lässt.
• Analyse der Finanzberichte: Es wurden erhebliche Unterschiede festgestellt. FinGPT erzielte die höchste Punktzahl (86 %), während FinRL deutlich zurückblieb (29 %). Dies deutet darauf hin, dass FinGPT über stärkere Fähigkeiten im Umgang mit tabellarischen Finanzdaten und buchhaltungsbasierten Berechnungen verfügt.
• Bewertung: FinRobot schnitt mit 75 % besser ab als die Konkurrenz, was auf eine höhere Leistungsfähigkeit bei der Anwendung quantitativer Finanzmodelle wie Dividendenabschlag und Anleihenbewertung hindeutet. FinRL zeigte in diesem Bereich hingegen nur begrenzte Kompetenz (25 %).
• Durchschnittliche Leistung: FinGPT erzielte die höchste Gesamtpunktzahl (79 %), gefolgt von FinRobot (74 %). FinRL schnitt weniger konstant ab und erreichte eine Gesamtpunktzahl von 53 %.

Aus Sicht des Arbeitsablaufs und der Organisation:

• FinGPT : ² Dank seiner starken Leistung bei der Analyse von Finanzberichten (86 %) eignet sich FinGPT hervorragend für Arbeitsabläufe in den Bereichen Reporting, Buchhaltung und Controlling. Es unterstützt Finanzteams bei der Budgetabweichungsanalyse, dem Quartalsreporting und der Finanzanalyse und ist somit eine gute Wahl für Corporate-Finance- und Accounting-Teams.
• FinRobot : ³ Durch seine überragende Genauigkeit bei Bewertungsaufgaben (75 %) eignet sich FinRobot besonders für Investitionsanalysen, Aktienresearch und Workflows in der Unternehmensentwicklung. Es unterstützt Teams bei M&A-Bewertungen, Kapitalbudgetierung und Investitionsentscheidungen und ist somit wertvoll für Investmentbanking-, Strategie- und Finanzplanungs- und Analyseteams (FP&A).
• FinRL : ⁴ Obwohl FinRL bei angewandten Finanzaufgaben hinterherhinkte, deutet seine gleichwertige Leistung im Bereich des konzeptionellen Wissens (88 %) auf Potenzial als Trainings-, Ausbildungs- oder Entscheidungsunterstützungsinstrument hin. Es eignet sich möglicherweise besser für akademische Zwecke, Finanzausbildungsprogramme oder Teams, die Reinforcement-Learning-Ansätze in experimentellen Umgebungen erforschen, als für die direkte Finanzanalyse.

Methodik

Zur Bewertung der Effektivität agentenbasierter KI-Tools im Finanzwesen wurden drei Plattformen getestet: FinRobot, FinGPT und FinRL. Der Benchmark umfasste neun strukturierte Finanzfragen aus verschiedenen Bereichen:

• Konzeptionelles/theoretisches Finanzwissen – Fragen, die das Verständnis grundlegender Finanzkonzepte wie Kapitalbudgetierung, Finanzierungsentscheidungen und Auswirkungen auf den Cashflow überprüfen.
• Analyse von Finanzberichten – Übungen, die Berechnungen und Interpretationen auf Basis von Gewinn- und Verlustrechnungen und Bilanzen erfordern, einschließlich Nettoumlaufvermögen, Buchwert vs. Marktwert und Leistungskennzahlen wie EVA, ROC und ROE.
• Bewertung – Fragen zur Aktien- und Anleihenbewertung, einschließlich Dividendendiskontierungsmodellen, Zeitwert des Geldes und Anleihenpreisbildung unter verschiedenen Kreditratings.

Durchschnittliche Leistung – Aus den drei Kategorien wurde ein gewichteter Durchschnittswert berechnet, wobei die Gewichtung der einzelnen Kategorien der Anzahl der zur Lösung der Aufgaben erforderlichen Schritte entsprach. Die gewichteten Durchschnittswerte ermöglichten einen besseren Vergleich der verschiedenen Tools und dienten als Grundlage für die Gesamtergebnisse des Benchmarks.

Um eine standardisierte Testumgebung für alle Tools zu gewährleisten:

• Die Verbindungen zu GPT-3.5 turbo wurden über die OpenRouter API hergestellt.
• Jedem Werkzeug wurden die gleichen Fragen gestellt.
• Die Antworten wurden anschließend auf Richtigkeit, Vollständigkeit und Korrektheit der finanziellen Argumentation geprüft. Bei der Auswertung numerischer Antworten wurde eine Fehlertoleranz von 1 % angewendet, um geringfügige Rundungsdifferenzen zu berücksichtigen.

Die Ergebnisse wurden zusammengefasst, um sowohl Ergebnisse auf Kategorieebene als auch Gesamtergebnisse zu liefern.

Mögliche Gründe für die Unterschiede in der Benchmark-Leistung

Die Vergleichsergebnisse spiegeln Unterschiede im Aufgabenfokus wider und nicht etwa Lücken im grundlegenden Finanzwissen. Alle drei Tools erzielten im Bereich konzeptionelle Finanzkenntnisse identische Werte (88 %), was auf ein vergleichbares Grundlagenverständnis hindeutet.

Die Leistung in den angewandten Aufgaben variierte. FinGPT erzielte die höchste Punktzahl in der Finanzanalyse (86 %), was mit seiner besseren Handhabung buchhaltungsorientierter Berechnungen und tabellarischer Finanzdaten übereinstimmt. FinRobot schnitt bei der Bewertung am besten ab (75 %), was auf eine effektivere Anwendung quantitativer Finanzmodelle wie Discounted-Cashflow-Verfahren und Anleihenbewertung hindeutet. FinRL schnitt in beiden Anwendungskategorien schlechter ab, obwohl es den anderen konzeptionell ebenbürtig war, was auf eine schwächere Ausführung bei rechenintensiven, mehrstufigen Finanzaufgaben hindeutet.

Die Gesamtunterschiede ergeben sich daraus, wie die einzelnen Tools gemeinsames konzeptionelles Wissen in angewandtes finanzielles Denken umsetzen, insbesondere bei der Analyse von Rechnungslegungsunterlagen im Vergleich zu bewertungsorientierten Arbeitsabläufen.

Wie agentenbasierte KI-Systeme in Finanzoperationen eingesetzt werden

Agentische KI prägt zunehmend Finanzprozesse durch die Automatisierung von Entscheidungsprozessen und die Steigerung der Effizienz. Diese intelligenten Systeme werden im Bankwesen, in der Unternehmensfinanzierung und an den Kapitalmärkten eingesetzt, um operative Herausforderungen zu bewältigen, Risiken zu managen und den Kundenservice zu verbessern.

Quelle: PwC ⁵

1. Betrugserkennung und Risikomanagement

Anwendungsfall: Überwachung von Transaktionen und Verhaltensmustern in Echtzeit.

Vorteil: Verdächtige Aktivitäten werden sofort erkannt, wodurch potenzielle finanzielle Verluste reduziert werden.

Transformation: Agenten scannen kontinuierlich Transaktionen, kennzeichnen Anomalien und ergreifen sofortige Maßnahmen, wie z. B. die Sperrung von Konten oder die Benachrichtigung von Compliance-Teams. Dadurch wird die Lücke zwischen Erkennung und Reaktion geschlossen und ein proaktives Risikomanagement eingeführt.

2. Kreditwürdigkeitsprüfung und Kreditvergabe

Anwendungsfall: Beurteilung der Kreditwürdigkeit von Kreditnehmern und Anpassung der Kreditvergabekriterien.

Vorteil: Verbessert die Genauigkeit und Inklusivität von Kreditentscheidungen.

Transformation: KI-Systeme analysieren Finanzkennzahlen in Echtzeit und passen Bewertungen dynamisch an. Dadurch können Teams Kredite effizienter vergeben und gleichzeitig die Risikokontrolle aufrechterhalten.

3. Automatisierung der Compliance und Überwachung regulatorischer Vorgaben

Anwendungsfall: Sicherstellung der Einhaltung von Richtlinien, Vorschriften und internen Kontrollen.

Vorteil: Reduziert Compliance-Fehler und unterstützt die Auditvorbereitung.

Transformation: Agenten validieren automatisch Dokumente, gleichen regulatorische Listen ab und führen lückenlose Prüfprotokolle. Regelaktualisierungen werden sofort übernommen, wodurch Compliance proaktiv statt reaktiv gestaltet wird.

4. Finanzanalyse und Rechnungswesen

Anwendungsfall: Umsatzrealisierung, Kostenmanagement und Berichtswesen.

Vorteil: Erhöht die Genauigkeit der Berichterstattung und reduziert den manuellen Aufwand.

Transformation: Agentic AI konsolidiert Daten, identifiziert Unstimmigkeiten und erstellt revisionssichere Berichte. Es überwacht Transaktionen und Verträge kontinuierlich und ermöglicht so schnellere und zuverlässigere Buchhaltungsprozesse.

5. Liquiditäts- und Portfoliomanagement

Anwendungsfall: Cashflow-Management, Kapitalumschichtung und Portfolio-Rebalancing.

Vorteil: Steigert die betriebliche Effizienz und beschleunigt die Entscheidungsfindung.

Transformation: KI-Systeme überwachen Liquiditätsbestände, Marktbedingungen und Risikoschwellenwerte in Echtzeit. Sie können interne Überweisungen initiieren, Vermögenswerte neu ausrichten oder Ausnahmen sofort eskalieren und ersetzen so langsame Batch-Prozesse durch kontinuierliche, datengesteuerte Maßnahmen.

6. Intelligente Dokumentenverarbeitung (IDP)

Anwendungsfall: Gewinnung von Erkenntnissen aus unstrukturierten Texten wie Verträgen, Dokumenten und Nachrichten.

Vorteil: Beschleunigt die Entscheidungsfindung und verringert das Risiko, wichtige Informationen zu übersehen.

Transformation: KI-Agenten klassifizieren, fassen zusammen und rufen relevante Daten automatisch ab, wodurch schnellere Investitionsempfehlungen und operative Entscheidungen ohne manuelle Dokumentenprüfung möglich sind.

7. Automatisierung des Kundenservice

Anwendungsfall: Bearbeitung von Anfragen, Verarbeitung von Formularen und Unterstützung der Kontoverwaltung.

Vorteil: Reduziert die Betriebskosten, gewährleistet die Verfügbarkeit rund um die Uhr und minimiert menschliche Fehler.

Transformation: Agentic AI priorisiert Anfragen automatisch, eskaliert komplexe Fälle mit vollständigem Kontext und bietet personalisierte Unterstützung. Mitarbeiter können sich so auf anspruchsvolle, urteilsbasierte Aufgaben konzentrieren, anstatt Routinearbeiten zu erledigen.

6 Herausforderungen agentenbasierter KI im Finanzdienstleistungssektor

Agentische KI bietet dem Finanzwesen leistungsstarke Möglichkeiten , birgt aber auch neue Risiken und Komplexitäten. Autonome Systeme beseitigen nicht die Verantwortung, sondern verlagern lediglich die Art und Weise und den Ort ihrer Wahrnehmung.

Datenschutz und Sicherheit

KI-Systeme verarbeiten sensible Finanz- und Personendaten. Sie müssen strenge Datenschutzbestimmungen wie die DSGVO und den CCPA einhalten. Klare Berechtigungen, Verschlüsselung und sichere Datenverarbeitung sind unerlässlich. Autonomie bedeutet nicht Kontrolllosigkeit. Schwache Sicherheitsvorkehrungen können sowohl die Bank als auch die Kunden gefährden.

Menschliche Aufsicht

Die Delegation von Routineaufgaben an KI verlagert die Verantwortung, anstatt sie aufzuheben. Menschliche Teams müssen Ausnahmen überwachen, ethische Bedenken prüfen und Richtlinien anpassen. KI funktioniert am besten, wenn Eskalationswege klar definiert und Verantwortlichkeiten festgelegt sind.

Voreingenommenheit und Erklärbarkeit

KI lernt aus historischen Daten. Sind diese Daten verzerrt oder unvollständig, können KI-Entscheidungen unfair sein. Banken sollten daher Folgendes beachten:

• Verwenden Sie diverse, repräsentative Datensätze.
• Implementieren Sie erklärbare KI-Modelle, die Entscheidungen begründen können.
• Führen Sie regelmäßige Audits und Fairness-Tests durch.

Transparente Entscheidungsprotokolle und vorhersehbares Verhalten sind entscheidend für Vertrauen.

Einhaltung gesetzlicher Bestimmungen

Agentische KI wirft neue Fragen zur Compliance auf:

• Wer trägt die Verantwortung für autonome Entscheidungen?
• Kann das System erklären, warum es sich auf eine bestimmte Weise verhalten hat?
• Wie kann die Bank die Einhaltung der Vorschriften nachweisen, wenn die KI die Führung übernimmt?

In der Europäischen Union stellt der EU-KI-Gesetzentwurf (Verordnung (EU) 2021/0106) strenge Anforderungen an risikoreiche KI-Systeme, einschließlich solcher, die im Finanzwesen eingesetzt werden. ⁶ Banken müssen sicherstellen, dass KI-Systeme nachvollziehbar, überprüfbar und rechenschaftspflichtig sind. Dies umfasst die Führung detaillierter Protokolle von Entscheidungen, die Durchführung von Risikobewertungen und den Nachweis, dass bei kritischen Prozessen menschliche Eingriffe erfolgen.

In den Vereinigten Staaten gibt es noch kein einheitliches, umfassendes KI-Gesetz. Banken müssen sich jedoch an die Vorgaben verschiedener Behörden halten:

• Das Office of the Comptroller of the Currency (OCC) und die Federal Reserve geben Validierungs- und Governance-Vorgaben für KI im Bankwesen vor. ⁷
• Das NIST AI Risk Management Framework bietet freiwillige Leitlinien zu Vertrauenswürdigkeit, Verantwortlichkeit und Risikobewertung im Bereich KI. ⁸

Die Beibehaltung eines Modells mit menschlicher Beteiligung an kritischen Entscheidungen und die detaillierte Dokumentation tragen zur Erfüllung dieser regulatorischen Anforderungen bei. Die Kenntnis der sich ständig ändernden Gesetze ist unerlässlich für den sicheren und gesetzeskonformen Einsatz von KI-gestützten Systemen.

Organisations- und Kulturwandel

KI verändert Teamrollen und kann einen Kulturwandel auslösen. Mitarbeiter, die bisher repetitive Aufgaben oder Dateneingabe erledigt haben, müssen möglicherweise KI-Systeme anleiten, überwachen oder schulen. Unternehmen sollten Umschulungen, klare Rollendefinitionen und kontinuierliche Unterstützung anbieten.

Governance und Risikomanagement

Eine starke Governance ist unerlässlich für sichere und skalierbare KI. Dazu gehört:

• Datenschutz- und Privatsphärenkontrollen
• Ethische Aufsicht und menschliche Führung
• Kontinuierliche Überwachung auf Verzerrungen und Fehler
• Klare Verantwortlichkeitsstrukturen

Bei gezielter Anwendung ermöglichen diese Maßnahmen Finanzinstituten, agentenbasierte KI effektiv zu nutzen und gleichzeitig Risiken zu minimieren.

FAQs

Weiterführende Literatur

• Führende KI-gestützte Finanzanalyseplattformen für Investoren
• KI-gestützte Excel-Tools zur Steigerung der Produktivität
• KI-gestützter Aktienhandel: Welches KI-Tool der Generation ist besser?

Referenzlinks

1.

AI agent survey: PwC

2.

[2306.06031] FinGPT: Open-Source Financial Large Language Models

3.

[2411.08804] FinRobot: AI Agent for Equity Research and Valuation with Large Language Models

4.

FinRL: Deep Reinforcement Learning Framework to Automate Trading in Quantitative Finance by Xiao-Yang Liu, Hongyang Yang, Jiechao Gao, Christina Wang :: SSRN

5.

AI agents for finance: PwC

6.

EU Artificial Intelligence Act | Up-to-date developments and analyses of the EU AI Act

7.

Comptroller's Handbook: Model Risk Management | OCC

8.

AI Risk Management Framework | NIST

Ezgi Arslan, PhD.

Branchenanalyst

Folgen auf

Ezgi besitzt einen Doktortitel in Betriebswirtschaftslehre mit Schwerpunkt Finanzen und arbeitet als Branchenanalystin bei AIMultiple. Sie treibt Forschung und Erkenntnisse an der Schnittstelle von Technologie und Wirtschaft voran und verfügt über Expertise in den Bereichen Nachhaltigkeit, Umfrage- und Stimmungsanalyse, KI-Agentenanwendungen im Finanzwesen, Optimierung von Antwortsystemen, Firewall-Management und Beschaffungstechnologien.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten