Große multimodale Modelle (LMMs) vs LLMs

Wir haben die Leistung großer multimodaler Modelle (LMMs) bei Aufgaben des finanziellen Denkens anhand eines sorgfältig ausgewählten Datensatzes bewertet. Durch die Analyse einer Teilmenge hochwertiger Finanzbeispiele bewerten wir die Fähigkeiten der Modelle bei der Verarbeitung von und dem Schlussfolgern mit multimodalen Daten im Finanzbereich.

Der Abschnitt zur Methodik bietet detaillierte Einblicke in den verwendeten Datensatz und den Evaluierungsrahmen.

Entdecken Sie große multimodale Modelle und vergleichen Sie mit großen Sprachmodellen.

Warum haben die Modelle unterschiedlich abgeschnitten?

Die Unterschiede in den Erfolgsquoten spiegeln wider, wie jedes Modell multimodale Finanzaufgaben verarbeitet. Da der Benchmark Beispiele aus dem FinMME-Datensatz verwendet, die Integration von Text und finanziellen Visualisierungen wie Diagrammen und strukturierten Dokumenten erfordern, hängt die Leistung stark von der Architektur, der Trainingsqualität und der multimodalen Ausrichtung eines Modells ab.

Modellarchitektur und Parameterdesign

Modelle unterscheiden sich darin, wie sie Text- und Bildencoder kombinieren, in der Anzahl aktiver Parameter und in der Komplexität ihrer Expertenweiterleitung.

• Llama 4 Maverick verwendet beispielsweise ein größeres expertenbasiertes Design, das stärkeres logisches Denken ermöglicht.
• Kleinere oder auf Effizienz ausgerichtete Modelle haben weniger Parameter, die auf multimodales Denken abgestimmt sind, was die Leistung einschränkt.

Diese architektonischen Unterschiede beeinflussen, wie gut jedes Modell numerische Zusammenhänge, Diagrammstrukturen und domänenspezifische visuelle Elemente interpretieren kann.

Abdeckung der Trainingsdaten

Einige Modelle werden mit umfangreichen multimodalen Datensätzen trainiert, während andere hauptsächlich auf allgemeine Daten angewiesen sind.

• Modelle der Familien Claude 4 und Qwen 2.5 integrieren große Mengen visueller und textueller Daten und verbessern dadurch ihre Fähigkeit, numerische und visuelle Hinweise aufeinander abzustimmen.
• Modelle, die mit begrenzteren multimodalen Korpora trainiert wurden, haben Schwierigkeiten mit Finanzdiagrammen und strukturierten Diagrammen.

Die Trainingsdaten beeinflussen unmittelbar, wie zuverlässig ein Modell cross-modale Finanzkonzepte verarbeitet.

Fine-tuning für modalitätsübergreifendes Denken

Der Benchmark erfordert eine Koordination zwischen Bildinterpretation und textbasiertem Denken.

• Claude-4-Modelle werden als stark bei Aufgaben beschrieben, die Diagramme und Schaubilder betreffen.
• Modelle ohne dediziertes cross-modales Fine-tuning erkennen visuelle Merkmale möglicherweise korrekt, scheitern jedoch, wenn es darum geht, sie mit Finanzsprache oder -logik zu verbinden.

Die Fine-tuning-Strategie eines Modells beeinflusst seine Fähigkeit, während der Analyse textuelle und visuelle Signale zu kombinieren.

Kontextverarbeitungskapazität

Finanzbeispiele enthalten oft mehrere Elemente, die zusammen gelesen werden müssen, wie mehrteilige Diagramme oder lange Beschreibungen.

• Modelle mit größeren Kontextfenstern können Beziehungen über lange Eingaben hinweg beibehalten.
• Stärker eingeschränkte Modelle können Abhängigkeiten übersehen und verringern so die Genauigkeit bei Aufgaben, die das Verfolgen mehrerer visueller und textueller Komponenten erfordern.

Die Größe des Kontextfensters beeinflusst, wie gut ein Modell die Übereinstimmung zwischen quantitativen und visuellen Details aufrechterhält.

Modellgröße und Effizienzprioritäten

Einige Modelle sind bewusst für einen ressourcenschonenden Einsatz und nicht für hochkomplexes Denken konzipiert.

• Phi-4 multimodal und ähnliche Modelle priorisieren die Effizienz, was die Tiefe der multimodalen Verarbeitung einschränkt.
• Größere Modelle behalten eine höhere Kapazität für Denkaufgaben, die ein feingranulares Diagrammverständnis erfordern.

Dieser Kompromiss führt zu niedrigeren Punktzahlen für kleinere Modelle.

Unterschiede im visuellen Verständnis

Die Evaluierung umfasst Aufgaben, die ein genaues Lesen von Diagrammen, die Identifizierung von Objekten in Finanzdokumenten und die Extraktion visueller Details erfordern.

• Modelle mit fortschrittlichen visuellen Pipelines, wie etwa Qwen 2.5-VL-Varianten, bewältigen diese Aufgaben effektiver.
• Andere können generische Bilder gut verarbeiten, schneiden aber bei strukturierten finanziellen Visualisierungen unregelmäßig ab.

Die Stärke des visuellen Denkens beeinflusst die Ergebnisse bei FinMME-artigen Beispielen erheblich.

Merkmale des Evaluierungsdatensatzes

Der Datensatz konzentriert sich auf multimodales finanzielles Denken und nicht auf allgemeine Aufgaben.

• Modelle, die für finanzielle, numerische oder diagrammbezogene Aufgaben trainiert oder feinabgestimmt wurden, schneiden besser ab.
• Generalistische Modelle ohne Domänenerfahrung weisen bei Finanzdatensätzen eine geringere Präzision auf.

Die Spezialisierung des Datensatzes macht die Leistung empfindlicher gegenüber der Qualität des modalitätsübergreifenden Denkens.

Was sind quelloffene große multimodale Modelle?

Quelloffene LMMs mit ihrer Anzahl an GitHub-Sternen:

Die Grafik zeigt, dass die GitHub-Popularität verschiedener quelloffener LMMs zugenommen hat, wobei einige Modelle kurz nach ihrer Veröffentlichung schnell angenommen wurden.

Die Janus-Serie von DeepSeek gewann innerhalb weniger Tage nach der Veröffentlichung von Janus-Pro am 27. Januar 2025 Tausende von GitHub-Sternen und übertraf damit ihre Konkurrenten, die Monate brauchten, um ähnliche Zahlen zu erreichen. Dieser schnelle Aufstieg war auf den Erfolg von Janus-Pro zurückzuführen und wurde durch die Dynamik beeinflusst, die DeepSeek-R1 erzeugte.

1. Gemma 3 von Google: Gemma 3 ist eine Familie leichter, hochmoderner offener Modelle, die aus der Gemini-2.0-Technologie abgeleitet sind. Diese Modelle bieten fortschrittliche Text- und visuelle Denkfähigkeiten, ein Kontextfenster von 128k Token, Unterstützung für Funktionsaufrufe und quantisierte Versionen für optimierte Leistung. Es umfasst ShieldGemma 2 für Bildsicherheit und unterstützt verschiedene Tools und Bereitstellungsoptionen.¹
2. Janus-Pro von DeepSeek: Janus-Pro ist eine weiterentwickelte Version des Janus-Modells, die sowohl Text und Bilder verstehen als auch generieren kann. Es verfügt über eine optimierte Trainingsstrategie, erweiterte Trainingsdaten und eine größere Modellgröße, was seine multimodalen Fähigkeiten verbessert.²
3. Qwen2.5-VL von Alibaba: Qwen2.5-VL von Alibaba ist eine multimodale Erweiterung des Sprachmodells Qwen2.5, die sowohl für das Text- als auch für das Bildverständnis entwickelt wurde. Es zeichnet sich durch groß angelegtes Pretraining (bis zu 18T Token), ein erweitertes Kontextfenster (bis zu 128K Token), verbesserte Befehlsausführung und robuste mehrsprachige Unterstützung aus und eignet sich daher für Aufgaben wie Bildbeschreibung und visuelle Fragenbeantwortung. ³
   • Aufbauend auf der Qwen2.5-VL-Serie hat Alibaba Qwen2.5-VL-32B-Instruct optimiert und als Open Source bereitgestellt, ein 32B-VL-Modell mit verbessertem feingranularem Bildverständnis und logischem Denken. Dies führt zu einer verbesserten Leistung und detaillierten Analyse bei Aufgaben wie Bildparsing, Inhaltserkennung und visueller Logikableitung.⁴
4. CLIP (Contrastive Language–Image Pretraining) von OpenAI: CLIP ist darauf ausgelegt, Bilder im Kontext natürlicher Sprache zu verstehen. Es kann Aufgaben wie die Zero-Shot-Bildklassifizierung übernehmen, bei der es Bilder auch in Kategorien, für die es nicht explizit trainiert wurde, durch das Verstehen von Textbeschreibungen genau klassifizieren kann.⁵
   • Aufbauend auf der Qwen2.5-VL-Serie hat Alibaba Qwen2.5-VL-32B-Instruct optimiert und als Open Source bereitgestellt, ein 32B-VL-Modell mit verbessertem feingranularem Bildverständnis und logischem Denken. Dies führt zu einer verbesserten Leistung und detaillierten Analyse bei Aufgaben wie Bildparsing, Inhaltserkennung und visueller Logikableitung.⁴
5. Flamingo von DeepMind: Flamingo ist darauf ausgelegt, die Stärken des Sprach- und Bildverständnisses zu nutzen, wodurch es Aufgaben ausführen kann, die das Interpretieren und Integrieren von Informationen aus Text und Bildern erfordern.⁶

Abbildung 1: Ein Beispiel von Chip Huyen⁷

Was sind die führenden LMMs?

Allgemeine LLM-UI- & API-Funktionen

Anbieter werden unter den beliebtesten multimodalen LLMs auf der Grundlage von Vergleichbarkeit, Datenverfügbarkeit und Aktualität ausgewählt.

LMMs mit ihrem Preis pro Token:

Um das am besten geeignete Modell auszuwählen, sollten Sie Faktoren wie Ihr Budget, die erforderlichen Fähigkeiten und das Leistungsniveau sowie das erwartete Volumen an Eingabe-/Ausgabe-Token für Ihren spezifischen Anwendungsfall berücksichtigen.

Lesen Sie mehr über LLM-Preisgestaltung.

Was sind die neuesten Fortschritte bei multimodalen Modellen?

Jüngste Fortschritte bei multimodalen Modellen haben neue Fähigkeiten und Effizienzgewinne in der KI-Entwicklung ermöglicht.

Video-zentrierte multimodale Basismodelle

Video-zentrierte multimodale Basismodelle gehen über die Erstellung allgemeiner Untertitel oder Zusammenfassungen hinaus und lernen stattdessen, Belege in Videos explizit zu lokalisieren.

Statt zu sagen, was passiert, können sie erkennen, wann es passiert (Zeitstempel) und wo es passiert (Begrenzungsrahmen um Objekte oder Bereiche).

Diese Entwicklung hin zu raumzeitlicher Verankerung macht das Videoverständnis präziser und überprüfbarer. Sie ermöglicht außerdem Aufgaben wie das Auffinden exakter Momente, das Verfolgen von Objekten, die Bearbeitung von Videos mit natürlicher Sprache sowie die Unterstützung von Robotik und sicherheitskritischen Systemen.

Beispielsweise ist Vidi⁸ ein Open-Source-Projekt von ByteDance, das sich auf große multimodale Modelle für Videoverständnis und -bearbeitung konzentriert.

Das Repository enthält den Code und die Ressourcen für eine Modellfamilie (z. B. Vidi-7B, Vidi1.5-9B, Vidi2 und Vidi2.5), die Bild, Audio und Text als Eingaben verwenden, um Aufgaben auszuführen wie:

• Zeitliche Suche (Auffinden der Zeitsegmente in einem Video, die zu einer Textabfrage passen)
• Raumzeitliche Verankerung (präzises Lokalisieren von Objekten mit Begrenzungsrahmen)
• Video-Fragenbeantwortung

Mistral 3 – multimodale Frontier-Veröffentlichung

Mistral KI hat eine neue Familie quelloffener KI-Modelle namens Mistral 3 entwickelt. Die Mistral-3-Suite umfasst sowohl multimodale und mehrsprachige Modelle auf Spitzenniveau als auch kleinere, effiziente Modelle, die für den Betrieb auf einer Reihe von Geräten ausgelegt sind – von der Cloud bis zum Edge und sogar auf einzelnen GPUs.

Diese Modelle werden unter einer freizügigen Open-Source-Lizenz (Apache 2.0) veröffentlicht und zielen darauf ab, den Zugang zu fortschrittlicher KI zu demokratisieren, Anpassungs- und Bereitstellungsflexibilität zu ermöglichen und Europas Position in der KI-Entwicklung zu stärken, wo Bedenken bestehen, gegenüber den USA und China bei Spitzentechnologien zurückzufallen.⁹

Quelloffene MoE-Vision-Language-Modelle

Kimi-VL (von Moonshot KI) ist ein quelloffenes multimodales Vision-Language-Modell, das mit einer Mixture-of-Experts-Architektur (MoE) aufgebaut ist und Aufgaben bewältigt, die Text, Bilder und Video kombinieren, während die Berechnung effizient bleibt.

Es verfügt über ein Backbone mit 16 Mrd. Gesamtparametern, aktiviert während der Inferenz jedoch typischerweise ca. 2.8 Mrd. Parameter, was hilft, Leistungsfähigkeit und Kosten in Einklang zu bringen.

Kimi-VL ist für fortgeschrittenes multimodales Denken, Langkontextverständnis (bis zu ca. 128 K Token) und agentenartige Interaktionen konzipiert und schneidet im Vergleich zu größeren Modellen bei Benchmarks wie Videoverständnis, optischer Zeichenerkennung (OCR), mathematischem Denken und Multi-Image-Aufgaben gut ab.

Varianten wie Kimi-VL-A3B-Thinking werden für Chain-of-Thought- und Denkaufgaben weiter fine-getunt, während der visuelle Encoder MoonViT ein hochauflösendes Eingabeverständnis unterstützt.

Abbildung 2: Kimi-VL-Architekturdesign.¹⁰

Anthropics Claude-4-Serie

Anthropics Claude-4-Serie integriert fortschrittliches visuelles Verständnis mit ihrer textbasierten Denk-Engine und bettet Vision direkt in Problemlösungs-Workflows ein.

Claude-4-Modelle zeigen eine starke Leistung bei multimodalen Denk-Benchmarks wie MMMU, insbesondere bei der Interpretation von Diagrammen, Schaubildern und komplexen visuellen Daten. Ein besonderes Merkmal von Claude Opus 4.1 ist die Fähigkeit, ästhetische Qualitäten von Bildern zu bewerten, was über die reine Erkennung hinaus zu nuancierteren Beurteilungen führt.

Diese Fähigkeiten, kombiniert mit Claudes agentischen Funktionen, machen die Serie effektiv für Aufgaben wie die Synthese von Forschungsergebnissen aus Berichten mit gemischten Text- und Bildinhalten oder die Unterstützung beim Interface-Design durch die Analyse visueller Mockups.

Googles Gemini 3

Google veröffentlichte Gemini 3 im November 2025, wobei Gemini 3 Pro sofort verfügbar war und der Gemini 3 Deep-Think-Modus kurz darauf für Google KI Ultra-Abonnenten eingeführt wurde. Gemini 3 wird von Google als das intelligenteste und leistungsfähigste multimodale Modell positioniert, mit nativer Unterstützung für Text, Bilder, Video, Audio und Code innerhalb einer einzigen Architektur.

Gemini 3 Pro wird mit einem Kontextfenster von 1 Million Token ausgeliefert und erzielt starke Ergebnisse bei multimodalen Benchmarks, darunter 81 % bei MMMU-Pro und 87.6 % bei Video-MMMU. Es führte bei der Veröffentlichung die LMArena-Bestenliste mit einem Elo-Wert von 1501 an und erreichte 91.9 % bei GPQA Diamond für das Denken auf Hochschulniveau und 76.2 % bei SWE-bench Verified für agentische Coding-Aufgaben.

Gemini 3 Deep Think ist ein verbesserter Denkmodus, der die Leistung bei den anspruchsvollsten Aufgaben weiter verbessert und 41.0 % bei Humanity’s Last Exam (ohne Tools) sowie 45.1 % bei ARC-AGI-2 erreicht. Zusammen mit Gemini 3 veröffentlichte Google auch Google Antigravity, eine agentische Entwicklungsplattform, die Gemini 3 mit dem Modell Gemini 2.5 Computer Use für die Browsersteuerung und dem Bildbearbeitungsmodell Nano Banana kombiniert und so End-to-End-Softwareentwicklungs-Workflows ermöglicht, in denen das Modell Aufgaben autonom planen, codieren und validieren kann.¹¹

GPT-5 von OpenAI

GPT-5 führt eine verbesserte native Multimodalität über Text, Sprache, Bild und Video ein. Anders als frühere Systeme, die stark auf Plugins angewiesen waren, integriert GPT-5 diese Modalitäten in einer einheitlichen Architektur, was zu reibungsloseren Interaktionen führt. Das Modell passt sich flexibel an verschiedene Eingabetypen an und kann zwischen ihnen wechseln.

Ein bemerkenswertes Merkmal ist der Echtzeit-Sprachmodus, der Tonfall, Tempo und Stil entsprechend den Anweisungen des Nutzers anpassen kann. Dadurch entsteht ein natürlicheres und anpassungsfähigeres Gesprächserlebnis. Auch die visuelle Verarbeitung wurde verbessert, wodurch Halluzinationen beim Interpretieren oder Generieren von Bildern, Diagrammen und Schaubildern reduziert werden. Ein weiterer Fortschritt liegt in den Speicherfähigkeiten, die es dem System ermöglichen, frühere Eingaben abzurufen und den Kontext über längere Interaktionen hinweg aufrechtzuerhalten.

Diese Verbesserungen machen GPT-5 besonders wertvoll für barrierefreie multimodale Schnittstellen, insbesondere für Menschen mit sensorischen Beeinträchtigungen.

Google DeepMinds robotikorientierte multimodale Modelle

Google DeepMind hat Gemini Robotics und Gemini Robotics-ER entwickelt, Modelle, die darauf zugeschnitten sind, Sehen, Sprache und Handeln in Robotiksystemen zu integrieren. Diese Modelle ermöglichen es Robotern, Aufgaben in unstrukturierten Umgebungen auszuführen, wie etwa Papier zu falten oder Flaschenverschlüsse aufzudrehen.

Ein zentrales Merkmal dieser Modelle ist ihr Sicherheitsmechanismus. Vor der Ausführung von Aktionen führt das System integrierte Prüfungen durch, um Risiken zu minimieren und die angemessene Ausführung von Aufgaben sicherzustellen. Dieser Ansatz adressiert eine der größten Herausforderungen in der Robotik: die Verbindung von fortgeschrittenem KI-Denken mit sicherer und zuverlässiger Ausführung in der realen Welt.

Llama 4 Scout und Llama 4 Maverick von Meta KI

Llama 4 Scout ist ein multimodales Modell mit 17 Milliarden aktiven Parametern und 16 Experten. Dieses Modell übertrifft die Modelle der vorherigen Llama-Generation und ist für den Betrieb auf einer einzelnen H100-GPU ausgelegt. Es verfügt über ein Kontextfenster von 10 Millionen Token, um große Informationsmengen zu verarbeiten. Benchmark-Ergebnisse zeigen, dass Llama 4 Scout bessere Ergebnisse erzielt als Gemma 3, Gemini 2.0 Flash-Lite und Mistral 3.1 über eine Reihe häufig berichteter Benchmarks hinweg.

Llama 4 Maverick ist ein multimodales Modell mit 17 Milliarden aktiven Parametern und 128 Experten. Dieses Modell wird als Spitzenreiter seiner Klasse präsentiert und übertrifft GPT-4o und Gemini 2.0 Flash über eine Reihe von Benchmarks hinweg. Es erreicht eine vergleichbare Leistung wie DeepSeek v3 beim Denken und Programmieren, während es weniger aktive Parameter verwendet. Eine experimentelle Chat-Version von Llama 4 Maverick erreichte einen ELO-Wert von 1417 auf der LMArena-Plattform.

4o-Bildgenerierung von OpenAI

Das neueste Bildgenerierungsmodell von OpenAI, eingebettet in GPT-4o, integriert Text- und Bilderstellung in einem einheitlichen System. Diese multimodale Fähigkeit ermöglicht es GPT-4, Bilder zu generieren und dabei auf sein textbasiertes Wissen und seinen Chat-Kontext zurückzugreifen, wodurch ein Zusammenspiel zwischen Sprache und Bildern entsteht.

Durch mehrstufige Generierung können Nutzer Bilder dialogbasiert verfeinern, wie in den nachstehenden Abbildungen gezeigt. Das Modell baut auf früheren Texteingaben und hochgeladenen Bildern auf, um Konsistenz zu wahren. Durch die Analyse der vom Nutzer bereitgestellten visuellen Inhalte und kontextbezogenes Lernen passt sich GPT-4o an spezifische Details an und verbessert so seine Fähigkeit, kontextbewusste Bilder zu erzeugen.

Abbildung 3: Aufforderung zur Erstellung einer Zeichnung unter Verwendung von Referenzen und Anweisungen zu Textmerkmalen für das Bild.

Abbildung 4: Aufforderung zur Erstellung eines Fotos aus der Zeichnung und Platzierung in einer Szene.¹²

Qwen3-VL von Alibaba

Alibabas Qwen3-VL-Serie, die ab September 2025 veröffentlicht wurde, baut auf dem Sprachmodell Qwen3 auf und ergänzt es um tiefere visuelle Wahrnehmungs- und Denkfähigkeiten. Die Familie umfasst dichte Varianten von 2B bis 32B Parametern sowie Mixture-of-Experts-Varianten mit bis zu 235B Gesamtparametern (22B aktiv), die alle unter der Apache-2.0-Lizenz veröffentlicht wurden.

Zu den wichtigsten Merkmalen gehören ein natives Kontextfenster von 256K (erweiterbar auf 1 Million Token), erweiterte mehrsprachige OCR für 32 Sprachen, 2D- und 3D-Objektverankerung für räumliches Denken und verkörperte KI, stundenlanges Videoverständnis mit sekundengenauer Indizierung sowie visuelle Agentenfähigkeiten für die GUI-Steuerung.

Die Thinking-Varianten sind für MINT- und multimodales Denken abgestimmt, während die Instruct-Varianten auf allgemeine Vision-Language-Aufgaben wie Dokumentenparsing, Diagrammextraktion und visuelle Fragenbeantwortung abzielen.

Gemma 3 von Google

Googles Gemma 3 baut auf der Technologie der Gemini-2.0-Modelle auf. Es ist in vier Größen (1B, 4B, 12B und 27B) für unterschiedliche Hardwareanforderungen erhältlich und bietet ein Kontextfenster von 128k Token. Gemma 3 schneidet bei Setups mit einem einzelnen Beschleuniger gut ab und umfasst Text- und visuelles Denken, Funktionsaufrufe sowie die Unterstützung von über 35 Sprachen, mit Pretraining für mehr als 140. Quantisierte Versionen reduzieren Modellgröße und Rechenbedarf. Das ShieldGemma-2-System bietet die Klassifizierung der Inhaltssicherheit.

Phi-4-multimodal von Microsoft

Microsofts Phi-4-multimodal ist ein Modell mit 5.6B Parametern, das Sprache, Bild und Text in einer einheitlichen Architektur verarbeitet. Es nutzt cross-modales Lernen für kontextbewusste Interaktionen zwischen verschiedenen Eingabetypen. Das Modell verarbeitet mehrere Eingabeformate, ohne separate Verarbeitungssysteme zu benötigen, und ist für den Einsatz auf Geräten und Edge-Computing konzipiert. Zu den Anwendungen gehören Smartphone-KI, Automobilsysteme und mehrsprachige Dienste.

Was ist ein großes multimodales Modell (LMM)?

Ein großes multimodales Modell ist ein fortgeschrittener Typ von KI-Modell, der mehrere Arten von Datenmodalitäten verarbeiten und verstehen kann. Diese multimodalen Daten können Text, Bilder, Audio, Video und möglicherweise weitere umfassen. Das zentrale Merkmal eines multimodalen Modells ist seine Fähigkeit, Informationen aus diesen verschiedenen Datenquellen oft gleichzeitig zu integrieren und zu interpretieren.

Diese können als weiterentwickelte Versionen von großen Sprachmodellen (LLMs) verstanden werden, die mit Text und auch mit verschiedenen Datentypen arbeiten können. Darüber hinaus sind die Ausgaben multimodaler Sprachmodelle so konzipiert, dass sie textuell, visuell, auditiv usw. sein können.

Multimodale Sprachmodelle gelten als der nächste Schritt auf dem Weg zur künstlichen allgemeinen Intelligenz.

Was ist ein multimodaler KI-Agent?

Multimodale KI-Agenten sind Systeme, die darauf ausgelegt sind, mit der Welt über verschiedene Datentypen wie Bilder, Videos und Text zu interagieren, sodass sie sowohl in digitalen als auch in physischen Umgebungen agieren können. Multimodale Modelle sind die Kernkomponente dieser Agenten und ermöglichen es ihnen, Informationen aus unterschiedlichen Quellen wahrzunehmen und zu verstehen.

Modelle wie Magma nutzen beispielsweise Vision-Language-Verständnis und räumliche Intelligenz, die durch Techniken wie Set-of-Mark und Trace-of-Mark während des Pretrainings auf multimodalen Datensätzen erreicht werden.

Dadurch kann der Agent Aufgaben ausführen, die vom Verstehen von Videoinhalten und der Beantwortung von Fragen bis zur Navigation in Benutzeroberflächen und zur Steuerung von Robotern reichen, und demonstriert so die vielseitigen Fähigkeiten, die multimodale Modelle durch die Nutzung verschiedener Datenmodalitäten in KI-Agenten einbringen. Die folgende Abbildung zeigt, wie Magma Roboterbewegungen zur Ausführung von Aufgaben plant, und veranschaulicht seine räumliche Intelligenz in Aktion.¹³

Was ist der Unterschied zwischen LMMs und LLMs?

1. Datenmodalitäten

• LMMs: Sie sind darauf ausgelegt, mehrere Arten von Dateneingaben bzw. Modalitäten zu verstehen und zu verarbeiten. Dazu gehören Text, Bilder, Audio, Video und manchmal andere Datentypen wie sensorische Daten. Die zentrale Fähigkeit von LMMs besteht darin, diese verschiedenen Datenformate oft gleichzeitig zu integrieren und zu verstehen.
• LLMs: Diese Modelle sind auf die Verarbeitung und Generierung textueller Daten spezialisiert. Sie werden hauptsächlich mit großen Textkorpora trainiert und sind gut darin, menschliche Sprache in unterschiedlichen Kontexten zu verstehen und zu erzeugen. Sie verarbeiten von Natur aus keine nicht-textuellen Daten wie Bilder oder Audio.

2. Anwendungen und Aufgaben

• LMMs: Aufgrund ihrer multimodalen Natur können diese Modelle für Aufgaben eingesetzt werden, die das Verstehen und Integrieren von Informationen über verschiedene Datentypen hinweg erfordern. Ein LMM könnte beispielsweise einen Nachrichtenartikel (Text), die dazugehörigen Fotos (Bilder) und zugehörige Videoclips analysieren, um ein umfassendes Verständnis zu erlangen.
• LLMs: Ihre Anwendungen konzentrieren sich auf textbezogene Aufgaben wie das Schreiben von Artikeln, das Übersetzen von Sprachen, das Beantworten von Fragen, das Zusammenfassen von Dokumenten und das Erstellen textbasierter Inhalte.

Welche Datenmodalitäten haben große multimodale Modelle?

Text

Dies umfasst jede Form von schriftlichen Inhalten wie Bücher, Artikel, Webseiten und Social-Media-Beiträge. Das Modell kann textuelle Inhalte verstehen, interpretieren und generieren, einschließlich Aufgaben der natürlichen Sprachverarbeitung wie Übersetzung, Zusammenfassung und Fragenbeantwortung.

Bilder

Diese Modelle können visuelle Daten analysieren und generieren. Dazu gehört das Verstehen des Inhalts und Kontexts von Fotografien, Illustrationen und anderen grafischen Darstellungen. Aufgaben wie Bildklassifizierung, Objekterkennung und Bildgenerierung aus Textbeschreibungen fallen in diese Kategorie.

Audio

Dies umfasst Tonaufnahmen, Musik und gesprochene Sprache. Modelle können trainiert werden, Sprache zu erkennen, Musik, Umgebungsgeräusche und andere akustische Eingaben zu erfassen. Sie können Sprache transkribieren, gesprochene Befehle verstehen und sogar synthetische Sprache oder Musik erzeugen.

Video

Durch die Kombination von visuellen und akustischen Elementen umfasst die Videoverarbeitung das Verstehen bewegter Bilder und der dazugehörigen Töne. Dies kann die Analyse von Videoinhalten, das Erkennen von Handlungen oder Ereignissen in Videos und die Erzeugung von Videoclips umfassen.

Während die meisten aktuellen großen multimodalen Sprachmodelle Text und Bilder verarbeiten können, zielt die zukünftige Forschung darauf ab, Audio- und Videodateneingaben einzubeziehen.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Wie werden große multimodale Modelle trainiert?

Das Training großer multimodaler Modelle (LMMs) unterscheidet sich in mehreren wesentlichen Aspekten erheblich vom Training großer Sprachmodelle (LLMs):

1. Datenerfassung und -aufbereitung

• LLMs: Konzentrieren sich auf Textdaten aus Büchern, Websites und schriftlichen Quellen, wobei der Schwerpunkt auf sprachlicher Vielfalt für die LLM-Trainingsdatenquellen liegt.
• LMMs: Erfordern Text-, Bild-, Audio- und Videodaten. Die Erfassung ist aufgrund unterschiedlicher Formate komplexer. Datenannotation und Abstimmung zwischen den Modalitäten sind unerlässlich.

2. Design der Modellarchitektur

• LLMs: Verwenden Transformer-Architekturen, die für die sequenzielle Textverarbeitung optimiert sind.
• LMMs: Setzen komplexere Architekturen ein, die mehrere neuronale Netzwerktypen integrieren (CNNs für Bilder, Transformer für Text) und über Mechanismen zur Verbindung dieser Modalitäten verfügen.

3. Pretraining

• LLMs: Werden mit Textkorpora vortrainiert, wobei Techniken wie maskierte Sprachmodellierung zum Einsatz kommen.
• LMMs: Werden über mehrere Datentypen hinweg vortrainiert und lernen, Text mit Bildern zu korrelieren oder Videosequenzen zu verstehen.

4. Fine-tuning

• LLMs: Werden auf spezialisierten Textdatensätzen für bestimmte Aufgaben fine-getunt.
• LMMs: Erfordern Fine-tuning sowohl auf modalitätsspezifischen Datensätzen als auch auf cross-modalen Datensätzen, um Beziehungen zwischen verschiedenen Datentypen herzustellen.

5. Evaluierung und Iteration

• LLMs: Die Evaluierungsmetriken konzentrieren sich auf Sprachverständnis- und Generierungsaufgaben, einschließlich Flüssigkeit, Kohärenz und Relevanz.
• LMMs: Werden anhand breiterer Metriken bewertet, die Bilderkennung, Audioverarbeitung und cross-modale Integrationsfähigkeiten abdecken.

Wie funktionieren LMMs?

Große multimodale Modelle ähneln großen Sprachmodellen in Trainingsprozess, Design und Funktionsweise. Sie verwenden dieselbe Transformer-Architektur und dieselben Trainingsstrategien. Große multimodale Modelle werden trainiert mit:

• Textdaten
• Millionen oder Milliarden von Bildern mit Textbeschreibungen
• Videoclips
• Audioausschnitten
• Weiteren Eingabedaten wie Code

Dieses Training umfasst das gleichzeitige Lernen mehrerer Datenmodalitäten und ermöglicht es dem Modell:

• Ein Foto einer Katze zu erkennen
• Ein Wort in einem Audioclip zu identifizieren
• Konzepte und sensorische Details jenseits von Text zu verstehen

Auf diese Weise können Nutzer Folgendes hochladen:

• Ein Bild, um:
  • Eine Beschreibung dessen zu erhalten, was vor sich geht
  • Das Bild als Teil eines Prompts zu verwenden, um Text oder Bilder zu generieren
  • Folgefragen zu bestimmten Elementen des Bildes zu stellen
  • Den Text des Bildes in eine andere Sprache zu übersetzen (z. B. Menü)

Abbildung 5: Hochladen eines Bildes einer Katze in ChatGPT, um es zu beschreiben.

• Diagramme und Grafiken, um:
  • Komplizierte Folgefragen zu dem zu stellen, was sie zeigen
• Design-Mockups, um:
  • Den zur Erstellung erforderlichen HTML- und CSS-Code zu erhalten.

Abbildung 6: Das Bild im Stil eines Wes-Anderson-Films prompten. ChatGPT leitet den Prompt an ein Bildgenerierungsmodell (wie DALL·E) weiter, das die Anfrage interpretiert und das gestaltete Bild erzeugt.

Nach dem Trainingsprozess können Modelle ungesunde Stereotype und toxische Ideen übernehmen. Um sie zu verbessern, können Techniken wie folgende eingesetzt werden:

• Reinforcement Learning mit menschlichem Feedback (RLHF)
• Überwachende KI-Modelle
• Red Teaming (Testen der Robustheit des Modells) eingesetzt werden.

Darüber hinaus können KI-Governance-Tools und Tools für verantwortungsvolle KI, die als KI-Compliance-Lösungen, fungieren, auch die Optimierung des KI-Inventars ermöglichen und so dazu beitragen, KI-Verzerrungen und andere ethische Dilemmata zu verhindern. Hier ist ein Beispiel dafür, wie diese Tools Urheberrechtsbedenken bei generativer KI adressieren:

Abbildung 7: ChatGPT lehnt meine Anfrage aufgrund der Inhaltsrichtlinien ab, um Urheberrechte zu schützen.

Ziel ist die Entwicklung eines funktionalen multimodalen Systems, das in der Lage ist, Folgendes zu verarbeiten:

• Text-zu-Bild-Synthese
• Bildbeschreibung
• Textbasierte Bildsuche
• Visuelle Fragenbeantwortung.

Auf diese Weise kann multimodale KI verschiedene Modalitäten integrieren und fortschrittliche Fähigkeiten für Aufgaben bereitstellen, die sowohl Sprache als auch Bild betreffen.

Was sind die Einschränkungen großer Sprachmodelle?

1. Datenanforderungen und Verzerrung: Diese Modelle benötigen massive, vielfältige Datensätze für das Training. Die Verfügbarkeit und Qualität solcher Datensätze kann jedoch eine Herausforderung sein. Wenn die Trainingsdaten Verzerrungen enthalten, wird das Modell diese Verzerrungen wahrscheinlich übernehmen und möglicherweise verstärken, was zu unfairen oder unethischen Ergebnissen führt.
2. Rechenressourcen: Das Training und der Betrieb großer multimodaler Modelle erfordern erhebliche Rechenressourcen, wodurch sie teuer und für kleinere Organisationen oder unabhängige Forscher weniger zugänglich sind.
3. Interpretierbarkeit und Erklärbarkeit: Wie bei komplexen KI-Modellen kann es schwierig sein, zu verstehen, wie sie Entscheidungen treffen. Dieser Mangel an Transparenz kann insbesondere bei sensiblen Anwendungen wie dem Gesundheitswesen oder der Strafverfolgung ein kritisches Problem darstellen.
4. Integration von Modalitäten: Die effektive Integration verschiedener Datentypen (wie Text, Bilder und Audio) auf eine Weise, die Nuancen jeder Modalität wirklich versteht, ist äußerst schwierig. Das Modell erfasst möglicherweise nicht immer genau den Kontext oder die Feinheiten der menschlichen Kommunikation, die sich aus der Kombination dieser Modalitäten ergeben.
5. Generalisierung und Überanpassung: Obwohl diese Modelle mit riesigen Datensätzen trainiert werden, können sie Schwierigkeiten haben, auf neue, ungesehene Daten oder Szenarien zu verallgemeinern, die sich erheblich von ihren Trainingsdaten unterscheiden. Umgekehrt können sie die Trainingsdaten überanpassen und Rauschen und Anomalien als Muster erfassen.

Weitere Informationen finden Sie unter Herausforderungen und Risiken im Zusammenhang mit generativen und Sprachmodellen.

Benchmark-Methodik für LMMs

Wir haben die Leistung großer multimodaler Modelle (LMMs) anhand einer Teilmenge des FinMME-Datensatzes¹⁴ bewertet, einem umfassenden Benchmark zur Beurteilung multimodaler finanzieller Denkfähigkeiten. FinMME umfasst über 11.000 hochwertige Finanzbeispiele aus 18 Finanzdomänen und 6 Anlageklassen und bietet einen robusten Rahmen für die Evaluierung von LMMs im Finanzbereich.

Für dieses Benchmarking verwendeten wir eine kuratierte Auswahl von 100 Beispielen aus dem FinMME-Datensatz, um die Fähigkeit der Modelle zu analysieren, multimodale Finanzdaten zu verarbeiten und mit ihnen zu schlussfolgern.

Haftungsausschluss

Diese Evaluierung verwendete eine kuratierte Teilmenge von 100 Beispielen aus einem größeren Datensatz, um LMMs zu benchmarken. Für eine umfassende Bewertung der Modellleistung müssen alle Beispiele im vollständigen Benchmark-Datensatz berücksichtigt werden.

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Große multimodale Modelle (LMMs) vs LLMs}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/large-multimodal-models}},
  note   = {AIMultiple. Abgerufen am 22. Mai 2026}
}

Referenzlinks

1.

Gemma 3: Google’s new open model based on Gemini 2.0

Google

2.

GitHub - deepseek-ai/Janus: Janus-Series: Unified Multimodal Understanding and Generation Models · GitHub

3.

GitHub - QwenLM/Qwen3-VL: Qwen3-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud. · GitHub

4.

https://qwen.ai/blog?id=qwen2.5-vl-32b

5.

CLIP: Connecting text and images | OpenAI

6.

[2204.14198] Flamingo: a Visual Language Model for Few-Shot Learning

7.

Multimodality and Large Multimodal Models (LMMs)

8.

GitHub - bytedance/vidi: The official repo for "Vidi: Large Multimodal Models for Video Understanding and Editing" · GitHub

9.

Client Challenge

Financial Times

10.

GitHub - MoonshotAI/Kimi-VL: Kimi-VL: Mixture-of-Experts Vision-Language Model for Multimodal Reasoning, Long-Context Understanding, and Strong Agent Capabilities · GitHub

11.

Gemini 3: Introducing the latest Gemini AI model from Google

Google

12.

Introducing 4o Image Generation | OpenAI

13.

Magma: A Foundation Model for Multimodal AI Agents

14.

luojunyu/FinMME · Datasets at Hugging Face

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 60% der Fortune 500.

Cems Arbeit wurde von führenden globalen Publikationen zitiert, darunter Business Insider, Forbes, Washington Post, globalen Unternehmen wie Deloitte, HPE und NGOs wie dem World Economic Forum sowie supranationalen Organisationen wie der European Commission.

Während seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen über ein Jahrzehnt lang bei McKinsey & Company und Altman Solon in Technologieentscheidungen. Er veröffentlichte auch einen McKinsey-Bericht zur Digitalisierung.

Er leitete die Technologiestrategie und Beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Zudem führte er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos an, das innerhalb von 2 Jahren von null auf einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung anwuchs. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.

Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er schloss sein Studium an der Bogazici University als Computer-Ingenieur ab und hat einen MBA von der Columbia Business School.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten