Große multimodale Modelle (LMMs) vs. LLMs

Wir haben die Leistung großer multimodaler Modelle (LMMs) bei finanziellen Denkaufgaben anhand eines sorgfältig ausgewählten Datensatzes bewertet. Durch die Analyse einer Teilmenge hochwertiger Finanzproben bewerten wir die Fähigkeiten der Modelle bei der Verarbeitung und dem logischen Denken mit multimodalen Daten im Finanzbereich.

Der Abschnitt zur Methodik bietet detaillierte Einblicke in den verwendeten Datensatz und den Bewertungsrahmen.

Entdecken Sie große multimodale Modelle und vergleichen Sie sie mit großen Sprachmodellen.

Warum zeigten die Modelle unterschiedliche Leistungen?

Die Unterschiede in den Erfolgsquoten spiegeln wider, wie jedes Modell multimodale Finanzaufgaben verarbeitet. Da der Benchmark Proben aus dem FinMME-Datensatz verwendet, die die Integration von Text und Finanzvisualisierungen wie Diagrammen und strukturierten Dokumenten erfordern, hängt die Leistung stark von der Architektur, der Trainingsqualität und der multimodalen Ausrichtung eines Modells ab.

Modellarchitektur und Parameterdesign

Modelle unterscheiden sich darin, wie sie Text- und Bild-Encoder kombinieren, in der Anzahl der aktiven Parameter und in der Komplexität ihres Expert-Routings.

• Llama 4 Maverick verwendet beispielsweise ein größeres, expertenbasiertes Design, das ein leistungsfähigeres logisches Denken ermöglicht.
• Kleinere oder effizienzorientierte Modelle haben weniger Parameter, die auf multimodales Denken ausgerichtet sind, was die Leistung einschränkt.

Diese architektonischen Unterschiede beeinflussen, wie gut jedes Modell numerische Beziehungen, Diagrammstrukturen und domänenspezifische Visualisierungen interpretieren kann.

Abdeckung der Trainingsdaten

Einige Modelle werden mit umfangreichen multimodalen Datensätzen trainiert, während andere hauptsächlich auf allgemeine Daten angewiesen sind.

• Modelle der Claude-4- und Qwen-2.5-Familien enthalten umfangreiche visuelle und Textdaten, was ihre Fähigkeit verbessert, numerische und visuelle Hinweise aufeinander abzustimmen.
• Modelle, die mit begrenzteren multimodalen Korpora trainiert wurden, haben Schwierigkeiten mit Finanzdiagrammen und strukturierten Darstellungen.

Die Trainingsdaten beeinflussen direkt, wie zuverlässig ein Modell modalübergreifende Finanzkonzepte handhabt.

Feinabstimmung für modalübergreifendes Denken

Der Benchmark erfordert eine Koordination zwischen Bildinterpretation und textbasiertem Denken.

• Claude-4-Modelle werden als leistungsstark bei Aufgaben mit Diagrammen und Schaubildern beschrieben.
• Modelle ohne dedizierte modalübergreifende Feinabstimmung können visuelle Merkmale möglicherweise korrekt erkennen, scheitern jedoch, wenn es darum geht, sie mit der Finanzsprache oder -logik zu verbinden.

Die Feinabstimmungsstrategie eines Modells beeinflusst seine Fähigkeit, während der Analyse textuelle und visuelle Signale zusammenzuführen.

Kontextverarbeitungskapazität

Finanzproben enthalten oft mehrere Elemente, die zusammen gelesen werden müssen, wie mehrteilige Diagramme oder lange Beschreibungen.

• Modelle mit größeren Kontextfenstern können Beziehungen über lange Eingaben hinweg beibehalten.
• Stärker eingeschränkte Modelle können Abhängigkeiten übersehen, was die Genauigkeit bei Aufgaben verringert, die die Verfolgung mehrerer visueller und textueller Komponenten erfordern.

Die Größe des Kontextfensters beeinflusst, wie gut ein Modell die Ausrichtung zwischen quantitativen und visuellen Details beibehält.

Modellgröße und Effizienzprioritäten

Einige Modelle sind bewusst für eine schlanke Bereitstellung und nicht für hochkomplexes Denken konzipiert.

• Phi-4-multimodale und ähnliche Modelle priorisieren Effizienz, was die Tiefe der multimodalen Verarbeitung einschränkt.
• Größere Modelle bieten eine höhere Kapazität für Denkaufgaben, die ein feinkörniges Diagrammverständnis erfordern.

Dieser Kompromiss führt zu niedrigeren Punktzahlen bei kleineren Modellen.

Unterschiede im visuellen Verständnis

Die Bewertung umfasst Aufgaben, die ein genaues Lesen von Diagrammen, die Objektidentifikation in Finanzdokumenten und die Extraktion visueller Details erfordern.

• Modelle mit fortschrittlichen visuellen Pipelines, wie Qwen-2.5-VL-Varianten, bewältigen diese Aufgaben effektiver.
• Andere können generische Bilder möglicherweise gut verarbeiten, zeigen jedoch inkonsistente Leistungen bei strukturierten Finanzvisualisierungen.

Die Stärke des visuellen Denkens wirkt sich stark auf die Ergebnisse bei FinMME-artigen Proben aus.

Merkmale des Bewertungsdatensatzes

Der Datensatz konzentriert sich auf multimodales Finanzdenken und nicht auf allgemeine Aufgaben.

• Modelle, die für Finanz-, numerische oder diagrammbasierte Aufgaben trainiert oder feinabgestimmt wurden, schneiden besser ab.
• Generalistische Modelle ohne Domänenexposition zeigen eine geringere Präzision bei Finanzdatensätzen.

Die Spezialisierung des Datensatzes macht die Leistung empfindlicher für die Qualität des modalübergreifenden Denkens.

Was sind Open-Source-große multimodale Modelle?

Open-Source-LMMs mit ihrer Anzahl an GitHub-Sternen:

Die Grafik zeigt, dass die GitHub-Popularität verschiedener Open-Source-LMMs zugenommen hat, wobei einige Modelle kurz nach ihrer Veröffentlichung eine schnelle Akzeptanz erfuhren.

Die Janus-Serie von DeepSeek gewann innerhalb weniger Tage nach der Veröffentlichung von Janus-Pro am 27. Januar 2025 Tausende von GitHub-Sternen und übertraf damit ihre Konkurrenten, die Monate brauchten, um ähnliche Zahlen zu erreichen. Dieser rasante Anstieg war auf den Erfolg von Janus-Pro zurückzuführen und wurde durch die Dynamik beeinflusst, die durch DeepSeek-R1 entstanden war.

1. Gemma 3 von Google: Gemma 3 ist eine Familie von leichten, hochmodernen offenen Modellen, die von der Gemini-2.0-Technologie abgeleitet sind. Diese Modelle bieten fortschrittliche Text- und visuelle Denkfähigkeiten, ein Kontextfenster von 128k Token, Unterstützung für Funktionsaufrufe und quantisierte Versionen für optimierte Leistung. Es umfasst ShieldGemma 2 für Bildsicherheit und unterstützt verschiedene Tools und Bereitstellungsoptionen.¹
2. Janus-Pro von DeepSeek: Janus-Pro ist eine fortschrittliche Version des Janus-Modells, das darauf ausgelegt ist, sowohl Text als auch Bilder zu verstehen und zu generieren. Es verfügt über eine optimierte Trainingsstrategie, erweiterte Trainingsdaten und eine größere Modellgröße, was seine multimodalen Fähigkeiten verbessert.²
3. Qwen2.5-VL von Alibaba: Qwen2.5-VL von Alibaba ist eine multimodale Erweiterung des Qwen2.5-Sprachmodells, das sowohl für das Text- als auch das Bildverständnis konzipiert ist. Es zeichnet sich durch umfangreiches Vortraining (bis zu 18T Token), ein erweitertes Kontextfenster (bis zu 128K Token), verbesserte Befehlsbefolgung und robuste mehrsprachige Unterstützung aus, was es für Aufgaben wie Bildunterschriften und visuelle Fragenbeantwortung geeignet macht. ³
   • Aufbauend auf der Qwen2.5-VL-Serie optimierte und veröffentlichte Alibaba Qwen2.5-VL-32B-Instruct als Open Source, ein 32B-VL-Modell, das ein verbessertes feinkörniges Bildverständnis und logisches Denken integriert. Dies führt zu verbesserter Leistung und detaillierter Analyse bei Aufgaben wie Bildanalyse, Inhaltserkennung und visueller Logikableitung.⁴
4. CLIP (Contrastive Language–Image Pretraining) von OpenAI: CLIP ist darauf ausgelegt, Bilder im Kontext natürlicher Sprache zu verstehen. Es kann Aufgaben wie die Zero-Shot-Bildklassifikation ausführen, bei der es Bilder auch in Kategorien, für die es nicht explizit trainiert wurde, genau klassifizieren kann, indem es Textbeschreibungen versteht.⁵
   • Aufbauend auf der Qwen2.5-VL-Serie optimierte und veröffentlichte Alibaba Qwen2.5-VL-32B-Instruct als Open Source, ein 32B-VL-Modell, das ein verbessertes feinkörniges Bildverständnis und logisches Denken integriert. Dies führt zu verbesserter Leistung und detaillierter Analyse bei Aufgaben wie Bildanalyse, Inhaltserkennung und visueller Logikableitung.⁶
5. Flamingo von DeepMind: Flamingo ist darauf ausgelegt, die Stärken des Sprach- und visuellen Verständnisses zu nutzen, was es befähigt, Aufgaben auszuführen, die die Interpretation und Integration von Informationen aus Text und Bildern erfordern.⁷

Abbildung 1: Ein Beispiel von Chip Huyen⁸

Was sind die führenden LMMs?

Allzweck-LLMs UI- & API-Funktionen

Die Anbieter werden unter den beliebtesten multimodalen LLMs ausgewählt, basierend auf Vergleichbarkeit, Datenverfügbarkeit und Aktualität.

LMMs mit ihrem Preis pro Token:

Um das am besten geeignete Modell auszuwählen, sollten Sie Faktoren wie Ihr Budget, die erforderlichen Fähigkeiten und das Leistungsniveau sowie das erwartete Volumen an Eingabe-/Ausgabe-Token für Ihren spezifischen Anwendungsfall berücksichtigen.

Lesen Sie mehr über die LLM-Preisgestaltung.

Was sind die neuesten Fortschritte bei multimodalen Modellen?

Jüngste Fortschritte bei multimodalen Modellen haben neue Fähigkeiten und Effizienzen in der KI-Entwicklung eingeführt.

Video-zentrierte multimodale Basismodelle

Video-zentrierte multimodale Basismodelle gehen über die Generierung von übergeordneten Bildunterschriften oder Zusammenfassungen hinaus und lernen stattdessen, Beweise in Videos explizit zu lokalisieren.

Anstatt zu sagen, was passiert, können sie identifizieren, wann es passiert (Zeitstempel) und wo es passiert (Begrenzungsrahmen um Objekte oder Regionen).

Diese Verschiebung hin zur räumlich-zeitlichen Verankerung macht das Videoverständnis präziser und überprüfbarer. Es ermöglicht auch Aufgaben wie das Auffinden exakter Momente, das Verfolgen von Objekten, das Bearbeiten von Videos mit natürlicher Sprache und die Unterstützung von Robotik und sicherheitskritischen Systemen.

Zum Beispiel ist Vidi⁹ ein Open-Source-Projekt von ByteDance, das sich auf große multimodale Modelle für Videoverständnis und -bearbeitung konzentriert.

Das Repository hostet den Code und die Ressourcen für eine Familie von Modellen (z. B. Vidi-7B, Vidi1.5-9B, Vidi2 und Vidi2.5), die Vision, Audio und Text als Eingaben verwenden, um Aufgaben auszuführen wie:

• Zeitliche Suche (Finden der Zeitsegmente in einem Video, die zu einer Textabfrage passen)
• Räumlich-zeitliche Verankerung (Lokalisieren von Objekten mit Begrenzungsrahmen)
• Visuelle Fragenbeantwortung

Mistral 3 multimodale Frontier-Veröffentlichung

Mistral KI hat eine neue Familie von Open-Source-KI-Modellen namens Mistral 3 entwickelt. Die Mistral-3-Suite umfasst sowohl multimodale/mehrsprachige Modelle auf Frontier-Niveau als auch kleinere, effiziente Modelle, die für den Betrieb auf einer Reihe von Geräten ausgelegt sind, von der Cloud bis zum Edge und sogar auf einzelnen GPUs.

Veröffentlicht unter einer freizügigen Open-Source-Lizenz (Apache 2.0), zielen diese Modelle darauf ab, den Zugang zu fortschrittlicher KI zu demokratisieren, Anpassung und Bereitstellungsflexibilität zu ermöglichen und Europas Position in der KI-Entwicklung zu stärken, wo es Bedenken gibt, gegenüber den USA und China bei Spitzentechnologien zurückzufallen.¹⁰

Open-Source-MoE-Vision-Language-Modelle

Kimi-VL (von Moonshot KI) ist ein Open-Source-multimodales Vision-Language-Modell, das mit einer Mixture-of-Experts (MoE)-Architektur aufgebaut ist und Aufgaben ausführt, die Text, Bilder und Video kombinieren, während die Berechnung effizient bleibt.

Es hat ein 16 B Gesamtparameter-Backbone, aktiviert jedoch typischerweise ~2,8 B Parameter während der Inferenz, was hilft, Fähigkeit und Kosten in Einklang zu bringen.

Kimi-VL ist für fortgeschrittenes multimodales Denken, Verständnis langer Kontexte (bis zu ~128 K Token) und agentenartige Interaktionen konzipiert und konkurriert gut mit größeren Modellen bei Benchmarks wie Videoverständnis, optischer Zeichenerkennung (OCR), mathematischem Denken und Multi-Image-Aufgaben.

Varianten wie Kimi-VL-A3B-Thinking sind weiter für Chain-of-Thought- und Denkaufgaben feinabgestimmt, während der MoonViT-Vision-Encoder das Verständnis von hochauflösenden Eingaben unterstützt.

Abbildung 2: Kimi-VL Architekturdesign.¹¹

Anthropics Claude-4-Serie

Anthropics Claude-4-Serie integriert fortschrittliches visuelles Verständnis mit seiner textbasierten Denk-Engine und bettet Vision direkt in Problemlösungs-Workflows ein.

Claude-4-Modelle zeigen eine starke Leistung bei multimodalen Denk-Benchmarks wie MMMU, insbesondere bei der Interpretation von Diagrammen, Schaubildern und komplexen visuellen Daten. Ein besonderes Merkmal von Claude Opus 4.1 ist seine Fähigkeit, ästhetische Qualitäten in Bildern zu bewerten, was über die reine Erkennung hinaus zu nuancierteren Bewertungen führt.

Diese Fähigkeiten, kombiniert mit den agentenartigen Funktionen von Claude, machen die Serie effektiv für Aufgaben wie die Synthese von Forschungsergebnissen aus Berichten mit gemischten Text- und Bildinhalten oder die Unterstützung beim Interface-Design durch die Analyse visueller Mockups.

Googles Gemini 3

Google veröffentlichte Gemini 3 im November 2025, wobei Gemini 3 Pro sofort verfügbar war und der Gemini-3-Deep-Think-Modus kurz darauf für Google-KI-Ultra-Abonnenten ausgerollt wurde. Gemini 3 wird von Google als sein intelligentestes und leistungsfähigstes multimodales Modell positioniert, mit nativer Unterstützung für Text, Bilder, Video, Audio und Code innerhalb einer einzigen Architektur.

Gemini 3 Pro wird mit einem Kontextfenster von 1 Million Token ausgeliefert und erzielt starke Ergebnisse in multimodalen Benchmarks, darunter 81 % bei MMMU-Pro und 87,6 % bei Video-MMMU. Es erreichte bei der Veröffentlichung die Spitze der LMArena-Bestenliste mit einer Punktzahl von 1501 Elo und erzielte 91,9 % bei GPQA Diamond für das logische Denken auf Hochschulniveau und 76,2 % bei SWE-bench Verified für agentenartige Programmieraufgaben.

Gemini 3 Deep Think ist ein erweiterter Denkmodus, der die Leistung bei den anspruchsvollsten Aufgaben weiter verbessert und 41,0 % bei Humanity’s Last Exam (ohne Werkzeuge) und 45,1 % bei ARC-AGI-2 erreicht. Zusammen mit Gemini 3 veröffentlichte Google auch Google Antigravity, eine agentenbasierte Entwicklungsplattform, die Gemini 3 mit dem Gemini-2.5-Computer-Use-Modell für die Browsersteuerung und dem Nano-Banana-Bildbearbeitungsmodell kombiniert und so durchgängige Softwareentwicklungs-Workflows ermöglicht, bei denen das Modell Aufgaben autonom planen, codieren und validieren kann.¹²

GPT-5 von OpenAI

GPT-5 führt eine verbesserte native Multimodalität für Text, Sprache, Bild und Video ein. Im Gegensatz zu früheren Systemen, die stark auf Plugins angewiesen waren, integriert GPT-5 diese Modalitäten in einer einheitlichen Architektur, was zu einer flüssigeren Interaktion führt. Das Modell passt sich flexibel an verschiedene Eingabetypen an und kann zwischen ihnen wechseln.

Eine bemerkenswerte Funktion ist der Echtzeit-Sprachmodus, der Ton, Tempo und Stil entsprechend den Benutzeranweisungen anpassen kann. Dies schafft ein natürlicheres und anpassungsfähigeres Gesprächserlebnis. Die visuelle Verarbeitung wurde ebenfalls verbessert, wodurch Halluzinationen bei der Interpretation oder Generierung von Bildern, Diagrammen und Schaubildern reduziert werden. Ein weiterer Fortschritt liegt in den Gedächtnisfähigkeiten, die es dem System ermöglichen, sich an frühere Eingaben zu erinnern und den Kontext über längere Interaktionen hinweg beizubehalten.

Diese Verbesserungen machen GPT-5 besonders wertvoll für barrierefreie multimodale Schnittstellen, insbesondere für Menschen mit sensorischen Beeinträchtigungen.

Google DeepMinds robotikfokussierte multimodale Modelle

Google DeepMind hat Gemini Robotics und Gemini Robotics-ER entwickelt, Modelle, die darauf zugeschnitten sind, Vision, Sprache und Aktion in Robotersysteme zu integrieren. Diese Modelle ermöglichen es Robotern, Aufgaben in unstrukturierten Umgebungen auszuführen, wie z. B. Papier falten oder Flaschendeckel aufschrauben.

Ein Hauptmerkmal dieser Modelle ist ihr Sicherheitsmechanismus. Vor der Ausführung von Aktionen führt das System integrierte Überprüfungen durch, um Risiken zu minimieren und die angemessene Handhabung von Aufgaben sicherzustellen. Dieser Ansatz adressiert eine der großen Herausforderungen in der Robotik: die Überbrückung der Kluft zwischen fortgeschrittener KI-Argumentation und sicherer, zuverlässiger Ausführung in der realen Welt.

Llama 4 Scout und Llama 4 Maverick von Meta KI

Llama 4 Scout ist ein multimodales Modell mit 17 Milliarden aktiven Parametern und 16 Experten. Dieses Modell übertrifft Llama-Modelle der vorherigen Generation und ist für den Betrieb auf einer einzigen H100-GPU ausgelegt. Es verfügt über ein 10-Millionen-Token-Kontextfenster zur Verarbeitung großer Informationsmengen. Benchmark-Ergebnisse zeigen, dass Llama 4 Scout bessere Ergebnisse erzielt als Gemma 3, Gemini 2.0 Flash-Lite und Mistral 3.1 über eine Reihe von weithin berichteten Benchmarks hinweg.

Llama 4 Maverick ist ein multimodales Modell mit 17 Milliarden aktiven Parametern und 128 Experten. Dieses Modell wird als Spitzenreiter in seiner Klasse präsentiert und übertrifft GPT-4o und Gemini 2.0 Flash über eine Reihe von Benchmarks hinweg. Es erreicht eine vergleichbare Leistung wie DeepSeek v3 beim logischen Denken und Programmieren und verwendet dabei weniger aktive Parameter. Eine experimentelle Chat-Version von Llama 4 Maverick erreichte einen ELO-Wert von 1417 auf der LMArena-Plattform.

4o Bildgenerierung von OpenAI

OpenAIs neuestes Bildgenerierungsmodell, eingebettet in GPT-4o, integriert Text- und visuelle Erstellung in einem einheitlichen System. Diese multimodale Fähigkeit ermöglicht es GPT-4, Bilder zu generieren und dabei auf sein textbasiertes Wissen und den Chat-Kontext zurückzugreifen, wodurch ein Zusammenspiel zwischen Sprache und Bildern entsteht.

Durch mehrstufige Generierung können Benutzer Bilder konversationell verfeinern, wie in den folgenden Abbildungen gezeigt. Das Modell baut auf vorherigen Texteingaben und hochgeladenen Bildern auf, um Konsistenz zu wahren. Durch die Analyse von benutzerbereitgestellten Bildern und das Lernen im Kontext passt sich GPT-4o an spezifische Details an und verbessert so seine Fähigkeit, kontextbewusste Bilder zu produzieren.

Abbildung 3: Anregen der Erstellung einer Zeichnung unter Verwendung von Referenzen und Anweisen von Textmerkmalen für das Bild.

Abbildung 4: Anregen der Erstellung eines Fotos aus der Zeichnung und Platzieren in einer Szene.¹³

Qwen3-VL von Alibaba

Alibabas Qwen3-VL-Serie, deren Veröffentlichung ab September 2025 begann, baut auf dem Qwen3-Sprachmodell auf und fügt tiefere visuelle Wahrnehmungs- und Denkfähigkeiten hinzu. Die Familie umfasst dichte Varianten von 2B bis 32B Parametern und Mixture-of-Experts-Varianten mit bis zu 235B Gesamtparametern (22B aktiv), alle veröffentlicht unter der Apache-2.0-Lizenz.

Zu den Hauptmerkmalen gehören ein natives 256K-Kontextfenster (erweiterbar auf 1 Million Token), erweiterte mehrsprachige OCR für 32 Sprachen, 2D- und 3D-Objektverankerung für räumliches Denken und verkörperte KI, stundenlanges Videoverständnis mit sekundengenauer Indexierung und visuelle Agentenfähigkeiten für die GUI-Steuerung.

Die Thinking-Varianten sind auf MINT und multimodales Denken abgestimmt, während die Instruct-Varianten auf allgemeine Vision-Language-Aufgaben wie Dokumentenanalyse, Diagrammextraktion und visuelle Fragenbeantwortung abzielen.

Gemma 3 von Google

Googles Gemma 3 baut auf der Technologie seiner Gemini-2.0-Modelle auf. Es ist in vier Größen erhältlich (1B, 4B, 12B und 27B) für unterschiedliche Hardwareanforderungen und bietet ein 128k-Token-Kontextfenster. Gemma 3 bietet eine gute Leistung auf Einzelbeschleuniger-Setups und umfasst Text- und visuelles Denken, Funktionsaufrufe und Unterstützung für über 35 Sprachen, mit Vortraining für mehr als 140. Quantisierte Versionen reduzieren die Modellgröße und den Rechenbedarf. Das ShieldGemma-2-System bietet eine Klassifizierung der Inhaltssicherheit.

Phi-4-multimodal von Microsoft

Microsofts Phi-4-multimodal ist ein 5,6B Parameter-Modell, das Sprache, Vision und Text in einer einheitlichen Architektur verarbeitet. Es nutzt modalübergreifendes Lernen für kontextbewusste Interaktionen zwischen verschiedenen Eingabetypen. Das Modell verarbeitet mehrere Eingabeformate ohne separate Verarbeitungssysteme und ist für den Einsatz auf Geräten und Edge-Computing konzipiert. Zu den Anwendungen gehören Smartphone-KI, Automobilsysteme und mehrsprachige Dienste.

Was ist ein großes multimodales Modell (LMM)?

Ein großes multimodales Modell ist eine fortschrittliche Art von Modell der künstlichen Intelligenz, das mehrere Arten von Datenmodalitäten verarbeiten und verstehen kann. Diese multimodalen Daten können Text, Bilder, Audio, Video und möglicherweise andere umfassen. Das Hauptmerkmal eines multimodalen Modells ist seine Fähigkeit, Informationen aus diesen verschiedenen Datenquellen zu integrieren und zu interpretieren, oft gleichzeitig. 

Diese können als fortschrittlichere Versionen von großen Sprachmodellen (LLMs) verstanden werden, die mit Text und auch mit verschiedenen Datentypen arbeiten können. Darüber hinaus sind die Ausgaben multimodaler Sprachmodelle so konzipiert, dass sie textuell, visuell, auditiv usw. sein können.

Multimodale Sprachmodelle gelten als der nächste Schritt zur Erreichung der künstlichen allgemeinen Intelligenz.

Was ist ein multimodaler KI-Agent?

Multimodale KI-Agenten sind Systeme, die darauf ausgelegt sind, mit der Welt unter Verwendung verschiedener Datentypen, einschließlich Bildern, Videos und Text, zu interagieren, was es ihnen ermöglicht, sowohl in digitalen als auch in physischen Umgebungen zu operieren. Multimodale Modelle sind die Kernkomponente dieser Agenten, die es ihnen ermöglichen, Informationen aus verschiedenen Quellen wahrzunehmen und zu verstehen.

Zum Beispiel nutzen Modelle wie Magma das Vision-Language-Verständnis und räumliche Intelligenz, die durch Techniken wie Set-of-Mark und Trace-of-Mark während des Vortrainings auf multimodalen Datensätzen erreicht werden.

Dies ermöglicht es dem Agenten, Aufgaben auszuführen, die vom Verstehen von Videoinhalten und der Beantwortung von Fragen bis hin zur Navigation in Benutzeroberflächen und der Steuerung von Robotern reichen, und demonstriert die vielseitigen Fähigkeiten, die multimodale Modelle KI-Agenten durch die Nutzung verschiedener Datenmodalitäten verleihen. Die folgende Abbildung zeigt, wie Magma Roboterbahnen plant, um Aufgaben zu erfüllen, und demonstriert seine räumliche Intelligenz in Aktion.¹⁴

Was ist der Unterschied zwischen LMMs und LLMs?

1. Datenmodalitäten

• LMMs: Sie sind darauf ausgelegt, mehrere Arten von Dateneingaben oder Modalitäten zu verstehen und zu verarbeiten. Dazu gehören Text, Bilder, Audio, Video und manchmal andere Datentypen wie Sensordaten. Die Schlüsselfähigkeit von LMMs ist ihre Fähigkeit, diese verschiedenen Datenformate zu integrieren und zu interpretieren, oft gleichzeitig.
• LLMs: Diese Modelle sind auf die Verarbeitung und Generierung von Textdaten spezialisiert. Sie werden hauptsächlich mit großen Textsammlungen trainiert und sind geschickt darin, menschliche Sprache in einer Vielzahl von Kontexten zu verstehen und zu generieren. Sie verarbeiten von Natur aus keine nicht-textuellen Daten wie Bilder oder Audio.

2. Anwendungen und Aufgaben

• LMMs: Aufgrund ihrer multimodalen Natur können diese Modelle auf Aufgaben angewendet werden, die das Verständnis und die Integration von Informationen über verschiedene Datentypen hinweg erfordern. Zum Beispiel könnte ein LMM einen Nachrichtenartikel (Text), die dazugehörigen Fotos (Bilder) und zugehörige Videoclips analysieren, um ein umfassendes Verständnis zu erlangen.
• LLMs: Ihre Anwendungen konzentrieren sich auf Aufgaben, die Text beinhalten, wie das Schreiben von Artikeln, Übersetzen von Sprachen, Beantworten von Fragen, Zusammenfassen von Dokumenten und Erstellen von textbasierten Inhalten.

Was sind die Datenmodalitäten großer multimodaler Modelle?

Text

Dies umfasst jede Form von schriftlichem Inhalt, wie Bücher, Artikel, Webseiten und Social-Media-Beiträge. Das Modell kann textuelle Inhalte verstehen, interpretieren und generieren, einschließlich Aufgaben der Verarbeitung natürlicher Sprache wie Übersetzung, Zusammenfassung und Fragenbeantwortung.

Bilder

Diese Modelle können visuelle Daten analysieren und generieren. Dies umfasst das Verständnis des Inhalts und Kontexts von Fotos, Illustrationen und anderen grafischen Darstellungen. Aufgaben wie Bildklassifikation, Objekterkennung und Bildgenerierung aus Textbeschreibungen fallen unter diese Kategorie.

Audio

Dies umfasst Tonaufnahmen, Musik und gesprochene Sprache. Modelle können trainiert werden, um Sprache zu erkennen, Musik, Umgebungsgeräusche und andere auditive Eingaben. Sie können Sprache transkribieren, gesprochene Befehle verstehen und sogar synthetische Sprache oder Musik generieren.

Video

Die Videoverarbeitung kombiniert sowohl visuelle als auch auditive Elemente und beinhaltet das Verstehen von bewegten Bildern und den dazugehörigen Tönen. Dies kann die Analyse von Videoinhalten, das Erkennen von Aktionen oder Ereignissen in Videos und das Generieren von Videoclips umfassen.

Während die meisten aktuellen großen multimodalen Sprachmodelle Text und Bilder verarbeiten können, zielt die zukünftige Forschung darauf ab, Audio- und Video-Dateneingaben einzubeziehen.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Wie werden große multimodale Modelle trainiert?

Das Training großer multimodaler Modelle (LMMs) unterscheidet sich in mehreren wesentlichen Aspekten erheblich vom Training großer Sprachmodelle (LLMs):

1. Datensammlung und -aufbereitung

• LLMs: Konzentrieren sich auf Textdaten aus Büchern, Websites und schriftlichen Quellen, mit Schwerpunkt auf sprachlicher Vielfalt für LLM-Trainingsdatenquellen.
• LMMs: Benötigen Text-, Bild-, Audio- und Videodaten. Die Sammlung ist aufgrund unterschiedlicher Formate komplexer. Datenannotation und Ausrichtung zwischen Modalitäten sind wesentlich.

2. Modellarchitekturdesign

• LLMs: Verwenden Transformer-Architekturen, die für die sequentielle Textverarbeitung optimiert sind.
• LMMs: Verwenden komplexere Architekturen, die mehrere neuronale Netzwerktypen integrieren (CNNs für Bilder, Transformer für Text) mit Mechanismen, um diese Modalitäten zu verbinden.

3. Vortraining

• LLMs: Vortrainieren mit Textsammlungen unter Verwendung von Techniken wie maskierter Sprachmodellierung.
• LMMs: Vortrainieren über mehrere Datentypen hinweg, lernen, Text mit Bildern zu korrelieren oder Videosequenzen zu verstehen.

4. Feinabstimmung

• LLMs: Feinabstimmung auf spezialisierten Textdatensätzen für bestimmte Aufgaben.
• LMMs: Erfordern eine Feinabstimmung sowohl auf modalitätsspezifischen Datensätzen als auch auf modalübergreifenden Datensätzen, um Beziehungen zwischen verschiedenen Datentypen herzustellen.

5. Bewertung und Iteration

• LLMs: Bewertungsmetriken konzentrieren sich auf Sprachverständnis- und Generierungsaufgaben, einschließlich Flüssigkeit, Kohärenz und Relevanz.
• LMMs: Bewertet anhand breiterer Metriken, die Bilderkennung, Audioverarbeitung und modalübergreifende Integrationsfähigkeiten abdecken.

Wie funktionieren LMMs?

Große multimodale Modelle teilen Ähnlichkeiten mit großen Sprachmodellen in ihrem Trainingsprozess, Design und Betrieb. Sie verwenden dieselbe Transformer-Architektur und Trainingsstrategien. Große multimodale Modelle werden trainiert mit:

• Textdaten
• Millionen oder Milliarden von Bildern mit Textbeschreibungen
• Videoclips
• Audioclips
• Anderen Eingabedaten, wie Code

Dieses Training beinhaltet das gleichzeitige Erlernen mehrerer Datenmodalitäten, was es dem Modell ermöglicht:

• Ein Foto einer Katze zu erkennen
• Ein Wort in einem Audioclip zu identifizieren
• Konzepte und sensorische Details jenseits von Text zu verstehen

Auf diese Weise können Benutzer hochladen:

• Ein Bild, um:
  • Eine Beschreibung dessen zu erhalten, was vor sich geht
  • Das Bild als Teil eines prompts zu verwenden, um Text oder Bilder zu generieren
  • Folgefragen zu bestimmten Elementen des Bildes zu stellen
  • Den Text des Bildes in eine andere Sprache zu übersetzen (z. B. Speisekarte)

Abbildung 5: Hochladen eines Bildes einer Katze auf ChatGPT, um es zu beschreiben.

• Diagramme und Grafiken, um:
  • Komplizierte Folgefragen zu dem zu stellen, was sie zeigen
• Design-Mockup, um:
  • Den HTML- und CSS-Code zu erhalten, der notwendig ist, um es zu erstellen. 

Abbildung 6: Prompten des Bildes im Stil eines Wes-Anderson-Films. ChatGPT leitet den prompt in ein Bildgenerierungsmodell (wie DALL·E) ein, das die Anfrage interpretiert und das stilisierte Bild produziert.

Nach dem Trainingsprozess könnten Modelle ungesunde Stereotypen und toxische Ideen enthalten. Um sie zu verfeinern, können Techniken wie:

• Verstärkungslernen mit menschlichem Feedback (RLHF)
• Überwachende KI-Modelle
• Red Teaming (Testen der Robustheit des Modells) verwendet werden.

Darüber hinaus können KI-Governance-Tools und verantwortungsvolle KI-Tools, die als KI-Compliance-Lösungen fungieren, auch die Optimierung des KI-Inventars ermöglichen und helfen, KI-Voreingenommenheit und andere ethische Dilemmata zu verhindern. Hier ist ein Beispiel dafür, wie diese Tools Urheberrechtsbedenken bei generativer KI angehen:

Abbildung 7: ChatGPT lehnt meine Anfrage aufgrund von Inhaltsrichtlinien zum Schutz von Urheberrechten ab.

Das Ziel ist es, ein funktionales multimodales System zu entwickeln, das in der Lage ist, zu handhaben:

• Text-zu-Bild-Synthese
• Bildunterschriftenerstellung
• Textbasierte Bildsuche
• Visuelle Fragenbeantwortung.

Auf diese Weise kann multimodale KI verschiedene Modalitäten integrieren und fortschrittliche Fähigkeiten für Aufgaben bereitstellen, die sowohl Sprache als auch Vision umfassen.

Was sind die Grenzen großer Sprachmodelle?

1. Datenanforderungen und Voreingenommenheit: Diese Modelle benötigen massive, vielfältige Datensätze für das Training. Die Verfügbarkeit und Qualität solcher Datensätze kann jedoch eine Herausforderung darstellen. Darüber hinaus wird das Modell, wenn die Trainingsdaten Verzerrungen enthalten, diese wahrscheinlich übernehmen und möglicherweise verstärken, was zu unfairen oder unethischen Ergebnissen führt.
2. Rechenressourcen: Das Training und der Betrieb großer multimodaler Modelle erfordern erhebliche Rechenressourcen, was sie teuer und für kleinere Organisationen oder unabhängige Forscher weniger zugänglich macht.
3. Interpretierbarkeit und Erklärbarkeit: Wie bei komplexen KI-Modellen kann es schwierig sein zu verstehen, wie sie Entscheidungen treffen. Dieser Mangel an Transparenz kann ein kritisches Problem sein, insbesondere in sensiblen Anwendungen wie dem Gesundheitswesen oder der Strafverfolgung.
4. Integration von Modalitäten: Die effektive Integration verschiedener Datentypen (wie Text, Bilder und Audio) auf eine Weise, die die Nuancen jeder Modalität wirklich versteht, ist äußerst herausfordernd. Das Modell erfasst möglicherweise nicht immer genau den Kontext oder die Feinheiten der menschlichen Kommunikation, die sich aus der Kombination dieser Modalitäten ergeben.
5. Generalisierung und Überanpassung: Während diese Modelle mit riesigen Datensätzen trainiert werden, könnten sie Schwierigkeiten haben, auf neue, ungesehene Daten oder Szenarien zu verallgemeinern, die sich erheblich von ihren Trainingsdaten unterscheiden. Umgekehrt könnten sie die Trainingsdaten überanpassen und Rauschen und Anomalien als Muster erfassen.

Um mehr zu erfahren, erkunden Sie die Herausforderungen und Risiken im Zusammenhang mit generativen und Sprachmodellen.

Benchmark-Methodik für LMMs

Wir bewerteten die Leistung großer multimodaler Modelle (LMMs) anhand einer Teilmenge des FinMME-Datensatzes¹⁵ , einem umfassenden Benchmark, der entwickelt wurde, um multimodale Denkfähigkeiten im Finanzbereich zu bewerten. FinMME umfasst über 11.000 hochwertige Finanzproben aus 18 Finanzbereichen und 6 Anlageklassen und bietet einen robusten Rahmen für die Bewertung von LMMs im Finanzbereich.

Für dieses Benchmarking verwendeten wir eine kuratierte Auswahl von 100 Proben aus dem FinMME-Datensatz, um die Fähigkeit der Modelle zu analysieren, multimodale Finanzdaten zu verarbeiten und damit zu denken.

Haftungsausschluss

Diese Bewertung verwendete eine kuratierte Teilmenge von 100 Proben aus einem größeren Datensatz, um LMMs zu benchmarken. Für eine umfassende Bewertung der Modellleistung müssen alle Proben im vollständigen Benchmark-Datensatz berücksichtigt werden.

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Große multimodale Modelle (LMMs) vs. LLMs}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/large-multimodal-models}},
  note   = {AIMultiple. Abgerufen am 22. Mai 2026}
}

Referenzlinks

1.

Gemma 3: Google’s new open model based on Gemini 2.0

Google

2.

GitHub - deepseek-ai/Janus: Janus-Series: Unified Multimodal Understanding and Generation Models · GitHub

3.

GitHub - QwenLM/Qwen3-VL: Qwen3-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud. · GitHub

4.

https://qwen.ai/blog?id=qwen2.5-vl-32b

5.

CLIP: Connecting text and images | OpenAI

6.

https://qwen.ai/blog?id=qwen2.5-vl-32b

7.

[2204.14198] Flamingo: a Visual Language Model for Few-Shot Learning

8.

Multimodality and Large Multimodal Models (LMMs)

9.

GitHub - bytedance/vidi: The official repo for "Vidi: Large Multimodal Models for Video Understanding and Editing" · GitHub

10.

Client Challenge

Financial Times

11.

GitHub - MoonshotAI/Kimi-VL: Kimi-VL: Mixture-of-Experts Vision-Language Model for Multimodal Reasoning, Long-Context Understanding, and Strong Agent Capabilities · GitHub

12.

Gemini 3: Introducing the latest Gemini AI model from Google

Google

13.

Introducing 4o Image Generation | OpenAI

14.

Magma: A Foundation Model for Multimodal AI Agents

15.

luojunyu/FinMME · Datasets at Hugging Face

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 55 % der Fortune 500. Cems Arbeit wurde von führenden globalen Publikationen wie Business Insider, Forbes und der Washington Post, von globalen Unternehmen wie Deloitte und HPE sowie von NGOs wie dem Weltwirtschaftsforum und supranationalen Organisationen wie der Europäischen Kommission zitiert. Weitere namhafte Unternehmen und Ressourcen, die AIMultiple referenziert haben, finden Sie hier. Im Laufe seiner Karriere war Cem als Technologieberater, Technologieeinkäufer und Technologieunternehmer tätig. Über ein Jahrzehnt lang beriet er Unternehmen bei McKinsey & Company und Altman Solon in ihren Technologieentscheidungen. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung. Bei einem Telekommunikationsunternehmen leitete er die Technologiestrategie und -beschaffung und berichtete direkt an den CEO. Darüber hinaus verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von null auf einen siebenstelligen jährlichen wiederkehrenden Umsatz und eine neunstellige Unternehmensbewertung kam. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider gewürdigt. Er ist ein gefragter Redner auf internationalen Technologiekonferenzen. Cem absolvierte sein Studium der Informatik an der Bogazici-Universität und besitzt einen MBA der Columbia Business School.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten