Große multimodale Modelle (LMMs) vs LLMs

Wir haben die Leistung großer multimodaler Modelle (LMMs) bei Aufgaben des finanziellen Denkens anhand eines sorgfältig ausgewählten Datensatzes bewertet. Durch die Analyse einer Teilmenge hochwertiger Finanzbeispiele bewerten wir die Fähigkeiten der Modelle, multimodale Daten im Finanzbereich zu verarbeiten und mit ihnen zu denken.

Der Abschnitt zur Methodik bietet detaillierte Einblicke in den verwendeten Datensatz und das Bewertungsframework.

Entdecken Sie große multimodale Modelle und vergleichen Sie mit großen Sprachmodellen.

Warum unterschieden sich die Modelle in ihrer Leistung?

Die Unterschiede in den Erfolgsquoten spiegeln wider, wie jedes Modell multimodale Finanzaufgaben verarbeitet. Da der Benchmark Beispiele aus dem FinMME-Datensatz verwendet, die Integration von Text und Finanzvisualisierungen wie Diagrammen und strukturierten Dokumenten erfordern, hängt die Leistung stark von der Modellarchitektur, der Trainingsqualität und der multimodalen Ausrichtung ab.

Modellarchitektur und Parameterdesign

Modelle unterscheiden sich darin, wie sie Text- und Bild-Encoder kombinieren, in der Anzahl aktiver Parameter und in der Komplexität ihres Experten-Routings.

• Llama 4 Maverick verwendet beispielsweise ein größeres expertenbasiertes Design, das ein stärkeres logisches Denken ermöglicht.
• Kleinere oder effizienzorientierte Modelle haben weniger Parameter, die auf multimodales Denken abgestimmt sind, was die Leistung einschränkt.

Diese architektonischen Unterschiede beeinflussen, wie gut jedes Modell numerische Zusammenhänge, Diagrammstrukturen und domänenspezifische Visualisierungen interpretieren kann.

Abdeckung der Trainingsdaten

Einige Modelle werden mit umfangreichen multimodalen Datensätzen trainiert, während andere sich hauptsächlich auf allgemeine Daten stützen.

• Modelle der Familien Claude 4 und Qwen 2.5 integrieren umfangreiche visuelle und textuelle Daten, wodurch sie numerische und visuelle Hinweise besser aufeinander abstimmen können.
• Modelle, die mit begrenzteren multimodalen Korpora trainiert wurden, haben Schwierigkeiten mit Finanzdiagrammen und strukturierten Schaubildern.

Die Trainingsdaten beeinflussen unmittelbar, wie zuverlässig ein Modell modalübergreifende Finanzkonzepte verarbeitet.

Fine-Tuning für modalübergreifendes Denken

Der Benchmark erfordert die Koordination zwischen Bildinterpretation und textbasiertem logischem Denken.

• Claude-4-Modelle werden als stark bei Aufgaben mit Diagrammen und Schaubildern beschrieben.
• Modelle ohne dediziertes modalübergreifendes Fine-Tuning erkennen visuelle Merkmale möglicherweise korrekt, scheitern jedoch, wenn sie diese mit Finanzsprache oder -logik verbinden sollen.

Die Fine-Tuning-Strategie eines Modells beeinflusst seine Fähigkeit, während der Analyse textuelle und visuelle Signale zusammenzuführen.

Kapazität zur Kontextverarbeitung

Finanzbeispiele enthalten oft mehrere Elemente, die zusammen gelesen werden müssen, wie mehrteilige Diagramme oder lange Beschreibungen.

• Modelle mit größeren Kontextfenstern können Beziehungen über lange Eingaben hinweg behalten.
• Stärker eingeschränkte Modelle übersehen möglicherweise Abhängigkeiten, was die Genauigkeit bei Aufgaben verringert, die Verfolgung mehrerer visueller und textueller Komponenten erfordern.

Die Größe des Kontextfensters beeinflusst, wie gut ein Modell die Abstimmung zwischen quantitativen und visuellen Details aufrechterhält.

Modellgröße und Effizienzprioritäten

Einige Modelle sind bewusst für eine leichte Bereitstellung und nicht für hochkomplexes logisches Denken konzipiert.

• Phi-4-multimodal und ähnliche Modelle priorisieren Effizienz, was die Tiefe der multimodalen Verarbeitung einschränkt.
• Größere Modelle behalten eine höhere Kapazität für Denkaufgaben, die ein feinkörniges Diagrammverständnis erfordern.

Dieser Kompromiss führt zu niedrigeren Bewertungen für kleinere Modelle.

Unterschiede im visuellen Verständnis

Die Evaluierung umfasst Aufgaben, die genaues Diagrammlesen, Objekterkennung in Finanzdokumenten und die Extraktion visueller Details erfordern.

• Modelle mit fortschrittlichen visuellen Pipelines, wie die Qwen 2.5-VL-Varianten, bewältigen diese Aufgaben effektiver.
• Andere verarbeiten generische Bilder möglicherweise gut, schneiden bei strukturierten Finanzvisualisierungen jedoch uneinheitlich ab.

Die Stärke des visuellen Denkens beeinflusst die Ergebnisse bei FinMME-artigen Beispielen stark.

Merkmale des Evaluierungsdatensatzes

Der Datensatz konzentriert sich auf multimodales finanzielles Denken und nicht auf allgemeine Aufgaben.

• Modelle, die für Finanz-, Zahlen- oder Diagrammaufgaben trainiert oder feinabgestimmt wurden, schneiden besser ab.
• Generalistische Modelle ohne Domänenexposition zeigen bei Finanzdatensätzen eine geringere Präzision.

Die Spezialisierung des Datensatzes macht die Leistung empfindlicher gegenüber der Qualität des modalübergreifenden Denkens.

Was sind quelloffene große multimodale Modelle?

Open-Source-LMMs mit ihrer Anzahl an GitHub-Sternen:

Die Grafik zeigt, dass die GitHub-Beliebtheit verschiedener Open-Source-LMMs zugenommen hat, wobei einige Modelle kurz nach ihrer Veröffentlichung eine rasche Akzeptanz erfahren.

Die Janus-Serie von DeepSeek gewann innerhalb weniger Tage nach der Veröffentlichung von Janus-Pro am 27. Januar 2025 Tausende von GitHub-Sternen und übertraf damit ihre Konkurrenten, die Monate brauchten, um ähnliche Zahlen zu erreichen. Dieser rasche Anstieg war auf den Erfolg von Janus-Pro zurückzuführen und wurde durch die Dynamik beeinflusst, die DeepSeek-R1 erzeugte.

1. Gemma 3 von Google: Gemma 3 ist eine Familie leichter, hochmoderner offener Modelle, die von der Gemini-2.0-Technologie abgeleitet sind. Diese Modelle bieten fortschrittliche Text- und visuelle Denkfähigkeiten, ein 128k-Token-Kontextfenster, Unterstützung für Funktionsaufrufe und quantisierte Versionen für optimierte Leistung. Dazu gehört ShieldGemma 2 für Bildsicherheit, und es werden verschiedene Tools und Bereitstellungsoptionen unterstützt.¹
2. Janus-Pro von DeepSeek: Janus-Pro ist eine weiterentwickelte Version des Janus-Modells und wurde entwickelt, um Text und Bilder zu verstehen und zu generieren. Es verfügt über eine optimierte Trainingsstrategie, erweiterte Trainingsdaten und eine größere Modellgröße, was seine multimodalen Fähigkeiten verbessert.²
3. Qwen2.5-VL von Alibaba: Qwen2.5-VL von Alibaba ist eine multimodale Erweiterung des Sprachmodells Qwen2.5 und wurde für das Verständnis von Text und Bildern entwickelt. Es bietet umfangreiches Pre-Training (bis zu 18T Tokens), ein erweitertes Kontextfenster (bis zu 128K Tokens), verbessertes Befolgen von Anweisungen und robuste mehrsprachige Unterstützung, wodurch es sich für Aufgaben wie Bildbeschriftung und visuelle Fragenbeantwortung eignet. ³
   • Aufbauend auf der Qwen2.5-VL-Serie hat Alibaba Qwen2.5-VL-32B-Instruct optimiert und als Open Source veröffentlicht, ein 32B-VL-Modell mit verbessertem feinkörnigem Bildverständnis und logischem Denken. Dies führt zu besserer Leistung und detaillierterer Analyse bei Aufgaben wie Bildparsing, Inhaltserkennung und visueller Logikableitung.⁴
4. CLIP (Contrastive Language–Image Pretraining) von OpenAI: CLIP ist darauf ausgelegt, Bilder im Kontext natürlicher Sprache zu verstehen. Es kann Aufgaben wie Zero-Shot-Bildklassifikation ausführen, bei denen es Bilder auch in Kategorien korrekt klassifizieren kann, für die es nicht explizit trainiert wurde, indem es Textbeschreibungen versteht.⁵
   • Aufbauend auf der Qwen2.5-VL-Serie hat Alibaba Qwen2.5-VL-32B-Instruct optimiert und als Open Source veröffentlicht, ein 32B-VL-Modell mit verbessertem feinkörnigem Bildverständnis und logischem Denken. Dies führt zu besserer Leistung und detaillierterer Analyse bei Aufgaben wie Bildparsing, Inhaltserkennung und visueller Logikableitung.⁴
5. Flamingo von DeepMind: Flamingo ist darauf ausgelegt, die Stärken des Sprach- und Bildverständnisses zu nutzen, sodass es Aufgaben ausführen kann, die Interpretation und Integration von Informationen aus Text und Bildern erfordern.⁶

Abbildung 1: Ein Beispiel von Chip Huyen⁷

Was sind die führenden LMMs?

Allzweck-LLMs UI & API-Funktionen

Die Anbieter wurden unter den beliebtesten multimodalen LLMs basierend auf Vergleichbarkeit, Datenverfügbarkeit und Aktualität ausgewählt.

LMMs mit ihrem Preis pro Token:

Um das am besten geeignete Modell auszuwählen, sollten Sie Faktoren wie Ihr Budget, die erforderlichen Fähigkeiten und das Leistungsniveau sowie das erwartete Volumen an Eingabe-/Ausgabetokens für Ihren spezifischen Anwendungsfall berücksichtigen.

Lesen Sie mehr über LLM-Preisgestaltung.

Was sind die neuesten Fortschritte bei multimodalen Modellen?

Jüngste Fortschritte bei multimodalen Modellen haben neue Fähigkeiten und Effizienz in die KI-Entwicklung gebracht.

Video-First-multimodale Basismodelle

Video-First-multimodale Basismodelle gehen über die Erstellung allgemeiner Untertitel oder Zusammenfassungen hinaus und lernen stattdessen, Belege innerhalb von Videos explizit zu lokalisieren.

Anstatt zu sagen, was passiert, können sie erkennen, wann es passiert (Zeitstempel) und wo es passiert (Begrenzungsrahmen um Objekte oder Bereiche).

Diese Verschiebung hin zu raumzeitlicher Verankerung macht das Videoverständnis präziser und überprüfbarer. Sie ermöglicht außerdem Aufgaben wie das Auffinden exakter Momente, das Verfolgen von Objekten, das Bearbeiten von Videos mit natürlicher Sprache sowie die Unterstützung von Robotik und sicherheitskritischen Systemen.

Zum Beispiel ist Vidi⁸ ein Open-Source-Projekt von ByteDance, das sich auf große multimodale Modelle für Videoverständnis und -bearbeitung konzentriert.

Das Repository hostet den Code und die Ressourcen für eine Modellfamilie (z. B. Vidi-7B, Vidi1.5-9B, Vidi2 und Vidi2.5), die Vision, Audio und Text als Eingaben verwenden, um Aufgaben auszuführen wie:

• Zeitliche Suche (Finden der Zeitsegmente in einem Video, die zu einer Textanfrage passen)
• Raumzeitliche Verankerung (Lokalisieren von Objekten mit Begrenzungsrahmen)
• Video-Fragenbeantwortung

Mistral 3 multimodale Frontier-Veröffentlichung

Mistral KI hat eine neue Familie quelloffener KI-Modelle namens Mistral 3 entwickelt. Die Mistral-3-Suite umfasst sowohl multimodale/multilinguale Modelle auf Spitzenniveau als auch kleinere, effiziente Modelle, die auf einer Reihe von Geräten laufen können – von der Cloud bis zum Edge und sogar auf einzelnen GPUs.

Diese Modelle werden unter einer permissiven Open-Source-Lizenz (Apache 2.0) veröffentlicht und zielen darauf ab, den Zugang zu fortgeschrittener KI zu demokratisieren, Anpassung und Bereitstellungsflexibilität zu ermöglichen und Europas Position in der KI-Entwicklung zu stärken, wo Bedenken bestehen, bei Spitzentechnologien hinter den USA und China zurückzufallen.⁹

Open-Source-MoE-Vision-Language-Modelle

Kimi-VL (von Moonshot KI) ist ein quelloffenes multimodales Vision-Language-Modell, das mit einer Mixture-of-Experts-Architektur (MoE) entwickelt wurde und Aufgaben bewältigt, die Text, Bilder und Videos kombinieren, während die Berechnung effizient bleibt.

Es hat ein 16B-Backbone mit Gesamtparametern, aktiviert während der Inference jedoch typischerweise ca. 2.8 Mrd. Parameter, was hilft, Leistungsfähigkeit und Kosten in Einklang zu bringen.

Kimi-VL ist für fortgeschrittenes multimodales Denken, Langkontextverständnis (bis zu ~128K Tokens) und agentenartige Interaktionen konzipiert und konkurriert auf Benchmarks wie Videoverständnis, optische Zeichenerkennung (OCR), mathematisches Denken und Multi-Image-Aufgaben gut mit größeren Modellen.

Varianten wie Kimi-VL-A3B-Thinking werden weiter für Chain-of-Thought- und Denkaufgaben feinabgestimmt, während der visuelle Encoder MoonViT das Verständnis hochauflösender Eingaben unterstützt.

Abbildung 2: Kimi-VL-Architekturdesign.¹⁰

Anthropics Claude-4-Serie

Anthropics Claude-4-Serie integriert fortgeschrittenes visuelles Verständnis mit ihrer textbasierten Denk-Engine und bettet Vision direkt in Problemlösungsabläufe ein.

Claude-4-Modelle zeigen starke Leistungen bei multimodalen Denk-Benchmarks wie MMMU, insbesondere bei der Interpretation von Diagrammen, Schaubildern und komplexen visuellen Daten. Ein besonderes Merkmal von Claude Opus 4.1 ist die Fähigkeit, ästhetische Qualitäten in Bildern zu bewerten, was über die Erkennung hinaus bis zu nuancierteren Beurteilungen reicht.

Diese Fähigkeiten machen die Serie in Kombination mit den agentischen Funktionen von Claude effektiv für Aufgaben wie die Synthese von Recherchen aus Berichten mit gemischten Texten und Visualisierungen oder die Unterstützung beim Interface-Design durch die Analyse visueller Mock-ups.

Googles Gemini 3

Google veröffentlichte Gemini 3 im November 2025, wobei Gemini 3 Pro sofort verfügbar war und der Gemini 3 Deep-Think-Modus kurz darauf für Abonnenten von Google KI Ultra eingeführt wurde. Gemini 3 wird von Google als sein intelligentestes und leistungsfähigstes multimodales Modell positioniert, mit nativer Unterstützung für Text, Bilder, Videos, Audio und Code in einer einzigen Architektur.

Gemini 3 Pro wird mit einem Kontextfenster von 1 Million Tokens ausgeliefert und erzielt starke Ergebnisse bei multimodalen Benchmarks, darunter 81 % bei MMMU-Pro und 87.6 % bei Video-MMMU. Es führte die LMArena-Bestenliste bei der Veröffentlichung mit einer Punktzahl von 1501 Elo an und erreichte 91.9 % bei GPQA Diamond für Denkaufgaben auf Graduiertenniveau sowie 76.2 % bei SWE-bench Verified für agentische Programmieraufgaben.

Gemini 3 Deep Think ist ein erweiterter Denkmodus, der die Leistung bei den anspruchsvollsten Aufgaben weiter verbessert und 41.0 % bei Humanity’s Last Exam (ohne Tools) sowie 45.1 % bei ARC-AGI-2 erreicht. Zusammen mit Gemini 3 veröffentlichte Google auch Google Antigravity, eine agentische Entwicklungsplattform, die Gemini 3 mit dem Gemini 2.5 Computer Use-Modell für die Browsersteuerung und dem Bildbearbeitungsmodell Nano Banana kombiniert und so End-to-End-Softwareentwicklungsabläufe ermöglicht, in denen das Modell Aufgaben autonom planen, programmieren und validieren kann.¹¹

GPT-5 von OpenAI

GPT-5 führt eine verbesserte native Multimodalität für Text, Sprache, Bild und Video ein. Im Gegensatz zu früheren Systemen, die stark auf Plugins angewiesen waren, integriert GPT-5 diese Modalitäten in einer einheitlichen Architektur, was zu einer reibungsloseren Interaktion führt. Das Modell passt sich flexibel an verschiedene Eingabetypen an und kann zwischen ihnen wechseln.

Ein bemerkenswertes Merkmal ist der Echtzeit-Sprachmodus, der Ton, Tempo und Stil an die Anweisungen des Nutzers anpassen kann. Dies schafft ein natürlicheres und anpassungsfähigeres Gesprächserlebnis. Auch die visuelle Verarbeitung wurde verbessert, wodurch Halluzinationen beim Interpretieren oder Generieren von Bildern, Diagrammen und Schaubildern reduziert werden. Ein weiterer Fortschritt liegt in den Speicherfähigkeiten, die es dem System ermöglichen, frühere Eingaben abzurufen und den Kontext über längere Interaktionen aufrechtzuerhalten.

Diese Verbesserungen machen GPT-5 besonders wertvoll für barrierefreie multimodale Schnittstellen, insbesondere für Menschen mit sensorischen Beeinträchtigungen.

Google DeepMinds robotikorientierte multimodale Modelle

Google DeepMind hat Gemini Robotics und Gemini Robotics-ER entwickelt, Modelle, die darauf zugeschnitten sind, Vision, Sprache und Aktion in Robotiksystemen zu integrieren. Diese Modelle ermöglichen es Robotern, Aufgaben in unstrukturierten Umgebungen auszuführen, wie Papier zu falten oder Flaschendeckel abzuschrauben.

Ein zentrales Merkmal dieser Modelle ist ihr Sicherheitsmechanismus. Vor der Ausführung von Aktionen führt das System integrierte Prüfungen durch, um Risiken zu minimieren und die angemessene Handhabung von Aufgaben zu gewährleisten. Dieser Ansatz adressiert eine der größten Herausforderungen der Robotik: fortgeschrittenes KI-Denken mit sicherer und zuverlässiger realer Ausführung zu verbinden.

Llama 4 Scout und Llama 4 Maverick von Meta KI

Llama 4 Scout ist ein multimodales Modell mit 17 Milliarden aktiven Parametern und 16 Experten. Dieses Modell übertrifft die Modelle der vorherigen Llama-Generation und ist für den Betrieb auf einer einzelnen H100-GPU ausgelegt. Es verfügt über ein Kontextfenster von 10 Millionen Tokens für die Verarbeitung großer Informationsmengen. Benchmark-Ergebnisse zeigen, dass Llama 4 Scout bessere Ergebnisse erzielt als Gemma 3, Gemini 2.0 Flash-Lite und Mistral 3.1 über eine Reihe weit verbreiteter Benchmarks.

Llama 4 Maverick ist ein multimodales Modell mit 17 Milliarden aktiven Parametern und 128 Experten. Dieses Modell wird als Spitzenreiter seiner Klasse präsentiert und übertrifft GPT-4o und Gemini 2.0 Flash über eine Reihe von Benchmarks. Es erreicht eine mit DeepSeek v3 vergleichbare Leistung beim Denken und Programmieren, während es weniger aktive Parameter verwendet. Eine experimentelle Chat-Version von Llama 4 Maverick erreichte einen ELO-Wert von 1417 auf der LMArena-Plattform.

ChatGPT Images 2.0 von OpenAI

OpenAIs ChatGPT Images 2.0 verbessert die Bildgenerierung mit höherer Präzision, Kontrolle und visuellem Denken. Das Modell verbessert das Befolgen von Anweisungen, die Textwiedergabe und die mehrsprachige Unterstützung. Es kann anspruchsvollere und realistischere visuelle Ergebnisse in den Bereichen Fotografie, Illustration, Manga, Infografiken, Poster und andere Stile erzeugen. Es unterstützt außerdem flexible Seitenverhältnisse, sodass generierte Inhalte für Formate von Mobilbildschirmen bis hin zu Bannern und Druckmaterialien geeignet sind.

In Kombination mit den Denkfähigkeiten von ChatGPT kann ChatGPT Images 2.0 Quellmaterialien interpretieren und kontextuelle sowie reale Informationen einbeziehen. Dies ermöglicht es Nutzern, komplexere, informationsreichere Grafiken zu entwickeln und kreative Konzepte im Gespräch zu verfeinern, während eine stärkere Konsistenz in Komposition, Typografie und visueller Ausrichtung erhalten bleibt.

Qwen3-VL von Alibaba

Die Qwen3-VL-Serie von Alibaba, die ab September 2025 veröffentlicht wurde, baut auf dem Sprachmodell Qwen3 auf, indem sie tiefere visuelle Wahrnehmungs- und Denkfähigkeiten hinzufügt. Die Familie umfasst dichte Varianten von 2B bis 32B Parametern sowie Mixture-of-Experts-Varianten mit bis zu 235B Gesamtparametern (22B aktiv), alle unter der Apache-2.0-Lizenz veröffentlicht.

Zu den wichtigsten Merkmalen gehören ein natives 256K-Kontextfenster (erweiterbar auf 1 Million Tokens), erweiterte mehrsprachige OCR in 32 Sprachen, 2D- und 3D-Objektverankerung für räumliches Denken und verkörperte KI, stundenlanges Videoverständnis mit sekundengenauer Indizierung sowie visuelle Agentenfähigkeiten für GUI-Steuerung.

Die Thinking-Varianten sind auf MINT-Fächer und multimodales Denken abgestimmt, während die Instruct-Varianten auf allgemeine Vision-Language-Aufgaben wie Dokumentenanalyse, Diagrammextraktion und visuelle Fragenbeantwortung abzielen.

Gemma 3 von Google

Googles Gemma 3 baut auf der Technologie der Gemini-2.0-Modelle auf. Es ist in vier Größen erhältlich (1B, 4B, 12B und 27B) für unterschiedliche Hardwareanforderungen und bietet ein 128k-Token-Kontextfenster. Gemma 3 funktioniert gut auf Einzelbeschleuniger-Setups und umfasst Text- und visuelles Denken, Funktionsaufrufe sowie die Unterstützung von über 35 Sprachen, mit Pretraining für mehr als 140. Quantisierte Versionen reduzieren Modellgröße und Rechenanforderungen. Das ShieldGemma-2-System bietet eine Klassifizierung der Inhaltssicherheit.

Phi-4-multimodal von Microsoft

Microsofts Phi-4-multimodal ist ein 5.6B-Parameter-Modell, das Sprache, Vision und Text in einer einheitlichen Architektur verarbeitet. Es nutzt modalübergreifendes Lernen für kontextbewusste Interaktionen zwischen verschiedenen Eingabetypen. Das Modell verarbeitet mehrere Eingabeformate, ohne separate Verarbeitungssysteme zu benötigen, und ist für die Bereitstellung auf Geräten und Edge-Computing konzipiert. Zu den Anwendungen gehören Smartphone-KI, Fahrzeugsysteme und mehrsprachige Dienste.

Was ist ein großes multimodales Modell (LMM)?

Ein großes multimodales Modell ist eine fortgeschrittene Art von KI-Modell, das mehrere Arten von Datenmodalitäten verarbeiten und verstehen kann. Zu diesen multimodalen Daten können Text, Bilder, Audio, Video und potenziell weitere gehören. Das zentrale Merkmal eines multimodalen Modells ist seine Fähigkeit, Informationen aus diesen verschiedenen Datenquellen oft gleichzeitig zu integrieren und zu interpretieren.

Diese können als weiterentwickelte Versionen von großen Sprachmodellen (LLMs) verstanden werden, die mit Text und auch mit verschiedenen Datentypen arbeiten können. Zudem sind die Ausgaben multimodaler Sprachmodelle darauf ausgelegt, textuell, visuell, auditiv usw. zu sein.

Multimodale Sprachmodelle gelten als der nächste Schritt auf dem Weg zu künstlicher allgemeiner Intelligenz.

Was ist ein multimodaler KI-Agent?

Multimodale KI-Agenten sind Systeme, die darauf ausgelegt sind, mit der Welt über verschiedene Datentypen wie Bilder, Videos und Text zu interagieren, sodass sie sowohl in digitalen als auch in physischen Umgebungen agieren können. Multimodale Modelle sind die Kernkomponente dieser Agenten und ermöglichen es ihnen, Informationen aus unterschiedlichen Quellen wahrzunehmen und zu verstehen.

Zum Beispiel nutzen Modelle wie Magma Vision-Language-Verständnis und räumliche Intelligenz, die durch Techniken wie Set-of-Mark und Trace-of-Mark während des Pretrainings auf multimodalen Datensätzen erreicht werden.

Dies ermöglicht es dem Agenten, Aufgaben auszuführen, die vom Verstehen von Videoinhalten und der Beantwortung von Fragen bis zur Navigation in Benutzeroberflächen und der Steuerung von Robotern reichen, und demonstriert die vielseitigen Fähigkeiten, die multimodale Modelle durch die Nutzung verschiedener Datenmodalitäten in KI-Agenten einbringen. Die folgende Abbildung zeigt, wie Magma Roboterbahnen plant, um Aufgaben zu erledigen, und veranschaulicht seine räumliche Intelligenz in Aktion.¹²

Was ist der Unterschied zwischen LMMs und LLMs?

1. Datenmodalitäten

• LMMs: Sie sind darauf ausgelegt, mehrere Arten von Dateneingaben oder Modalitäten zu verstehen und zu verarbeiten. Dazu gehören Text, Bilder, Audio, Video und manchmal andere Datentypen wie sensorische Daten. Die zentrale Fähigkeit von LMMs ist ihre Fähigkeit, diese verschiedenen Datenformate oft gleichzeitig zu integrieren und zu verstehen.
• LLMs: Diese Modelle sind auf die Verarbeitung und Generierung von Textdaten spezialisiert. Sie werden hauptsächlich auf großen Textkorpora trainiert und sind gut darin, menschliche Sprache in verschiedenen Kontexten zu verstehen und zu generieren. Sie verarbeiten von Natur aus keine nicht-textuellen Daten wie Bilder oder Audio.

2. Anwendungen und Aufgaben

• LMMs: Aufgrund ihrer multimodalen Natur können diese Modelle für Aufgaben eingesetzt werden, die das Verstehen und Integrieren von Informationen über verschiedene Datentypen hinweg erfordern. Zum Beispiel könnte ein LMM einen Nachrichtenartikel (Text), die zugehörigen Fotos (Bilder) und verwandte Videoclips analysieren, um ein umfassendes Verständnis zu erlangen.
• LLMs: Ihre Anwendungen konzentrieren sich auf Aufgaben mit Text, wie das Schreiben von Artikeln, das Übersetzen von Sprachen, das Beantworten von Fragen, das Zusammenfassen von Dokumenten und das Erstellen textbasierter Inhalte.

Was sind die Datenmodalitäten großer multimodaler Modelle?

Text

Dazu gehören alle Formen geschriebener Inhalte wie Bücher, Artikel, Webseiten und Beiträge in sozialen Medien. Das Modell kann Textinhalte verstehen, interpretieren und generieren, einschließlich Aufgaben der natürlichen Sprachverarbeitung wie Übersetzung, Zusammenfassung und Fragenbeantwortung.

Bilder

Diese Modelle können visuelle Daten analysieren und generieren. Dazu gehört das Verstehen des Inhalts und Kontexts von Fotografien, Illustrationen und anderen grafischen Darstellungen. Aufgaben wie Bildklassifizierung, Objekterkennung und Bildgenerierung aus Textbeschreibungen fallen in diese Kategorie.

Audio

Dies umfasst Tonaufnahmen, Musik und gesprochene Sprache. Modelle können darauf trainiert werden, Sprache zu erkennen, Musik, Umgebungsgeräusche und andere akustische Eingaben zu verstehen. Sie können Sprache transkribieren, gesprochene Befehle verstehen und sogar synthetische Sprache oder Musik erzeugen.

Video

Die Videoverarbeitung kombiniert visuelle und auditive Elemente und umfasst das Verstehen bewegter Bilder und der dazugehörigen Geräusche. Dazu können die Analyse von Videoinhalten, die Erkennung von Handlungen oder Ereignissen in Videos und die Generierung von Videoclips gehören.

Während die meisten aktuellen großen multimodalen Sprachmodelle Text und Bilder verarbeiten können, zielt die künftige Forschung darauf ab, Audio- und Videodateneingaben einzubeziehen.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Wie werden große multimodale Modelle trainiert?

Das Training großer multimodaler Modelle (LMMs) unterscheidet sich in mehreren wichtigen Aspekten erheblich vom Training großer Sprachmodelle (LLMs):

1. Datenerfassung und -aufbereitung

• LLMs: Konzentrieren sich auf Textdaten aus Büchern, Websites und schriftlichen Quellen, mit Fokus auf sprachliche Vielfalt für die Datenquellen des LLM-Trainings.
• LMMs: Erfordern Text-, Bild-, Audio- und Videodaten. Die Erfassung ist aufgrund unterschiedlicher Formate komplexer. Datenannotation und -abgleich zwischen den Modalitäten sind unerlässlich.

2. Modellarchitekturdesign

• LLMs: Verwenden Transformer-Architekturen, die für die sequenzielle Textverarbeitung optimiert sind.
• LMMs: Verwenden komplexere Architekturen, die mehrere Arten neuronaler Netze integrieren (CNNs für Bilder, Transformers für Text), mit Mechanismen zur Verbindung dieser Modalitäten.

3. Pre-Training

• LLMs: Werden auf Textkorpora mit Techniken wie maskiertem Sprachmodellieren vortrainiert.
• LMMs: Werden über mehrere Datentypen hinweg vortrainiert und lernen, Text mit Bildern zu korrelieren oder Videosequenzen zu verstehen.

4. Fine-Tuning

• LLMs: Fine-Tuning auf spezialisierten Textdatensätzen für bestimmte Aufgaben.
• LMMs: Erfordern Fine-Tuning sowohl auf modalitätsspezifischen Datensätzen als auch auf modalübergreifenden Datensätzen, um Beziehungen zwischen verschiedenen Datentypen herzustellen.

5. Evaluierung und Iteration

• LLMs: Die Evaluierungsmetriken konzentrieren sich auf Sprachverständnis- und -generierungsaufgaben, einschließlich Flüssigkeit, Kohärenz und Relevanz.
• LMMs: Werden anhand breiterer Metriken bewertet, die Bilderkennung, Audioverarbeitung und modalübergreifende Integrationsfähigkeiten abdecken.

Wie funktionieren LMMs?

Große multimodale Modelle weisen in ihrem Trainingsprozess, Design und Betrieb Ähnlichkeiten mit großen Sprachmodellen auf. Sie verwenden dieselbe Transformer-Architektur und dieselben Trainingsstrategien. Große multimodale Modelle werden trainiert mit:

• Textdaten
• Millionen oder Milliarden von Bildern mit Textbeschreibungen
• Videoclips
• Audioclips
• Weitere Eingabedaten, wie Code

Dieses Training umfasst das gleichzeitige Lernen mehrerer Datenmodalitäten und ermöglicht es dem Modell:

• Ein Foto einer Katze zu erkennen
• Ein Wort in einem Audioclip zu identifizieren
• Konzepte und sensorische Details über Text hinaus zu verstehen

Auf diese Weise können Nutzer Folgendes hochladen:

• Ein Bild, um:
  • Eine Beschreibung dessen zu erhalten, was vor sich geht
  • Das Bild als Teil eines Prompts zu verwenden, um Text oder Bilder zu generieren
  • Folgefragen zu bestimmten Elementen des Bildes zu stellen
  • Den Text des Bildes in eine andere Sprache zu übersetzen (z. B. Menü)

Abbildung 3: Hochladen eines Bildes einer Katze auf ChatGPT, um es zu beschreiben.

• Diagramme und Grafiken, um:
  • Komplizierte Folgefragen zu dem zu stellen, was sie zeigen
• Design-Mock-up, um:
  • Den notwendigen HTML- und CSS-Code zu erhalten, um es zu erstellen.

Abbildung 4: Prompting des Bildes im Stil von Wes-Anderson-Filmen. ChatGPT füttert den Prompt in ein Bildgenerierungsmodell (wie DALL·E), das die Anfrage interpretiert und das gestylte Bild erzeugt.

Nach dem Trainingsprozess könnten Modelle ungesunde Stereotype und toxische Ideen übernehmen. Um sie zu verfeinern, können Techniken wie:

• Verstärkendes Lernen mit menschlichem Feedback (RLHF)
• Supervisorische KI-Modelle
• Red Teaming (Testen der Robustheit des Modells) eingesetzt werden.

Zusätzlich können KI-Governance-Tools und verantwortungsvolle KI-Tools, die als KI-Compliance-Lösungen fungieren, auch die Optimierung des KI-Inventars ermöglichen und helfen, KI-Verzerrungen und andere ethische Dilemmata zu verhindern. Hier ist ein Beispiel dafür, wie diese Tools Bedenken hinsichtlich generativem KI-Urheberrecht adressieren:

Abbildung 5: ChatGPT lehnt meine Anfrage aufgrund der Richtlinien zu Inhaltsrichtlinien ab, um Urheberrechte zu schützen.

Ziel ist es, ein funktionsfähiges multimodales System zu entwickeln, das Folgendes bewältigen kann:

• Text-zu-Bild-Synthese
• Bildbeschriftung
• Textbasierter Bildabruf
• Visuelle Fragenbeantwortung.

Auf diese Weise kann multimodale KI verschiedene Modalitäten integrieren und erweiterte Fähigkeiten für Aufgaben bereitstellen, die sowohl Sprache als auch Vision betreffen.

Was sind die Einschränkungen großer Sprachmodelle?

1. Datenanforderungen und Verzerrung: Diese Modelle benötigen riesige, vielfältige Datensätze für das Training. Die Verfügbarkeit und Qualität solcher Datensätze kann jedoch eine Herausforderung darstellen. Wenn die Trainingsdaten zudem Verzerrungen enthalten, wird das Modell diese wahrscheinlich übernehmen und möglicherweise verstärken, was zu unfairen oder unethischen Ergebnissen führt.
2. Rechenressourcen: Das Training und der Betrieb großer multimodaler Modelle erfordern erhebliche Rechenressourcen, was sie teuer und für kleinere Organisationen oder unabhängige Forschende weniger zugänglich macht.
3. Interpretierbarkeit und Erklärbarkeit: Wie bei komplexen KI-Modellen kann es schwierig sein zu verstehen, wie sie Entscheidungen treffen. Dieser Mangel an Transparenz kann ein kritisches Problem darstellen, insbesondere in sensiblen Anwendungen wie dem Gesundheitswesen oder der Strafverfolgung.
4. Integration von Modalitäten: Die effektive Integration verschiedener Datentypen (wie Text, Bilder und Audio) auf eine Weise, die Nuancen jeder Modalität wirklich versteht, ist äußerst herausfordernd. Das Modell erfasst möglicherweise nicht immer den Kontext oder die Feinheiten menschlicher Kommunikation, die sich aus der Kombination dieser Modalitäten ergeben.
5. Generalisierung und Overfitting: Obwohl diese Modelle auf riesigen Datensätzen trainiert werden, könnten sie Schwierigkeiten haben, auf neue, unbekannte Daten oder Szenarien zu generalisieren, die sich erheblich von ihren Trainingsdaten unterscheiden. Umgekehrt könnten sie die Trainingsdaten überanpassen und Rauschen und Anomalien als Muster erfassen.

Um mehr zu erfahren, lesen Sie die Herausforderungen und Risiken im Zusammenhang mit generativen und Sprachmodellen.

Benchmark-Methodik für LMMs

Wir haben die Leistung großer multimodaler Modelle (LMMs) anhand einer Teilmenge des FinMME-Datensatzes¹³ bewertet, eines umfassenden Benchmarks zur Bewertung finanzieller multimodaler Denkfähigkeiten. FinMME umfasst über 11.000 hochwertige Finanzbeispiele aus 18 Finanzdomänen und 6 Anlageklassen und bietet einen robusten Rahmen für die Evaluierung von LMMs im Finanzbereich.

Für dieses Benchmarking haben wir eine kuratierte Auswahl von 100 Beispielen aus dem FinMME-Datensatz verwendet, um die Fähigkeit der Modelle zu analysieren, multimodale Finanzdaten zu verarbeiten und mit ihnen zu denken.

Haftungsausschluss

Diese Evaluierung verwendete eine kuratierte Teilmenge von 100 Beispielen aus einem größeren Datensatz, um LMMs zu benchmarken. Für eine umfassende Bewertung der Modellleistung müssen alle Beispiele im vollständigen Benchmark-Datensatz berücksichtigt werden.

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Große multimodale Modelle (LMMs) vs LLMs}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/large-multimodal-models}},
  note   = {AIMultiple. Abgerufen am 17. August 2026}
}

Änderungsprotokoll

22 Aktualisierungen

Alle22Allgemein21Methodik1

1. 202617. Aug

   Den Qwen3-VL-Modelleintrag im Produktabschnitt durch Qwen2.5-VL ersetzt.

2. 22. Mai

   Ein Gemini-3-Abschnitt hinzugefügt und die Qwen2.5-VL-Einträge durch Qwen3-VL-Modellbeschreibungen ersetzt.

3. 27. Jan

   Video-first multimodale Grundlagenmodelle, Mistral 3 multimodale Frontier-Veröffentlichung und Open-Source MoE Vision-Sprachmodelle wurden dem Abschnitt „Jüngste Fortschritte bei multimodalen Modellen“ hinzugefügt.

4. 202525. Nov

   Ein Abschnitt über die Gründe für die unterschiedliche Leistung der Modelle wurde dem Vorwort hinzugefügt.

5. 5. Sep

   Anthropic's Claude 4 Serie wurde zur Liste der multimodalen Modelle hinzugefügt.

6. 4. Sep

   GPT-5 von OpenAI wurde dem Abschnitt über die neuesten Fortschritte bei multimodalen Modellen hinzugefügt.

7. 3. Jun

   Die Einleitung wurde um eine Beschreibung der Bewertung von LMMs bei Finanzbegründungsaufgaben erweitert.

8. 3. Jun

   Ein Methodikabschnitt wurde hinzugefügt.

9. 20. Mai

   Open-Source große multimodale Modelle zum Abschnitt über führende LMMs hinzugefügt.

10. 5. Apr

    Llama 4 Scout und Llama 4 Maverick von Meta AI hinzugefügt.

11. 28. Mär

    4o Bildgenerierung von OpenAI zum Abschnitt über die neuesten Fortschritte hinzugefügt.

12. 27. Mär

    Ein neuer Abschnitt, „Was ist ein multimodaler KI-Agent?“, wurde dem Abschnitt „Was ist der Unterschied zwischen LMMs und LLMs?“ hinzugefügt.

13. 25. Mär

    Qwen2.5-VL-32B-Instruct von Alibaba zur Modellliste hinzugefügt.

14. 12. Mär

    Gemma 3 von Google wurde zum Abschnitt „Was sind die neuesten Fortschritte bei multimodalen Modellen?“ hinzugefügt.

15. 1. Mär

    Ein Abschnitt, der Microsofts Phi-4-multimodal-Modell beschreibt, wurde hinzugefügt.

16. 21. Feb

    Qwen2.5-VL von Alibaba wurde zur Liste der Open-Source-LMMs hinzugefügt.

17. 12. Feb

    Die Modelle o3-mini und DeepSeek-R1 wurden der Einleitung hinzugefügt.

18. 14. Jan

    Eine Tabelle wurde zum Abschnitt „Was sind führende LMMs?“ hinzugefügt.

19. 20247. Nov

    Entfernte LMMs mit ihren Startdaten aus dem Abschnitt „Was sind führende LMMs?"

20. 5. Sep

    Abbildung 1, Abbildung 2, Abbildung 3 und Abbildung 4 wurden dem Artikel hinzugefügt.

21. 4. Sep

    Der Abschnitt „Wie funktionieren LLMs?“ wurde hinzugefügt.

22. 29. Aug

    OpenAI GPT-4o, Gemini 1.5 und Qwen-VL-Plus/Max zu den führenden LMMs hinzugefügt.

Referenzlinks

1.

Gemma 3: Google’s new open model based on Gemini 2.0

Google

2.

GitHub - deepseek-ai/Janus: Janus-Series: Unified Multimodal Understanding and Generation Models · GitHub

3.

GitHub - QwenLM/Qwen3-VL: Qwen3-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud. · GitHub

4.

https://qwen.ai/blog?id=qwen2.5-vl-32b

5.

CLIP: Connecting text and images | OpenAI

6.

[2204.14198] Flamingo: a Visual Language Model for Few-Shot Learning

7.

Multimodality and Large Multimodal Models (LMMs)

8.

GitHub - bytedance/vidi: The official repo for "Vidi: Large Multimodal Models for Video Understanding and Editing" · GitHub

9.

Client Challenge

Financial Times

10.

GitHub - MoonshotAI/Kimi-VL: Kimi-VL: Mixture-of-Experts Vision-Language Model for Multimodal Reasoning, Long-Context Understanding, and Strong Agent Capabilities · GitHub

11.

Gemini 3: Introducing the latest Gemini AI model from Google

Google

12.

Magma: A Foundation Model for Multimodal AI Agents

13.

luojunyu/FinMME · Datasets at Hugging Face

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple.

Cems Arbeit bei AIMultiple wurde von führenden globalen Publikationen wie Business Insider, Forbes, Morning Brew und Washington Post, von globalen Unternehmen wie Deloitte und HPE, von NGOs wie dem World Economic Forum und von supranationalen Organisationen wie der European Commission zitiert. [1], [2], [3], [4], [5]

Im Laufe seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen bei ihren Technologieentscheidungen bei McKinsey & Company und Altman Solon über mehr als ein Jahrzehnt. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung.

Er leitete Technologiestrategie und -beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Außerdem verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von 0 einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung erreichte. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.

Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er absolvierte die Bogazici University als Computeringenieur und hat einen MBA von der Columbia Business School.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten