Große multimodale Modelle (LMMs) vs LLMs
Wir haben die Leistung von großen multimodalen Modellen (LMMs) bei Finanzanalysen mithilfe eines sorgfältig ausgewählten Datensatzes bewertet. Durch die Analyse einer Teilmenge hochwertiger Finanzbeispiele bewerten wir die Fähigkeiten der Modelle bei der Verarbeitung und dem logischen Schlussfolgern mit multimodalen Daten im Finanzbereich.
Der Abschnitt zur Methodik bietet detaillierte Einblicke in den verwendeten Datensatz und den Evaluierungsrahmen.
Entdecken Sie große multimodale Modelle und vergleichen Sie sie mit großen Sprachmodellen.
Warum haben sich die Modelle unterschiedlich verhalten?
Die Unterschiede in den Erfolgsraten spiegeln die Unterschiede wider, wie jedes Modell multimodale Finanzaufgaben verarbeitet. Da der Benchmark Beispiele aus dem FinMME-Datensatz verwendet, der die Integration von Text und Finanzvisualisierungen wie Diagrammen und strukturierten Dokumenten erfordert, hängt die Leistung stark von der Architektur des Modells, der Trainingsqualität und der multimodalen Ausrichtung ab.
Modellarchitektur und Parametergestaltung
Modelle unterscheiden sich darin, wie sie Text- und Bildencoder kombinieren, wie viele aktive Parameter sie haben und wie komplex ihre Experten-Routing-Struktur ist.
- Llama 4 Maverick verwendet beispielsweise ein größeres, auf Experten basierendes Design, das stärkere Schlussfolgerungen ermöglicht.
- Kleinere oder auf Effizienz ausgerichtete Modelle haben weniger Parameter, die auf multimodales logisches Denken ausgerichtet sind, was die Leistung begrenzt.
Diese architektonischen Unterschiede beeinflussen, wie gut jedes Modell numerische Beziehungen, Diagrammstrukturen und domänenspezifische Visualisierungen interpretieren kann.
Abdeckung der Trainingsdaten
Einige Modelle wurden auf umfangreichen multimodalen Datensätzen trainiert, während andere hauptsächlich auf allgemeinen Daten basieren.
- Modelle der Claude 4- und Qwen 2.5-Familien integrieren große Mengen an visuellen und textlichen Daten, wodurch ihre Fähigkeit verbessert wird, numerische und visuelle Hinweise zu verknüpfen.
- Modelle, die mit begrenzteren multimodalen Korpora trainiert wurden, haben Schwierigkeiten mit Finanzdiagrammen und strukturierten Diagrammen.
Die Trainingsdaten beeinflussen direkt, wie zuverlässig ein Modell querschnittliche Finanzkonzepte verarbeitet.
Feinabstimmung für querschnittliches logisches Denken
Der Benchmark erfordert eine Koordination zwischen Bildinterpretation und textbasiertem logischen Denken.
- Claude 4-Modelle gelten als stark bei Aufgaben mit Diagrammen und Grafiken.
- Modelle ohne dedizierte querschnittliche Feinabstimmung können visuelle Merkmale zwar korrekt erkennen, scheitern aber daran, sie mit Finanzsprache oder Logik zu verbinden.
Die Feinabstimmungsstrategie eines Modells beeinflusst seine Fähigkeit, textuelle und visuelle Signale während der Analyse zu kombinieren.
Kontextverarbeitungskapazität
Finanzbeispiele enthalten oft mehrere Elemente, die zusammen gelesen werden müssen, wie mehrteilige Diagramme oder ausführliche Beschreibungen.
- Modelle mit größeren Kontextfenstern können Beziehungen über lange Eingaben hinweg beibehalten.
- Stärker eingeschränkte Modelle können Abhängigkeiten übersehen, was die Genauigkeit bei Aufgaben verringert, die das Verfolgen mehrerer visueller und textlicher Komponenten erfordern.
Die Größe des Kontextfensters beeinflusst, wie gut ein Modell die Ausrichtung zwischen quantitativen und visuellen Details beibehält.
Modellgröße und Effizienzprioritäten
Einige Modelle sind bewusst für eine leichte Bereitstellung und nicht für hochkomplexe logische Aufgaben konzipiert.
- Phi-4 multimodal und ähnliche Modelle priorisieren Effizienz und begrenzen dadurch die Tiefe der multimodalen Verarbeitung.
- Größere Modelle behalten eine höhere Kapazität für logische Aufgaben, die ein detailliertes Verständnis von Diagrammen erfordern.
Dieser Kompromiss führt zu niedrigeren Bewertungen für kleinere Modelle.
Unterschiede im visuellen Verständnis
Die Bewertung umfasst Aufgaben, die eine genaue Diagrammlesung, die Identifizierung von Objekten in Finanzdokumenten und die Extraktion visueller Details erfordern.
- Modelle mit fortschrittlichen visuellen Pipelines, wie Qwen 2.5-VL-Varianten, bewältigen diese Aufgaben effektiver.
- Andere können allgemeine Bilder gut verarbeiten, zeigen aber bei strukturierten Finanzvisualisierungen inkonsistente Leistung.
Die Stärke des visuellen logischen Denkens beeinflusst die Ergebnisse bei FinMME-ähnlichen Beispielen stark.
Eigenschaften des Evaluierungsdatensatzes
Der Datensatz konzentriert sich auf multimodales logisches Denken im Finanzbereich und nicht auf allgemeine Aufgaben.
- Modelle, die für Finanz-, numerische oder diagrammbasierte Aufgaben trainiert oder feinabgestimmt wurden, schneiden besser ab.
- Allgemeine Modelle ohne Domänenkenntnisse weisen bei Finanzdatensätzen eine geringere Präzision auf.
Die Spezialisierung des Datensatzes macht die Leistung empfindlicher gegenüber der Qualität des querschnittlichen logischen Denkens.
Was sind Open-Source-große multimodale Modelle?
Open-Source-LMMs mit ihrer Anzahl an GitHub-Sternen:
Der Graph zeigt, dass die GitHub-Popularität verschiedener Open-Source-LMMs gestiegen ist, wobei einige Modelle kurz nach ihrer Veröffentlichung eine schnelle Akzeptanz erfuhren.
Janus-Series von DeepSeek erhielt innerhalb weniger Tage nach der Veröffentlichung von Janus-Pro am 27. Januar 2025 Tausende von GitHub-Sternen und übertraf damit seine Konkurrenten, die Monate brauchten, um ähnliche Zahlen zu erreichen. Dieser rasante Anstieg war nicht nur auf den Erfolg von Janus-Pro zurückzuführen, sondern wurde auch durch die Dynamik beeinflusst, die DeepSeek-R1 erzeugt hat.
- Gemma 3 von Google: Gemma 3 ist eine Familie leichtgewichtiger, modernster Open-Source-Modelle, die aus Gemini 2.0-Technologie abgeleitet sind. Diese Modelle bieten fortschrittliche Fähigkeiten zur Text- und Bildverarbeitung, ein Kontextfenster von 128.000 Token, Unterstützung für Funktionsaufrufe und quantisierte Versionen für optimierte Leistung. Es umfasst ShieldGemma 2 für die Bildsicherheit und unterstützt verschiedene Tools und Bereitstellungsoptionen.1
- Janus-Pro von DeepSeek: Janus-Pro ist eine erweiterte Version des Janus-Modells, das sowohl Text als auch Bilder verstehen und generieren kann. Es verfügt über eine optimierte Trainingsstrategie, erweiterte Trainingsdaten und eine größere Modellgröße, wodurch seine multimodalen Fähigkeiten verbessert werden.2
- Qwen2.5-VL von Alibaba: Qwen2.5-VL von Alibaba ist eine multimodale Erweiterung des Qwen2.5-Sprachmodells, das für das Verständnis von Text und Bildern konzipiert ist. Es verfügt über groß angelegtes Pretraining (bis zu 18 T Token), ein erweitertes Kontextfenster (bis zu 128K Token), verbesserte Befolgen von Anweisungen und robuste mehrsprachige Unterstützung, wodurch es für Aufgaben wie Bildunterschriftenerstellung und visuelle Fragebeantwortung geeignet ist. 3
- Aufbauend auf der Qwen2.5-VL-Serie hat Alibaba Qwen2.5-VL-32B-Instruct optimiert und als Open-Source veröffentlicht, ein 32B-VL-Modell mit verbessertem feinkörnigem Bildverständnis und logischem Denken. Dies führt zu verbesserter Leistung und detaillierter Analyse bei Aufgaben wie Bildanalyse, Inhaltsidentifikation und visuellem logischem Schlussfolgern.4
- CLIP (Contrastive Language–Image Pretraining) von OpenAI: CLIP ist darauf ausgelegt, Bilder im Kontext natürlicher Sprache zu verstehen. Es kann Aufgaben wie Zero-Shot-Bildklassifizierung durchführen, bei denen es Bilder auch in Kategorien genau klassifizieren kann, für die es nicht explizit trainiert wurde, indem es Textbeschreibungen versteht.5
- Aufbauend auf der Qwen2.5-VL-Serie hat Alibaba Qwen2.5-VL-32B-Instruct optimiert und als Open-Source veröffentlicht, ein 32B-VL-Modell mit verbessertem feinkörnigem Bildverständnis und logischem Denken. Dies führt zu verbesserter Leistung und detaillierter Analyse bei Aufgaben wie Bildanalyse, Inhaltsidentifikation und visuellem logischem Schlussfolgern.6
- Flamingo von DeepMind: Flamingo nutzt die Stärken sowohl des Sprach- als auch des visuellen Verständnisses und kann daher Aufgaben ausführen, die die Interpretation und Integration von Informationen aus Text und Bildern erfordern.7
Abbildung 1: Ein Beispiel aus Chip Huyen8
Was sind die führenden LMMs?
Allgemeine LLMs UI & API-Funktionen
Anbieter wurden unter den beliebtesten multimodalen LLMs ausgewählt, basierend auf Vergleichbarkeit, Datenverfügbarkeit und Aktualität.
LMMs mit ihrem Preis pro Token:
Um das am besten geeignete Modell auszuwählen, sollten Faktoren wie Ihr Budget, die erforderlichen Fähigkeiten und Leistungsstufe sowie das erwartete Volumen an Eingabe-/Ausgabetokens für Ihren spezifischen Anwendungsfall berücksichtigt werden.
Weitere Informationen zu LLM-Preisen.
Was sind die neuesten Fortschritte bei multimodalen Modellen?
Neueste Fortschritte bei multimodalen Modellen haben neue Fähigkeiten und Effizienzen in der KI-Entwicklung eingeführt.
Video-zentrierte multimodale Grundmodelle
Video-zentrierte multimodale Grundmodelle gehen über die Erstellung allgemeiner Bildunterschriften oder Zusammenfassungen hinaus und lernen stattdessen, Beweise innerhalb von Videos explizit zu lokalisieren.
Statt nur was passiert, können sie wann es passiert (Zeitstempel) und wo es passiert (Begrenzungsrahmen um Objekte oder Bereiche) identifizieren.
Dieser Wandel hin zur räumlich-zeitlichen Verankerung macht das Video-Verständnis präziser und überprüfbar. Es ermöglicht auch Aufgaben wie das Finden exakter Momente, das Verfolgen von Objekten über die Zeit, das Bearbeiten von Videos mit natürlicher Sprache und die Unterstützung von Robotik- und sicherheitskritischen Systemen.
Beispielsweise ist Vidi9 ein Open-Source-Projekt von ByteDance, das sich auf große multimodale Modelle für Video-Verständnis und -Bearbeitung konzentriert.
Das Repository enthält den Code und die Ressourcen für eine Modellfamilie (z. B. Vidi-7B, Vidi1.5-9B, Vidi2 und Vidi2.5), die Vision, Audio und Text als Eingaben verwenden, um Aufgaben wie:
- Zeitliche Abrufung (Finden der Zeitabschnitte in einem Video, die einer Textabfrage entsprechen)
- Räumlich-zeitliche Verankerung (genaue Lokalisierung von Objekten über die Zeit mit Begrenzungsrahmen)
- Video-Fragebeantwortung
Mistral 3 multimodaler Frontier-Release
Mistral AI hat eine neue Familie von Open-Source-KI-Modellen namens Mistral 3 entwickelt. Die Mistral 3-Suite umfasst sowohl multimodale/multilinguale Modelle auf Frontier-Niveau als auch kleinere, effiziente Modelle, die für eine Vielzahl von Geräten ausgelegt sind, von der Cloud bis zum Edge und sogar auf einzelnen GPUs.
Veröffentlicht unter einer freizügigen Open-Source-Lizenz (Apache 2.0), zielen diese Modelle darauf ab, den Zugang zu fortschrittlicher KI zu demokratisieren, Anpassung und Bereitstellungsflexibilität zu ermöglichen und die Position Europas in der KI-Entwicklung zu stärken, wo Bedenken bestehen, im Vergleich zu den USA und China bei Spitzentechnologien zurückzubleiben.10
Open-Source-MoE-Vision-Language-Modelle
Kimi-VL (von Moonshot AI) ist ein Open-Source-multimodales Vision-Language-Modell, das mit einer Mixture-of-Experts (MoE)-Architektur aufgebaut ist und Aufgaben ausführt, die Text, Bilder und Videos kombinieren, während die Berechnung effizient bleibt.
Es hat einen Gesamtparameter-Rücken von 16 B, aktiviert aber typischerweise nur ~2,8 B Parameter während der Inferenz, was hilft, Fähigkeit und Kosten auszugleichen.
Kimi-VL ist für fortgeschrittenes multimodales logisches Denken, Verständnis langer Kontexte (bis zu ~128 K Token) und agentenartige Interaktionen konzipiert und schneidet bei Benchmarks wie Video-Verständnis, optische Zeichenerkennung (OCR), mathematisches logisches Denken und Multi-Bild-Aufgaben gut im Vergleich zu größeren Modellen ab.
Variationen wie Kimi-VL-A3B-Thinking sind weiter für Chain-of-Thought- und logische Aufgaben feinabgestimmt, während der MoonViT-Visual-Encoder das Verständnis hochauflösender Eingaben unterstützt.
Abbildung 2: Kimi-VL-Architekturdesign.11
Anthropics Claude 4-Serie
Anthropics Claude 4-Serie integriert erweitertes visuelles Verständnis in ihre textbasierte logische Engine und verankert Vision direkt in Problemlösungsabläufen.
Claude 4-Modelle zeigen eine starke Leistung bei multimodalen logischen Benchmarks wie MMMU, insbesondere bei der Interpretation von Diagrammen, Grafiken und komplexen visuellen Daten. Ein unterscheidendes Merkmal von Claude Opus 4.1 ist die Fähigkeit, ästhetische Qualitäten innerhalb von Bildern zu bewerten, wodurch die Bewertung über die reine Erkennung hinausgeht.
Diese Fähigkeiten, kombiniert mit den Claude-agentenartigen Funktionen, machen die Serie effektiv für Aufgaben wie die Synthese von Forschung aus Berichten mit gemischtem Text und Visuals oder die Unterstützung beim Interface-Design durch Analyse visueller Mockups.
Googles Gemini 3
Google veröffentlichte Gemini 3 im November 2025, wobei Gemini 3 Pro sofort verfügbar war und Gemini 3 Deep Think-Modus kurz darauf für Google AI Ultra-Abonnenten eingeführt wurde. Gemini 3 wird von Google als sein intelligentestes und leistungsfähigstes multimodales Modell positioniert, mit nativer Unterstützung für Text, Bilder, Video, Audio und Code innerhalb einer einzigen Architektur.
Gemini 3 Pro verfügt über ein Kontextfenster von einer Million Token und erzielt starke Ergebnisse bei multimodalen Benchmarks, darunter 81 % bei MMMU-Pro und 87,6 % bei Video-MMMU. Es belegte bei der Veröffentlichung den ersten Platz in der LMArena-Bestenliste mit einem Score von 1501 Elo und erzielte 91,9 % bei GPQA Diamond für logisches Denken auf Graduierten-Niveau sowie 76,2 % bei SWE-bench Verified für agentenbasierte Codieraufgaben.
Gemini 3 Deep Think ist ein erweiterter logischer Modus, der die Leistung bei den anspruchsvollsten Aufgaben weiter verbessert und 41,0 % bei Humanity’s Last Exam (ohne Tools) und 45,1 % bei ARC-AGI-2 erzielt. Neben Gemini 3 veröffentlichte Google auch Google Antigravity, eine agentenbasierte Entwicklungsplattform, die Gemini 3 mit dem Gemini 2.5 Computer Use-Modell für Browsersteuerung und dem Nano Banana-Bildbearbeitungsmodell kombiniert, wodurch End-to-End-Softwareentwicklungsabläufe ermöglicht werden, bei denen das Modell Aufgaben autonom planen, codieren und validieren kann.12
GPT-5 von OpenAI
GPT-5 führt verbesserte native Multimodalität über Text, Sprache, Bild und Video ein. Im Gegensatz zu früheren Systemen, die stark auf Plugins angewiesen waren, integriert GPT-5 diese Modalitäten innerhalb einer einheitlichen Architektur, was zu einem reibungsloseren Interaktionsverhalten führt. Das Modell passt sich flexibel an verschiedene Eingabetypen an und kann zwischen ihnen wechseln.
Eine bemerkenswerte Funktion ist der Echtzeit-Sprachmodus, der Ton, Tempo und Stil gemäß Benutzeranweisungen anpassen kann. Dies schafft ein natürlicheres und anpassungsfähigeres Gesprächserlebnis. Auch die visuelle Verarbeitung hat sich verbessert und reduziert Halluzinationen bei der Interpretation oder Generierung von Bildern, Diagrammen und Grafiken. Ein weiterer Fortschritt liegt in den verbesserten Speicherfähigkeiten, die es dem System ermöglichen, frühere Eingaben zu erinnern und den Kontext über längere Interaktionen hinweg beizubehalten.
Diese Verbesserungen machen GPT-5 besonders wertvoll für zugängliche multimodale Schnittstellen, insbesondere für Menschen mit Sinnesbehinderungen.
Google DeepMinds robotikzentrierte multimodale Modelle
Google DeepMind hat Gemini Robotics und Gemini Robotics-ER entwickelt, Modelle, die darauf ausgelegt sind, Vision, Sprache und Aktion innerhalb von Robotersystemen zu integrieren. Diese Modelle ermöglichen Robotern, Aufgaben in ungeordneten Umgebungen auszuführen, wie das Falten von Papier oder das Öffnen von Flaschenverschlüssen.
Ein zentrales Merkmal dieser Modelle ist ihr Sicherheitsmechanismus. Vor der Ausführung von Aktionen führt das System integrierte Prüfungen durch, um Risiken zu minimieren und eine angemessene Handhabung von Aufgaben sicherzustellen. Dieser Ansatz adressiert eine der großen Herausforderungen in der Robotik: die Verbindung fortschrittlichen KI-logischen Denkens mit sicherer und zuverlässiger Realweltausführung.
Llama 4 Scout und Llama 4 Maverick von Meta AI
Llama 4 Scout ist ein multimodales Modell mit 17 Milliarden aktiven Parametern und 16 Experten. Dieses Modell übertrifft frühere Llama-Generationen und ist dafür konzipiert, auf einer einzelnen H100 GPU zu laufen. Es verfügt über ein Kontextfenster von 10 Millionen Token zur Verarbeitung großer Informationsmengen. Benchmark-Ergebnisse zeigen, dass Llama 4 Scout bessere Ergebnisse erzielt als Gemma 3, Gemini 2.0 Flash-Lite und Mistral 3.1 über eine Reihe weit verbreiteter Benchmarks.
Llama 4 Maverick ist ein multimodales Modell mit 17 Milliarden aktiven Parametern und 128 Experten. Dieses Modell gilt als Spitzenreiter seiner Klasse und übertrifft GPT-4o und Gemini 2.0 Flash über eine Reihe von Benchmarks. Es erreicht eine vergleichbare Leistung wie DeepSeek v3 beim logischen Denken und Codieren, verwendet dabei aber weniger aktive Parameter. Eine experimentelle Chat-Version von Llama 4 Maverick erreichte eine ELO-Bewertung von 1417 auf der LMArena-Plattform.
4o-Bildgenerierung von OpenAI
OpenAIs neuestes Bildgenerierungsmodell, eingebettet in GPT-4o, integriert Text- und visuelle Erstellung in ein einheitliches System. Diese multimodale Fähigkeit ermöglicht es GPT-4, Bilder zu generieren, während es auf sein textbasiertes Wissen und den Chatkontext zurückgreift und so eine Interaktion zwischen Sprache und Bildern schafft.
Durch mehrstufige Generierung können Benutzer Bilder konversationell verfeinern, wie in den unten stehenden Abbildungen gezeigt. Das Modell baut auf vorherigen Texteingaben und hochgeladenen Bildern auf, um Konsistenz zu bewahren. Durch die Analyse benutzerbereitgestellter Visuals und das kontextuelle Lernen passt sich GPT-4o an spezifische Details an und verbessert so seine Fähigkeit, kontextbewusste Bilder zu erzeugen.
Abbildung 3: Aufforderung zur Erstellung einer Zeichnung unter Verwendung von Referenzen und Anweisungen zu Textmerkmalen für das Bild.
Abbildung 4: Aufforderung zur Erstellung eines Fotos aus der Zeichnung und Platzierung in einer Szene.13
Qwen3-VL von Alibaba
Alibabas Qwen3-VL-Serie, ab September 2025 veröffentlicht, baut auf dem Qwen3-Sprachmodell auf und fügt tiefere visuelle Wahrnehmungs- und logische Fähigkeiten hinzu. Die Familie umfasst dichte Varianten von 2B bis 32B Parametern und Mixture-of-Experts-Varianten mit bis zu 235B Gesamtparametern (22B aktiv), alle unter der Apache-2.0-Lizenz veröffentlicht.
Zu den wichtigsten Funktionen gehören ein 256K-natives Kontextfenster (erweiterbar auf 1 Million Token), erweiterte mehrsprachige OCR über 32 Sprachen, 2D- und 3D-Objektverankerung für räumliches logisches Denken und verkörperte KI, stundenlanges Video-Verständnis mit Sekundenindexierung und visuelle Agentenfähigkeiten zur Steuerung grafischer Benutzeroberflächen.
Die Thinking-Varianten sind auf STEM- und multimodales logisches Denken abgestimmt, während die Instruct-Varianten allgemeine Vision-Language-Aufgaben wie Dokumentenanalyse, Diagrammextraktion und visuelle Fragebeantwortung ansprechen.
Gemma 3 von Google
Googles Gemma 3 baut auf Technologie ihrer Gemini 2.0-Modelle auf. Es ist in vier Größen (1B, 4B, 12B und 27B) für unterschiedliche Hardwareanforderungen erhältlich und bietet ein Kontextfenster von 128.000 Token. Gemma 3 schneidet gut auf Single-Accelerator-Setups ab und umfasst Text- und Bildverarbeitung, Funktionsaufrufe und Unterstützung für über 35 Sprachen, mit Pretraining für mehr als 140. Quantisierte Versionen reduzieren die Modellgröße und den Rechenaufwand. Das ShieldGemma-2-System bietet Klassifizierung zur Inhaltsicherheit.
Phi-4-multimodal von Microsoft
Microsofts Phi-4-multimodal ist ein 5,6B-Parameter-Modell, das Sprache, Vision und Text in einer einheitlichen Architektur verarbeitet. Es nutzt querschnittliches Lernen für kontextbewusste Interaktionen zwischen verschiedenen Eingabetypen. Das Modell verarbeitet mehrere Eingabeformate, ohne separate Verarbeitungssysteme zu benötigen, und ist für die Bereitstellung auf Geräten und am Edge ausgelegt. Anwendungen umfassen Smartphone-KI, Automobil-Systeme und mehrsprachige Dienste.
Was ist ein großes multimodales Modell (LMM)?
Ein großes multimodales Modell ist eine fortgeschrittene Art von künstlicher Intelligenz, die mehrere Datentypen verarbeiten und verstehen kann. Diese multimodalen Daten können Text, Bilder, Audio, Video und möglicherweise andere Typen umfassen. Das zentrale Merkmal eines multimodalen Modells ist seine Fähigkeit, Informationen aus diesen verschiedenen Datenquellen zu integrieren und zu interpretieren, oft gleichzeitig.
Diese können als fortgeschrittenere Versionen von großen Sprachmodellen (LLMs) verstanden werden, die mit Text und auch mit verschiedenen Datentypen arbeiten können. Außerdem sind die Ausgaben multimodaler Sprachmodelle nicht nur textbasiert, sondern auch visuell, auditiv usw.
Multimodale Sprachmodelle gelten als nächster Schritt zur Erreichung von künstlicher allgemeiner Intelligenz.
Was ist ein multimodaler KI-Agent?
Multimodale KI-Agenten sind Systeme, die darauf ausgelegt sind, mit der Welt unter Verwendung verschiedener Datentypen wie Bilder, Videos und Text zu interagieren, wodurch sie sowohl in digitalen als auch in physischen Umgebungen operieren können. Multimodale Modelle sind die Kernkomponente dieser Agenten und ermöglichen es ihnen, Informationen aus verschiedenen Quellen wahrzunehmen und zu verstehen.
Beispielsweise nutzen Modelle wie Magma Verständnis von Sprache und Bildern sowie räumliche Intelligenz, die durch Techniken wie Set-of-Mark und Trace-of-Mark während des Pretrainings auf multimodalen Datensätzen erreicht wird.
Dies ermöglicht dem Agenten Aufgaben auszuführen, die von der Analyse von Videoinhalten und Beantwortung von Fragen bis hin zur Navigation in Benutzeroberflächen und der Steuerung von Robotern reichen und so die vielseitigen Fähigkeiten demonstrieren, die multimodale Modelle KI-Agenten durch die Nutzung verschiedener Datentypen verleihen. Die unten stehende Abbildung zeigt Magma bei der Planung von Robotertrajektorien zur Aufgabenerfüllung und zeigt seine räumliche Intelligenz in Aktion.14
Was ist der Unterschied zwischen LMMs und LLMs?
1. Datenmodalitäten
- LMMs: Sie sind darauf ausgelegt, mehrere Arten von Dateneingaben oder Modalitäten zu verstehen und zu verarbeiten. Dazu gehören Text, Bilder, Audio, Video und manchmal andere Datentypen wie Sensordaten. Die zentrale Fähigkeit von LMMs ist ihre Fähigkeit, diese verschiedenen Datenformate zu integrieren und zu verstehen, oft gleichzeitig.
- LLMs: Diese Modelle sind spezialisiert auf die Verarbeitung und Generierung von Textdaten. Sie werden hauptsächlich auf großen Textkorpora trainiert und sind in der Lage, menschliche Sprache in verschiedenen Kontexten zu verstehen und zu generieren. Sie verarbeiten nicht inhärent nicht-textuelle Daten wie Bilder oder Audio.
2. Anwendungen und Aufgaben
- LMMs: Aufgrund ihrer multimodalen Natur können diese Modelle für Aufgaben eingesetzt werden, die das Verständnis und die Integration von Informationen über verschiedene Datentypen erfordern. Zum Beispiel könnte ein LMM einen Nachrichtenartikel (Text), die dazugehörigen Fotos (Bilder) und verwandte Videoclips analysieren, um ein umfassendes Verständnis zu erlangen.
- LLMs: Ihre Anwendungen konzentrieren sich auf textbasierte Aufgaben wie das Verfassen von Artikeln, das Übersetzen von Sprachen, das Beantworten von Fragen, das Zusammenfassen von Dokumenten und das Erstellen textbasierter Inhalte.
Als bevorzugte Quelle hinzufügenWas sind die Datenmodalitäten großer multimodaler Modelle?
Text
Dazu gehören jegliche Formen von schriftlichem Inhalt wie Bücher, Artikel, Webseiten und Social-Media-Beiträge. Das Modell kann schriftliche Inhalte verstehen, interpretieren und generieren, einschließlich Aufgaben der natürlichen Sprachverarbeitung wie Übersetzung, Zusammenfassung und Fragebeantwortung.
Bilder
Diese Modelle können visuelle Daten analysieren und generieren. Dazu gehört das Verständnis von Inhalt und Kontext von Fotos, Illustrationen und anderen grafischen Darstellungen. Aufgaben wie Bildklassifizierung, Objekterkennung und Bildgenerierung aus textlichen Beschreibungen fallen in diese Kategorie.
Audio
Dies umfasst Tonaufnahmen, Musik und gesprochene Sprache. Modelle können darauf trainiert werden, Sprache zu erkennen, Musik, Umgebungsgeräusche und andere akustische Eingaben zu verstehen. Sie können Sprache transkribieren, gesprochene Befehle verstehen und sogar synthetische Sprache oder Musik generieren.
Video
Durch die Kombination von visuellen und auditiven Elementen umfasst die Videoverarbeitung das Verständnis von bewegten Bildern und den dazugehörigen Tönen. Dazu gehört die Analyse von Videoinhalten, die Erkennung von Aktionen oder Ereignissen in Videos und die Generierung von Videoclips.
Obwohl die meisten aktuellen großen multimodalen Sprachmodelle nur Text und Bilder verarbeiten können, zielt die zukünftige Forschung darauf ab, Audio- und Videodaten einzubeziehen.
Wie werden große multimodale Modelle trainiert?
Das Training großer multimodaler Modelle (LMMs) unterscheidet sich erheblich vom Training großer Sprachmodelle (LLMs) in mehreren entscheidenden Aspekten:
1. Datensammlung und -vorbereitung
- LLMs: Konzentrieren sich auf Textdaten aus Büchern, Websites und schriftlichen Quellen mit Schwerpunkt auf sprachlicher Vielfalt für LLM-Trainingsdatenquellen.
- LMMs: Erfordern Text-, Bild-, Audio- und Videodaten. Die Sammlung ist aufgrund der unterschiedlichen Formate komplexer. Datenannotation und -ausrichtung zwischen Modalitäten sind entscheidend.
2. Modellarchitekturdesign
- LLMs: Verwenden Transformer-Architekturen, die für die sequenzielle Textverarbeitung optimiert sind.
- LMMs: Verwenden komplexere Architekturen, die verschiedene Arten neuronaler Netze (CNNs für Bilder, Transformer für Text) integrieren und Mechanismen zur Verbindung dieser Modalitäten bereitstellen.
3. Pre-Training
- LLMs: Werden auf Textkorpora mit Techniken wie maskiertem Sprachmodellieren vortrainiert.
- LMMs: Werden über mehrere Datentypen hinweg vortrainiert und lernen, Text mit Bildern zu korrelieren oder Videosequenzen zu verstehen.
4. Fine-Tuning
- LLMs: Feinabgestimmt auf spezialisierte Textdatensätze für bestimmte Aufgaben.
- LMMs: Erfordern Feinabstimmung auf modell- und querschnittlichen Datensätzen, um Beziehungen zwischen verschiedenen Datentypen herzustellen.
5. Evaluation und Iteration
- LLMs: Evaluation konzentriert sich auf Sprachverständnis- und Generierungsaufgaben, einschließlich Flüssigkeit, Kohärenz und Relevanz.
- LMMs: Werden anhand breiterer Metriken bewertet, die Bilderkennung, Audioverarbeitung und querschnittliche Integrationsfähigkeiten umfassen.
Wie funktionieren LMMs?
Große multimodale Modelle ähneln großen Sprachmodellen hinsichtlich ihres Trainingsprozesses, Designs und ihrer Funktionsweise. Sie verwenden dieselbe Transformer-Architektur und dieselben Trainingsstrategien. Große multimodale Modelle werden auf:
- Textdaten
- Millionen oder Milliarden von Bildern mit Textbeschreibungen
- Videoclips
- Audioausschnitten
- anderen Eingabedaten wie Code
Dieses Training beinhaltet das gleichzeitige Lernen mehrerer Datenmodalitäten, wodurch das Modell in der Lage ist:
- ein Foto einer Katze zu erkennen
- ein Wort in einem Audiodatum zu identifizieren
- Begriffe und sensorische Details jenseits von Text zu verstehen
Auf diese Weise können Benutzer:
- Ein Bild hochladen, um:
- eine Beschreibung des Inhalts zu erhalten
- das Bild als Teil einer Aufforderung zur Generierung von Text oder Bildern zu verwenden
- Folgefragen zu bestimmten Elementen des Bildes zu stellen
- den Text des Bildes in eine andere Sprache zu übersetzen (z. B. Speisekarte)
Abbildung 5: Hochladen eines Katzenbildes auf ChatGPT, um es beschreiben zu lassen.
- Diagramme und Grafiken, um:
- komplizierte Folgefragen zu stellen, was sie zeigen
- Design-Entwurf, um:
- den HTML- und CSS-Code zu erhalten, der notwendig ist, um ihn zu erstellen.
Abbildung 6: Aufforderung zum Bild im Wes-Anderson-Filmstil. ChatGPT gibt die Aufforderung an ein Bildgenerierungsmodell (wie DALL·E) weiter, das die Anfrage interpretiert und das stilisierte Bild erzeugt.
Nach dem Trainingsprozess können Modelle ungesunde Stereotypen und toxische Ideen enthalten. Um sie zu verfeinern, können Techniken wie:
- Verstärkendes Lernen mit menschlichem Feedback (RLHF)
- Überwachende KI-Modelle
- Red-Teaming (Testen der Robustheit des Modells) verwendet werden.
Zusätzlich können KI-Governance-Tools und verantwortungsvolle KI-Tools, die als KI-Compliance-Lösungen funktionieren, auch die KI-Inventaroptimierung unterstützen und so dazu beitragen, KI-Vorurteile und andere ethische Dilemmata zu verhindern. Hier ist ein Beispiel, wie diese Tools Urheberrechtsfragen bei generativer KI adressieren:
Abbildung 7: ChatGPT lehnt meine Anfrage aufgrund von Inhaltsrichtlinien zum Schutz von Urheberrechten ab.
Ziel ist es, ein funktionales multimodales System zu entwickeln, das folgende Aufgaben bewältigen kann:
- Text-zu-Bild-Synthese
- Bildunterschriftenerstellung
- Textbasierte Bildsuche
- Visuelle Fragebeantwortung.
Auf diese Weise kann multimodale KI verschiedene Modalitäten integrieren und bietet erweiterte Fähigkeiten für Aufgaben, die Sprache und Vision kombinieren.
Was sind die Einschränkungen großer Sprachmodelle?
- Datenanforderungen und Voreingenommenheit: Diese Modelle benötigen riesige, vielfältige Datensätze für das Training. Die Verfügbarkeit und Qualität solcher Datensätze kann jedoch eine Herausforderung darstellen. Wenn die Trainingsdaten Voreingenommenheiten enthalten, übernimmt das Modell diese wahrscheinlich und verstärkt sie möglicherweise, was zu ungerechten oder unethischen Ergebnissen führen kann.
- Rechenressourcen: Das Training und Ausführen großer multimodaler Modelle erfordert erhebliche Rechenressourcen, was sie teuer und für kleinere Organisationen oder unabhängige Forscher weniger zugänglich macht.
- Interpretierbarkeit und Erklärbarkeit: Wie bei komplexen KI-Modellen kann es schwierig sein, zu verstehen, wie sie Entscheidungen treffen. Dieser Mangel an Transparenz kann ein kritisches Problem darstellen, insbesondere in sensiblen Anwendungen wie Gesundheitswesen oder Strafverfolgung.
- Integration von Modalitäten: Die effektive Integration verschiedener Datentypen (wie Text, Bilder und Audio) auf eine Weise, die die Nuancen jeder Modalität wirklich versteht, ist äußerst herausfordernd. Das Modell versteht möglicherweise nicht immer den Kontext oder die Feinheiten der menschlichen Kommunikation, die sich aus der Kombination dieser Modalitäten ergeben.
- Generalisierung und Überanpassung: Obwohl diese Modelle auf riesigen Datensätzen trainiert wurden, könnten sie Schwierigkeiten haben, auf neue, unbekannte Daten oder Szenarien zu verallgemeinern, die sich stark von ihren Trainingsdaten unterscheiden. Umgekehrt könnten sie die Trainingsdaten überanpassen und Rauschen und Anomalien als Muster erfassen.
Weitere Informationen zu den Herausforderungen und Risiken im Zusammenhang mit generativen und Sprachmodellen.
Benchmark-Methode für LMMs
Wir haben die Leistung großer multimodaler Modelle (LMMs) mithilfe einer Teilmenge des FinMME-Datensatzes15 bewertet, einem umfassenden Benchmark, der darauf ausgelegt ist, die Fähigkeiten zum logischen Denken in Finanzfragen zu bewerten. FinMME umfasst über 11.000 hochwertige Finanzbeispiele aus 18 Finanzbereichen und 6 Vermögensklassen und bietet einen robusten Rahmen zur Bewertung von LMMs im Finanzbereich.
Für diesen Benchmark haben wir eine kuratierte Auswahl von 100 Beispielen aus dem FinMME-Datensatz verwendet, um die Fähigkeit der Modelle zu analysieren, multimodale Finanzdaten zu verarbeiten und logisch zu denken.
Haftungsausschluss
Diese Bewertung verwendete eine kuratierte Teilmenge von 100 Beispielen aus einem größeren Datensatz, um LMMs zu bewerten. Für eine umfassende Beurteilung der Modellleistung müssen alle Beispiele im vollständigen Benchmark-Datensatz berücksichtigt werden.
Fazit
Große multimodale Modelle (LMMs) integrieren verschiedene Datentypen wie Text, Bilder, Audio und Video und übertreffen damit die rein textbasierten Fähigkeiten großer Sprachmodelle (LLMs). Mit Fortschritten wie Meta AIs Llama 4, OpenAIs GPT-4o und Alibabas Qwen2.5-VL ermöglichen LMMs reichhaltigere Anwendungen, von visuellem logischem Denken bis hin zur kontextbewussten Bildgenerierung.
Jedoch bleiben ihre Komplexität, hohe Rechenanforderungen und Herausforderungen im Zusammenhang mit Datenintegration und Bias-Minderung Hindernisse. Während sich LMMs weiterentwickeln, ebnen sie den Weg für vielseitigere KI-Agenten und bringen uns der künstlichen allgemeinen Intelligenz näher. Für Organisationen und Forscher besteht die Auswahl des richtigen Modells darin, ein Gleichgewicht zwischen Leistung, Kosten und den spezifischen Anforderungen des Anwendungsfalls zu finden.
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Große multimodale Modelle (LMMs) vs LLMs}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/large-multimodal-models}},
note = {AIMultiple. Abgerufen am 22. Mai 2026}
}Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.