Multimodale KI-Modelle beim visuellen Denken vergleichen

Wir haben 40 führende multimodale KI-Modelle in einem Benchmark zum visuellen Denken mit 200 visuellen Fragen getestet. Die Evaluierung bestand aus zwei Bereichen: 100 Fragen zum Diagrammverständnis, die Interpretation von Datenvisualisierungen prüften, und 100 Fragen zur visuellen Logik, die Mustererkennung und räumliches Denken bewerteten.

Benchmark für visuelles Denken

Siehe unsere Benchmark-Methodik, um unsere Testverfahren kennenzulernen.

Jedes Modell schneidet bei visueller Logik schlechter ab als bei Diagrammen. Der Abstand ist am kleinsten bei qwen3.8-flash (58 % vs. 78 %) und am größten bei claude-sonnet-4.5 (35 % vs. 77 %).

• gemini-4-argon erzielt in beiden Kategorien die höchste Punktzahl: 62 % bei visueller Logik und 87 % beim Diagrammverständnis. Außerdem liegt es insgesamt mit 74,5 % auf Platz eins, 1 Punkt vor gemini-3.7-flash und claude-opus-5.5 (jeweils 73,5 %). Das entspricht einem Unterschied von 2 Fragen von 200, die Top drei liegen also nur wenige Fragen auseinander.
• gemini-3.5-flash-lite (36,5 %) und llama-4-maverick (38,5 %) liegen wegen der visuellen Logik insgesamt auf den letzten Plätzen. Sie beantworten 22 % bzw. 19 % dieser Fragen richtig, und claude-haiku-4.5 beantwortet 20 % richtig. Alle drei liegen nahe bei den 20 %, die reines Raten mit fünf Optionen ergibt. Auch bei Diagrammen liegen dieselben drei Modelle mit 51 % bis 61 % auf den letzten Plätzen.

Kosten- und Latenzvergleich

Benchmark-Fragen, in denen LLMs am besten abschneiden und am meisten scheitern

Diagrammfrage mit der niedrigsten LLM-Erfolgsquote

Abbildung 1: Balkendiagramm von Power Grid Corp. mit Umsatz (schwarze Balken) und Gewinn nach Steuern (weiße Balken) für 1992-93 bis 1996-97 und 2001-02, mit einer Linie für die Leitungskilometer auf einer zweiten y-Achse.

Hinweis: Alle Diagramme stammen von Hitbullseye.¹

Frage: Die Profitabilität (Gewinn / Umsatz) ist am höchsten im Jahr: A. 1992-93 B. 1993-94 C. 2001-02 D. 1996-97

Keines der 40 Modelle antwortete richtig (die Antwort ist D, 1996-97), und 38 davon wählten 1992-93. Die Berechnung ist eine einzige Division pro Jahr, die Schwierigkeit liegt also im Lesen des Diagramms.

Die Gewinnbalken sind klein und weiß, nur wenige Hundert Crore auf einer Achse von 0-4.000 mit Gitternetzlinien alle 500. Die Unterschiede zwischen den Jahren betragen nur wenige Pixel. Die zweite y-Achse und die darübergelegte Linie sorgen für zusätzliche Unübersichtlichkeit. Die Modelle mussten diese kurzen weißen Balken mit viel höheren schwarzen Balken vergleichen, und schon ein kleiner Fehler beim Ablesen der Balkenhöhe konnte die Antwort verändern.

Diagrammfrage mit der höchsten LLM-Erfolgsquote

Abbildung 2: Streudiagramm mit tatsächlicher und Trend-Produktion (in Tonnen) von 1982 bis 1991. Blaue Rauten markieren die tatsächlichen Werte, rote Quadrate die Trendwerte, und jeder Punkt ist mit seinem Wert beschriftet.

Frage: Der Trend wurde wie folgt ermittelt: A. Die diesjährige Produktion ist eineinhalbmal so hoch wie die des Vorjahres. B. Die diesjährige Produktion ist doppelt so hoch wie die des Vorjahres. C. Die diesjährige Produktion liegt dreitausend Tonnen über der des Vorjahres. D. Die diesjährige Produktion liegt viertausendfünfhundert Tonnen über der des Vorjahres.

Alle Modelle beantworteten diese Frage richtig. Die Trendpunkte steigen jedes Jahr um denselben Betrag (6.000, 9.000, 12.000 usw. bis 33.000). Da jeder Punkt seinen Wert als Beschriftung trägt, konnten die Modelle die Zahlen direkt ablesen, statt Positionen anhand der Achse zu schätzen.

Das Power-Grid-Diagramm erforderte den Vergleich der Höhen kleiner Balken. Hier ist keine Höhenschätzung nötig: Die Beschriftungen liefern exakte Werte, und es bleibt nur eine einfache Subtraktion.

Frage zur visuellen Logik mit der höchsten LLM-Erfolgsquote

Abbildung 4: Ein 3×3-Raster, in dem jede Zelle ein weißes oder schwarzes Dreieck oder Quadrat enthält, entweder allein oder ineinander verschachtelt. Die Zelle unten rechts fehlt, und fünf Optionen werden angegeben.

Frage: Welche Option vervollständigt das Raster?

38 der 40 Modelle antworteten richtig (die Antwort ist C, ein schwarzes Quadrat). Nur claude-haiku-4.5 und llama-4-maverick lagen falsch. Jede Zeile und jede Spalte enthält genau einmal ein weißes Dreieck, ein weißes Quadrat, ein schwarzes Dreieck und ein schwarzes Quadrat. Das fehlende Element lässt sich daher finden, indem man auflistet, was bereits vorhanden ist.

Im Sechseck-Raster hing die Regel davon ab, wie die Formen in Bereiche unterteilt waren. Hier ist jedes Element eine eigenständige, klar gezeichnete Form, die Modelle erkennen und zählen können.

Frage zur visuellen Logik mit der niedrigsten LLM-Erfolgsquote

Abbildung 3: Ein 3×3-Raster aus Formen: Dreiecke in der ersten Reihe, Rechtecke in der zweiten und Sechsecke in der dritten. Jede Form ist in schwarze und weiße Bereiche unterteilt, und das mittlere Sechseck fehlt. Fünf Sechsecke werden als Optionen angegeben.

Frage: Welche Option vervollständigt das Raster?

Keines der 40 Modelle antwortete richtig. Die Frage enthält keine Zahlen oder Berechnungen; die einzige Aufgabe besteht darin zu erkennen, wie sich die schwarzen und weißen Bereiche in jeder Reihe verändern.

Benchmark-Methodik

Wir haben 40 Modelle mit Bildverständnis anhand von 200 bildbasierten Multiple-Choice-Fragen evaluiert.

• Reasoning: Jedes Modell wurde auf die höchste unterstützte Reasoning-Anstrengung eingestellt (max, xhigh oder high, je nach Modell). Bei einigen Modellen wurde kein Parameter für den Reasoning-Aufwand akzeptiert, sodass die Standardeinstellung des Anbieters verwendet wurde:
  • gemini-3.1-pro-preview, gemini-3.6-flash, gemini-3.7-flash, gemini-3.8-flash, gpt-5.2-pro und qwen3.8-flash haben standardmäßig weiterhin Reasoning verwendet.claude-haiku-4.5 und gemini-3.5-flash-lite erzeugten keine Reasoning-Tokens.kimi-k2.5 hat nur bei 34 seiner 200 Aufrufe Reasoning verwendet.
  llama-4-maverick hat keinen Reasoning-Modus.
• Temperature: Nicht festgelegt, daher galt die Standardeinstellung des jeweiligen Anbieters.
• Max Tokens: Festgelegt auf 1.000.000, damit die Ausgabelänge das Reasoning nicht einschränkt. Wenn ein Anbieter diesen Wert ablehnte, wurde das maximale Ausgabelimit des jeweiligen Modells verwendet.
• Durchläufe: Jede Frage wurde einmal pro Modell ausgeführt, insgesamt 7.600 Aufrufe.
• Wiederholungen: Fehlgeschlagene Aufrufe wurden bis zu 3 Mal im Abstand von 60 Sekunden wiederholt. Bei 4 Fragen zur visuellen Logik lieferte muse-wonder nie eine Antwort: Sein Anbieter schloss die Verbindung bei jedem Versuch nach etwa 6.5 Minuten. Diese 4 Fragen zählen als falsch, sodass keine Frage ausgeschlossen wurde.
• Kosten und Latenz: Kosten sind die in Rechnung gestellten Kosten, die das Gateway für jeden Aufruf gemeldet hat. Latenz ist die Dauer des erfolgreichen Aufrufs, ohne Wartezeiten durch Wiederholungen.

Der Benchmark bestand aus 200 Fragen in zwei Kategorien: Diagrammverständnis (100 Fragen) und visuelle Logik (100 Fragen). Bei Diagrammfragen wird das Diagramm als Bild gesendet, während Frage und Optionen als Text vorliegen. Bei Fragen zur visuellen Logik ist die gesamte Frage einschließlich der Optionen im Bild enthalten. Die meisten Diagrammfragen haben vier Optionen (89 von 100), der Rest hat fünf oder weniger. Fragen zur visuellen Logik haben fünf Optionen (A–E).

Fragen:

1. Diagrammverständnis (100 Fragen). Wir bewerteten die Fähigkeit der Modelle, Informationen aus Datenvisualisierungen zu extract, zu interpretieren und zu analysieren:

• Balkendiagramme (40): einfache, gruppierte und Zweiachsen-Balkendiagramme
• Streudiagramme (26): Ablesen von Werten und Trends aus beschrifteten Punkten
• Kreisdiagramme (14): prozentuale Verteilungen und proportionales Denken
• Liniendiagramme (10): einzelne und mehrere Zeitreihen im Verlauf
• Kombinierte Darstellungen (10): ein Diagramm zusammen mit einem zweiten Diagramm oder einer Datentabelle

2. Visuelle Logik (100 Fragen). Wir bewerteten abstraktes Denken und räumliche Intelligenz anhand von:

• Mustererkennung: Identifizieren von Sequenzen und Vervollständigen visueller Muster
• Räumliches Denken: Transformation von Formen und Überlagerung von Figuren
• Mathematische Logik: numerische Muster, algebraisches Denken und Kombinatorik
• Abstraktes Denken: Symbolmanipulation, logische Deduktion und Regelinferenz

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{sipi2026,
  author = {Şipi, Nazlı},
  title  = {{Multimodale KI-Modelle beim visuellen Denken vergleichen}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/visual-reasoning}},
  note   = {AIMultiple. Abgerufen am 10. Juni 2026}
}

Änderungsprotokoll

6 Aktualisierungen

Alle6Allgemein4Methodik2

20262025

1. 20. Feb

   Die Anzahl der bewerteten Modelle im Abschnitt „Visual Reasoning Benchmark“ wurde aktualisiert.

2. 20. Feb

   Die Einstellung des max tokens-Parameters in der Benchmark-Methodik wurde ersetzt.

Referenzlinks

1.

Hitbullseye: Transforming Education with Cutting Edge Technology

Nazlı Şipi

KI-Forscherin

Folgen auf

Nazlı ist Datenanalystin bei AIMultiple. Sie verfügt über frühere Erfahrung in der Datenanalyse in verschiedenen Branchen, wo sie daran arbeitete, komplexe Datasets in umsetzbare Erkenntnisse umzuwandeln.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten