Vergleich großer visueller Modelle: GPT-4o vs YOLOv8n

Große visuelle Modelle (LVMs) können visuelle Aufgaben wie Fehlererkennung, medizinische Diagnose und Umweltüberwachung automatisieren und verbessern.

Wir haben drei Objekterkennungsmodelle getestet: YOLOv8n, DETR und GPT-4o Vision, jeweils über 1.000 Bilder, wobei Metriken wie mAP@0.5, Inferenzgeschwindigkeit, FLOPs und Parameteranzahl gemessen wurden. Um einen fairen Vergleich zu gewährleisten, wurden alle Bilder auf 800×800 Pixel skaliert und unter Verwendung identischer Vorverarbeitung, Konfidenzschwellenwerte und IoU-basierter Matching-Kriterien bewertet.

Benchmark für Objekterkennung: GPT-4o (Vision), YOLOv8n, DETR

mAP@0.5: Mittlere Durchschnittspräzision bei einem Intersection over Union (IoU)-Schwellenwert von 0,5, die die Genauigkeit der Objekterkennung misst, indem True Positives und False Positives ausbalanciert werden.

Latenz (ms): Die durchschnittliche Verarbeitungszeit pro Bild, gemessen in Millisekunden, gibt die Geschwindigkeit des Modells an.

Benchmark-Ergebnisse

Die Objekterkennungsfähigkeiten von GPT-4o bleiben im Vergleich zu spezialisierten Modellen wie YOLOv8n und DETR begrenzt.

Genauigkeit:

• DETR: mAP@0.5 = 0,55
• YOLOv8n: 0,20
• GPT-4o: 0,02

Diese Ergebnisse zeigen, dass GPT-4o für praktische Objekterkennungsaufgaben noch nicht geeignet ist.

Latenz:

• YOLOv8n: 365 ms
• DETR: 3145 ms
• GPT-4o: 5150 ms

YOLOv8n bietet die schnellste Inferenz, aber eine geringere Genauigkeit, während DETR eine bessere Genauigkeit auf Kosten einer langsameren Verarbeitung erzielt.

Alle Modelle wurden zur Konsistenz mit 800×800 Eingabebildern bewertet. Parameteranzahlen und FLOPS waren für YOLOv8n und DETR verfügbar, aber nicht für GPT-4o, was einen vollständigen Vergleich der Rechenleistung verhindert.

Modellkomplexität:

• DETR: 41,52M Parameter, 59,56 GFLOPS
• YOLOv8n: 3,15M Parameter, 6,83 GFLOPS

Dies zeigt die Effizienz von YOLOv8n für Echtzeitanwendungen, während DETR Geschwindigkeit gegen höhere Genauigkeit und größeren Rechenaufwand tauscht. Das Fehlen von Architekturdetails für GPT-4o begrenzt eine tiefere Effizienzanalyse.

Siehe unsere Benchmark-Methodik.

Mögliche Gründe für die Leistungsunterschiede

Die drei Modelle zeigten unterschiedliche Genauigkeits- und Geschwindigkeitsniveaus, da sie für verschiedene Zwecke entwickelt wurden und visuelle Informationen auf unterschiedliche Weise verarbeiten. GPT-4o ist ein multimodales großes Sprachmodell, das sowohl Text als auch Bilder akzeptiert, während YOLOv8n und DETR Objekterkennungssysteme sind, die nur mit Bildern arbeiten.

GPT-4o interpretiert visuelle Eingaben durch eine sprachgesteuerte Reasoning-Pipeline. Es kann Szenen beschreiben und Objekte identifizieren, ist jedoch nicht darauf ausgelegt, Begrenzungsrahmen zu zeichnen oder hochpräzise räumliche Lokalisierung durchzuführen.

Seine Ausgaben hängen von multimodalem Reasoning ab und nicht von mechanismspezifischen Erkennungsmechanismen. Dies macht es für Erkennungsaufgaben langsamer und weniger genau.

YOLOv8n und DETR verwenden Architekturen, die explizit für die Objekterkennung erstellt wurden. Sie generieren Begrenzungsrahmen direkt, anstatt über sie zu reasoning.

YOLOv8n ist mit einer leichten Struktur für Geschwindigkeit optimiert, während DETR ein Transformer-basierter Detektor ist, der Bilder anders als YOLO verarbeitet und genauere Vorhersagen anstrebt.

Beide Modelle konzentrieren sich ausschließlich auf visuelle Eingaben und folgen Trainingszielen, die Bildmuster auf Objektpositionen abbilden.

Zu den wichtigsten Unterschieden gehören:

• Eingabetyp
  • GPT-4o: Bild und Text
  • YOLOv8n und DETR: nur Bild
• Hauptfunktion
  • GPT-4o: multimodales Verständnis und Reasoning
  • YOLOv8n und DETR: Objekterkennung
• Ausgabemechanismus
  • GPT-4o: zeichnet keine Begrenzungsrahmen von sich aus
  • YOLOv8n und DETR: sagen Begrenzungsrahmen direkt voraus

Weil YOLOv8n und DETR ausschließlich für die Objekterkennung entwickelt wurden, schneiden sie in Benchmarks, die sich auf Genauigkeit und Latenz konzentrieren, natürlich besser ab.

GPT-4os breites, nicht auf Erkennung zentriertes multimodales Design führt bei gleicher Bewertung zu niedrigerem mAP und höheren Inferenzzeiten.

Detaillierte Bewertung großer visueller Modelle

OpenAI GPT-4o (Vision)

GPT-4o (Vision) ist eine multimodale Erweiterung von OpenAI's GPT-4, die entwickelt wurde, um Antworten sowohl aus Text als auch aus Bildern zu verarbeiten und zu generieren.

Diese Fähigkeit ermöglicht es GPT-4o, visuellen Inhalt neben textlichen Informationen zu interpretieren und eine Reihe von Anwendungen zu ermöglichen, die das Verständnis und die Analyse von Bildern erfordern.

• Bildinterpretation: GPT-4o kann den Inhalt von Bildern analysieren und beschreiben, einschließlich der Identifizierung von Objekten, der Interpretation von Szenen und dem Extrahieren von Textinformationen aus visuellen Darstellungen. Dies macht es für Aufgaben wie Bildunterschriften und Inhaltszusammenfassungen nützlich.
• Visuelle Datenanalyse: Das Modell kann Diagramme, Grafiken und Schaubilder interpretieren und Erkenntnisse sowie Erklärungen basierend auf visuellen Daten liefern. Diese Funktion ist für Datenanalyse- und Bildungsanwendungen von Vorteil.
• Multimodales Inhaltsverständnis: GPT-4o kann umfassendere Antworten bieten, indem es Text- und Bildeingaben kombiniert. Es kann auch Anwendungen in der Social-Media-Analyse und Inhaltsmoderation verbessern. Zum Beispiel kann es Stimmungen bewerten oder Fehlinformationen in Beiträgen erkennen, die sowohl Text als auch Bilder enthalten.

Trotz seiner fortschrittlichen Fähigkeiten kann GPT-4o manchmal ungenaue oder unzuverlässige Ausgaben produzieren. Es kann visuelle Elemente missverstehen, Details übersehen oder falsche Informationen generieren, was für kritische Aufgaben eine menschliche Überprüfung erfordert.

Das Modell kann auch Vorurteile widerspiegeln, die in seinen Trainingsdaten vorhanden sind, was zu verzerrten Interpretationen oder der Verstärkung von Stereotypen führt. Dies ist in sensiblen Anwendungen ein Anliegen, in denen Unparteilichkeit entscheidend ist, einschließlich demografischer Schlussfolgerungen oder Inhaltsmoderation.

OpenAI Sora

Sora ist ein Text-zu-Video-Modell, das von OpenAI erstellt wurde. Es generiert kurze Videoclips aus Benutzer-Prompts und kann auch bestehende Videos erweitern. Seine zugrunde liegende Technologie ist eine Anpassung des DALL-E 3-Modells.

Sora ist ein Diffusionstransformer, ein Denoising-Latent-Diffusionsmodell, das einen Transformer verwendet. Videos werden zunächst in einem latenten Raum durch Denoising von 3D-"Patches" generiert und dann unter Verwendung eines Videodekompressors in den Standardraum konvertiert.

Re-Captioning wird verwendet, um den Trainingsprozess zu verbessern, bei dem ein Video-zu-Text-Modell detaillierte Bildunterschriften für Videos generiert.

Mit den neuesten Entwicklungen können Benutzer jetzt Videos mit bis zu 1080p-Auflösung, einer maximalen Dauer von 20 Sekunden und in Breitbild-, Hochformat- oder quadratischen Seitenverhältnissen generieren. Sie können auch ihre Assets einbeziehen, um bestehende Inhalte zu erweitern, zu remixen und zu mischen oder neue Videos aus Text-Prompts zu erstellen.

Abbildung 1: Beispiel für Soras Videogenerierung mit dem Prompt: „Eine weite, ruhige Aufnahme einer Familie von Wollmammuts in einer offenen Wüste".¹

Landing AI LandingLens

LandingLens vereinfacht die Entwicklung und Bereitstellung von Computer-Vision-Modellen. Es bedient verschiedene Branchen, ohne tiefes AI- oder komplexes Programmierwissen zu erfordern.

Die Plattform standardisiert Deep-Learning-Lösungen, reduziert die Entwicklungszeit und ermöglicht eine einfache globale Skalierung von Projekten. Ohne die Produktionsgeschwindigkeit zu beeinträchtigen, können Benutzer ihre eigenen Deep-Learning-Modelle erstellen und die Inspektionsgenauigkeit optimieren.

Es bietet eine schrittweise Benutzeroberfläche, die den Entwicklungsprozess vereinfacht.

Abbildung 2: Das Diagramm zeigt den LandingLens AI-Workflow, bei dem Eingabebilder in Daten verarbeitet, zum Trainieren von Modellen verwendet, über Cloud, Edge oder Docker bereitgestellt und durch Feedback kontinuierlich verbessert werden.²

Stable Diffusion

Stable Diffusion ist ein Deep-Learning-Modell, das entwickelt wurde, um hochwertige Bilder aus textlichen Beschreibungen zu erstellen:

• Stable Diffusion basiert auf Diffusion. Der Prozess beginnt damit, dass zufälliges Rauschen zu einem Bild hinzugefügt wird, und das Modell lernt dann, das Original durch Umkehrung dieses Rauschens wiederherzustellen.
• Dieser Prozess ermöglicht es dem Modell, völlig neue Bilder zu generieren, indem es das verrauschte Eingabesignal über mehrere Schritte verfeinert, bis ein klares, kohärentes Bild entsteht.

Stable Diffusion nutzt ein latentes Diffusionsmodell, um die Effizienz zu verbessern. Anstatt direkt mit hochauflösenden Bildern zu arbeiten, komprimiert es diese zunächst in einen niedrigdimensionalen latenten Raum unter Verwendung eines variationalen Autoencoders (VAE).

Dieser Ansatz reduziert den Rechenaufwand erheblich und ermöglicht den Betrieb auf Consumer-Hardware mit GPUs.

Anwendungen:

Zusätzlich zur Generierung von Bildern aus Text kann Stable Diffusion für verschiedene kreative Aufgaben verwendet werden, wie zum Beispiel:

• Inpainting: Wiederherstellen oder Ausfüllen fehlender Teile eines Bildes.
• Outpainting: Erweitern der Ränder eines Bildes, um mehr Inhalt hinzuzufügen.
• Bild-zu-Bild-Übersetzung: Konvertieren eines bestehenden Bildes in einen anderen Stil oder Ändern seines Aussehens basierend auf Texteingabe.

Midjourney

Midjourney ist ein Bildgenerator, der Textbeschreibungen in hochwertige Bilder umwandelt.

Fähigkeiten

Midjourney Version 7 verfügt über eine vollständig neu aufgebaute Architektur mit erheblichen Verbesserungen in Qualität und Funktionalität.

Bildgenerierung: V7 produziert hochskalierte Bilder mit 2048 x 2048 Pixeln mit außergewöhnlicher Prompt-Präzision und nahezu fotografischer Qualität. Zu den wichtigsten Verbesserungen gehören reichhaltigere Texturen, genaues Rendern komplexer Elemente wie Hände und Gesichter sowie ein ausgefeiltes Verständnis von Beleuchtung und Komposition.

Videogenerierung: Erstellt 5-21 Sekunden lange Videoclips mit hoher Konsistenz von Bild zu Bild. Das System generiert etwa 60 Sekunden Video aus sechs Bildern in ungefähr drei Stunden und zielt auf professionelle Anwendungen in Marketing, Filmproduktion und Content-Erstellung ab.

3D-Fähigkeiten: Text-zu-3D-Generierung unter Verwendung von NeRF-ähnlicher Modellierung erstellt volumetrische Objekte und immersive Szenen. Diese Funktionen unterstützen die Spieleentwicklung, Produktvisualisierung und architektonische Anwendungen.

Abbildung 3: Midjourneys Bildbearbeitungsfunktion.³

DeepMind Flamingo

DeepMinds Flamingo ist ein Vision-Language-Modell, das entwickelt wurde, um Bilder und Videos unter Verwendung minimaler Trainingsbeispiele (Few-Shot-Learning) zu verstehen und zu reasoning. Hier sind einige der wichtigsten Merkmale:

• Multimodales Few-Shot-Learning: Flamingo kann neue Aufgaben effizient mit nur wenigen Beispielen durchführen, im Gegensatz zu traditionellen KI-Modellen, die umfangreiche gelabelte Datensätze erfordern.
• Perceiver Resampler-Mechanismus: Flamingo verwendet einen „Perceiver Resampler", um visuelle Eingaben effizient zu verarbeiten. Es komprimiert Bild- und Videodaten in ein Format, das in ein großes vortrainiertes Sprachmodell integriert werden kann.
• Vision-Language-Ausrichtung mit Gated Cross-Attention-Schichten: Spezielle Gated Cross-Attention-Schichten helfen Flamingo, visuelle Daten mit textuellem Reasoning auszurichten und zu integrieren. Diese Anwendung kann wichtig für das Verständnis von bildbasierten Gesprächen sein.

Flamingo verwendet eine frameweise Verarbeitung, zerlegt Videos in Schlüsselbilder und extrahiert Informationen, um visuelle Elemente effizient zu analysieren.

Seine kontextbewussten Antworten helfen, Bildunterschriften, Beschreibungen und Antworten basierend auf dem Fortlauf von Ereignissen innerhalb eines Videos zu generieren, um ein kohärentes Verständnis des Inhalts sicherzustellen.

Zusätzlich zeigt Flamingo temporales Reasoning, um Sequenzen, Ursache-Wirkungs-Beziehungen und komplexe Interaktionen über die Zeit zu verstehen. Dies macht es für Videoanalyse und multimodale Reasoning-Aufgaben hochwirksam.

OpenAI's CLIP (Contrastive Language–Image Pretraining)

CLIP ist ein neuronales Netzwerk, das auf einer Vielzahl von Bildern und Text-Captions trainiert wurde.

Dieses Modell kann verschiedene Vision-Aufgaben ausführen, einschließlich Zero-Shot-Klassifizierung, indem es Bilder im Kontext natürlicher Sprache versteht.

CLIP wird auf 400 Millionen (Bild, Text)-Paaren trainiert, um die Lücke zwischen Computer-Vision-Aufgaben und natürlicher Sprachverarbeitung effektiv zu überbrücken. Dies hilft CLIP, Caption-Vorhersagen oder Bildzusammenfassungen zu treffen, ohne explizit für diese spezifischen Aufgaben trainiert zu werden.

Abbildung 4: Bildidentifizierung durch CLIP aus verschiedenen Datensätzen.⁴

Google's Vision Transformer (ViT)

Vision Transformer wendet die Transformer-Architektur an, die ursprünglich in der natürlichen Sprachverarbeitung verwendet wurde, auf Bilderkennung-Aufgaben an.

Es verarbeitet Bilder auf eine Weise, die der Verarbeitung von Wortsequenzen durch Transformer ähnelt, und hat sich bei der Erlernung relevanter Merkmale aus Bilddaten für Klassifizierungs- und Analyseaufgaben als wirksam erwiesen.

Im Vision Transformer werden Bilder als eine Sequenz von Patches behandelt. Jeder Patch wird zu einem einzigen Vektor abgeflacht, ähnlich wie Wort-Embeddings in Transformern für Text verwendet werden.

Dieser Ansatz ermöglicht es ViT, die Struktur des Bildes zu erlernen und Klassenlabels unabhängig voneinander vorherzusagen.

Videonative Grundmodelle

Videonative Grundmodelle stellen einen grundlegenden Wandel von traditionellen Computer-Vision-Ansätzen dar. Im Gegensatz zu früheren Systemen, die Videos als Sequenzen unabhängiger Frames verarbeiteten, behandeln diese Modelle Zeit als integrale Dimension visueller Daten.

Wichtige architektonische Innovationen

OpenAI's Sora verkörpert diese Entwicklung durch seine Diffusionstransformer-Architektur:

• 3D spatiotemporale Patches: Verarbeitet Videodaten ganzheitlich anstatt frameweise
• Temporale Konsistenz: Erhält visuelle Qualität und narrative Kohärenz über Sequenzen hinweg
• Weitreichende Abhängigkeiten: Erfasst Ursache-Wirkungs-Beziehungen und Bewegungsmuster
• Physikbewusste Generierung: Versteht realistische Bewegung und Objektinteraktionen

Aktuelle Anwendungen

Inhaltserstellung:

• Automatisierte Videobearbeitung und Szenensynthese
• Stiltransfer mit temporaler Konsistenz
• Narrative Videogenerierung aus Text-Prompts

Medizinische Bildgebung:

• Herzbewegungsanalyse in Echokardiogrammen
• Blutflussvisualisierung in der Angiographie
• Bewertung des dynamischen Gewebeverhaltens

Sicherheit und Überwachung:

• Aktivitätserkennung und -verfolgung
• Anomalie-Erkennung über die Zeit
• Kontextbewusstes Verhaltensanalyse

Verbleibende Herausforderungen

Trotz Fortschritten bestehen mehrere Einschränkungen:

• Rechenkosten: Die Generierung von Langform-Videos bleibt ressourcenintensiv
• Physikalische Plausibilität: Komplexe Szenarien können unrealistische Physik produzieren
• Konsistenz von Charakteren: Die Aufrechterhaltung der Identität über längere Sequenzen hinweg ist schwierig
• Trainingsanforderungen: Große Videodatensätze mit Annotationen sind knapp und teuer

Inferenz auf dem Gerät und Edge-Optimierung

Edge-Bereitstellung ermöglicht es Vision-Modellen, lokal auf Smartphones, IoT-Geräten und eingebetteten Systemen zu laufen und die Abhängigkeit von Cloud-Infrastruktur zu eliminieren.

Warum Edge-Bereitstellung wichtig ist

Vorteile für die Privatsphäre:

• Sensible visuelle Daten verlassen das Gerät nie
• Kritisch für Gesundheitswesen, Überwachung und persönliche Anwendungen
• Einhaltung von Datenschutzbestimmungen

Leistungs-vorteile:

• Nahezu Null-Latenz ohne Netzwerk-Round-Trips
• Echtzeitverarbeitung für AR und autonome Systeme
• Zuverlässiger Betrieb in Offline-Umgebungen

Kosteneffizienz:

• Reduzierter Bandbreitenverbrauch
• Niedrigere Cloud-Computing-Kosten
• Minimale laufende Betriebskosten

Modellkomprimierungstechniken

Die Machbarkeit großer visueller Modelle auf Edge-Geräten erfordert eine ausgefeilte Optimierung:

• Quantisierung: Reduziert die Präzision von 32-Bit auf 8-Bit oder 4-Bit-Integer
  • Kleinere Modellgröße
  • Minimale Genauigkeitsverluste
• Pruning: Entfernt redundante Parameter und Verbindungen
  • Erstellt spärliche Netzwerke
  • Erhält die Leistung mit weniger Berechnungen
• Wissensdistillation: Überträgt Wissen von großen auf kleine Modelle

Was ist ein großes visuelles Modell (LVM)?

Große visuelle Modelle (LVMs) sind entwickelt, um visuelle Daten wie Bilder oder Videos zu verarbeiten, zu analysieren und zu interpretieren. Sie zeichnen sich durch ihre extensive Anzahl von Parametern aus, oft in Millionen oder Milliarden. Dies ermöglicht es ihnen, komplexe Muster, Merkmale und Beziehungen in visuellen Inhalten zu erlernen.

Wie große Sprachmodelle (LLMs) für Text werden LVMs auf riesigen Datensätzen trainiert, die sie mit Fähigkeiten zur Objekterkennung, Bildgenerierung, Szenenverständnis und multimodalem Reasoning (Integration visueller und textlicher Informationen) ausstatten.

Diese Modelle können Anwendungen in Bereichen wie autonomes Fahren, medizinische Bildgebung, Inhaltserstellung und erweiterte Realität unterstützen.

Struktur und Design

Große visuelle Modelle werden mit fortschrittlichen neuronalen Netzwerkarchitekturen erstellt. Ursprünglich waren Convolutional Neural Networks (CNNs) aufgrund ihrer Fähigkeit, Pixeldaten effizient zu verarbeiten und hierarchische Muster zu erkennen, in der Bildverarbeitung vorherrschend.

In jüngster Zeit wurden Transformer-Modelle, die ursprünglich für natürliche Sprachverarbeitung entwickelt wurden, auch für viele verschiedene Vision-Aufgaben angepasst und bieten in einigen Szenarien eine verbesserte Leistung.

Training

Das Training großer visueller Modelle beinhaltet das Zuführen von visuellen Daten wie Internetbildern oder Videos sowie relevanten Labels oder Annotationen im neuartigen sequentiellen Modellierungsansatz. Trainer labeln Bildbibliotheken, um die Modelle zu füttern.

Beispielsweise wird bei Bildklassifizierungsaufgaben jedes Bild mit der Klasse, zu der es gehört, gelabelt. Das Modell lernt, indem es seine Parameter anpasst, um den Unterschied zwischen seinen Vorhersagen und den tatsächlichen Labels zu minimieren.

Dieser Prozess erfordert erhebliche Rechenleistung und einen großen, vielfältigen Datensatz, um sicherzustellen, dass das Modell gut auf neue und ungesehene Daten verallgemeinern kann.

Abbildung 3: Diagramm zum Training großer visueller Modelle bei OpenAI.⁵

Schauen Sie sich Dienstleistungen zur Sammlung von Bilddaten an, um mehr über Trainingsdaten für die Bildklassifizierung zu erfahren.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Hauptmerkmale großer visueller Modelle

Modelltyp bezeichnet die Architektur und Designprinzipien eines Vision-Modells. Es definiert, wie das Modell visuelle Daten verarbeitet und interpretiert, ob es mehrere Modalitäten integriert (z. B. Text und Bilder) und welche zugrunde liegenden Mechanismen (z. B. Transformer, kontrastives Lernen, Diffusion) es zur Extraktion aussagekräftiger Repräsentationen einsetzt:

• Transformer-basiertes multimodales LLM: Eine Modellarchitektur, die Transformer mit multimodalen Fähigkeiten kombiniert. Es ermöglicht die gleichzeitige Verarbeitung von visuellen und textuellen Eingaben. Es wird mit großen Datensätzen trainiert, um komplexes Reasoning über mehrere Datentypen hinweg durchzuführen.
• Kontrastives Lernen: Eine Technik, die beim Training von Modellen verwendet wird, um zwischen ähnlichen und unähnlichen Datenpunkten zu unterscheiden. Dieser Prozess beinhaltet die Maximierung der Ähnlichkeit verwandter Eingaben bei gleichzeitiger Minimierung der Ähnlichkeit unzusammenhängender Eingaben. Dies wird oft im selbstüberwachten Lernen verwendet, um die Merkmalsrepräsentation zu verbessern.
• KI-Vision-Plattform: Dieses System bietet Infrastruktur, Tools und vortrainierte Modelle für verschiedene Computer-Vision-Aufgaben, wie Bilderkennung, Objekterkennung und Segmentierung. Es umfasst typischerweise Modelltraining, Bereitstellung und Inferenzfähigkeiten.
• Transformer: Eine Deep-Learning-Architektur, die Selbstaufmerksamkeitsmechanismen zur Verarbeitung von Eingabedaten nutzt. Sie ermöglicht es Modellen, weitreichende Abhängigkeiten zu erfassen, was sie für natürliche Sprach- und Vision-bezogene Aufgaben wirksam macht.
• Diffusionsmodell: Ein generatives Modell, das schrittweise Rauschen aus einem initialen verrauschten Eingabesignal entfernt und es Schritt für Schritt verfeinert, um ein klares und strukturiertes Ausgabeergebnis zu produzieren. Es wird häufig für Bildgenerierung und -verbesserung verwendet.

Trainingsziel: Das Ziel oder die Optimierungsfunktion, die steuert, wie ein Modell aus Daten lernt. Es bestimmt, wie das Modell seine internen Parameter während des Trainings anpasst, um die Leistung bei bestimmten Aufgaben zu verbessern. Dazu gehören das Vorhersagen des nächsten Datenpunkts (autoregressiv), das Unterscheiden ähnlicher/unähnlicher Eingaben (kontrastives Lernen) oder das Klassifizieren von Bildern in Kategorien:

• Autoregressiv: Ein Trainingsansatz, bei dem ein Modell den nächsten Datenpunkt in einer Sequenz basierend auf zuvor beobachteten Eingaben vorhersagt. Dies wird oft im Sprachmodellieren und bei generativen Vision-Modellen verwendet.
• Kontrastives Lernen: Ein selbstüberwachtes Lernziel, bei dem das Modell lernt, indem es zwischen ähnlichen und unähnlichen Datenpaaren unterscheidet. Es hilft, die Fähigkeit zu verbessern, aussagekräftige Repräsentationen ohne explizite Labels zu erfassen.
• Überwachtes Lernen: Ein Lernparadigma, bei dem das Modell mit gelabelten Daten trainiert wird, was bedeutet, dass jede Eingabe mit einer entsprechenden korrekten Ausgabe assoziiert ist. Dieser Ansatz wird weit verbreitet in Aufgaben wie Klassifizierung und Segmentierung verwendet.
• Bildklassifizierung: Ein spezifisches Trainingsziel, bei dem ein Modell lernt, Bilder basierend auf visuellen Merkmalen in vordefinierte Klassen zu kategorisieren. Der Trainingsprozess beinhaltet die Optimierung einer Verlustfunktion, um die Klassifizierungsgenauigkeit zu maximieren.
• Denoising Diffusion: Ein generativer Lernansatz, bei dem ein Modell trainiert wird, saubere Bilder aus verrauschten Eingaben wiederherzustellen. Dieser Prozess beinhaltet das Umkehren eines progressiven Rauschzusatzprozesses, um die Bildrekonstruktion und -generierung zu verbessern.

Feinabstimmungsunterstützung: Die Fähigkeit eines Modells, durch Training auf kleineren, domänenspezifischen Datensätzen an spezifische Aufgaben angepasst zu werden, während Wissen aus seiner Vortrainingsphase beibehalten wird.

Feinabstimmung hilft, die Leistung bei spezialisierten Anwendungen zu verbessern.

Zero-Shot/Few-Shot-Learning: Die Fähigkeit eines Modells, Aufgaben mit wenig bis keinen aufgabenspezifischen Trainingsdaten durchzuführen.

Zero-Shot-Learning ermöglicht Inferenz auf ungesehenen Kategorien, während Few-Shot-Learning Anpassung mit minimalen gelabelten Beispielen ermöglicht.

Multimodale Unterstützung: Die Fähigkeit eines Modells, Informationen aus mehreren Modalitäten (z. B. Text, Bilder, Audio) zu verarbeiten und zu integrieren.

Open-Source vs. Proprietär: Open-Source-Modelle haben öffentlich verfügbaren Code und Gewichte, was Modifikation und Bereitstellung durch die Community ermöglicht,

Proprietäre Modelle sind im Besitz und werden von privaten Entitäten kontrolliert, was den Zugang und die Anpassung einschränken kann.

Edge-Bereitstellung: Die Fähigkeit eines Modells, auf Edge-Geräten (z. B. Mobiltelefone, IoT-Geräte) zu laufen, anstatt sich auf Cloud-basierte Server zu verlassen.

Edge-Bereitstellung hilft, Latenz zu reduzieren, die Privatsphäre zu verbessern und Echtzeitverarbeitung in ressourcenbeschränkten Umgebungen zu ermöglichen.

Was sind die Anwendungsfälle großer visueller Modelle?

Gesundheitswesen und medizinische Bildgebung

• Krankheitsdiagnose: Erkennen von Krankheiten aus medizinischen Bildern wie Röntgenaufnahmen, MRTs oder CT-Scans, um Tumore, Frakturen oder Anomalien zu identifizieren.
• Pathologie: Analyse von Gewebeproben in der Pathologie auf Anzeichen von Krebs.
• Augenheilkunde: Diagnose von Krankheiten aus Netzhautbildern.

Autonome Fahrzeuge und Robotik

• Navigation und Hinderniserkennung: Hilft autonomen Fahrzeugen und Drohnen bei der Navigation und Vermeidung von Hindernissen durch Interpretation von Echtzeit-Visueldaten.
• Robotik in der Fertigung: Hilft Robotern bei Sortier-, Montage- und Qualitätsinspektionsaufgaben.

Sicherheit und Überwachung

• Aktivitätsüberwachung: Analyse von Video-Feeds zur Erkennung ungewöhnlichen oder verdächtigen Verhaltens.
• Gesichtserkennung: Wird in Sicherheitssystemen zur Identitätsverifizierung und -verfolgung verwendet. Zum Beispiel ist Amazon Rekognition ein Cloud-basierter Dienst, der von Amazon Web Services (AWS) angeboten wird und Funktionen zur Bild- und Videoanalyse wie Gesichtserkennung und -identifizierung, Objekt- und Szenenidentifizierung sowie Textextraktion bietet. Es kann Emotionen, Altersbereiche und Aktivitäten analysieren, was für Personalisierung und Sicherheit nützlich wäre.

Siehe untenstehendes Video, um Amazon Rekognition in Aktion zu sehen.⁶

Einzelhandel und E-Commerce

• Visuelle Suche: Ermöglicht es Kunden, nach Produkten mit Bildern statt mit Text zu suchen.
• Bestandsmanagement: Automatisierung der Überwachung und Verwaltung von Beständen durch visuelle Erkennung.

Landwirtschaft

• Erntemonitoring und -analyse: Überwachung der Pflanzengesundheit und des Wachstums mittels Drohnen- oder Satellitenbildern.
• Schädlingserkennung: Identifizierung von Schädlingen und Krankheiten, die Pflanzen beeinträchtigen.

Umweltüberwachung

• Wildtierverfolgung: Identifizierung und Verfolgung von Wildtieren zur Unterstützung von Naturschutzbemühungen.
• Landnutzungs- und Landbedeckungsanalyse: Überwachung von Veränderungen in der Landnutzung und Vegetationsbedeckung im Laufe der Zeit.

Inhaltserstellung und Unterhaltung

• Film- und Videobearbeitung: Automatisierung von Videobearbeitungs- und Postproduktionsprozessen.
• Spielentwicklung: Verbesserung realistischer Umwelt- und Charaktererstellung.
• Foto- und Videoverbesserung: Verbesserung der Qualität von Bildern und Videos.
• Inhaltsmoderation: Automatisches Erkennen und Markieren von unangemessenen oder schädlichen visuellen Inhalten.

Was sind die Herausforderungen großer visueller Modelle?

Rechenressourcen

Das Training und die Bereitstellung dieser Modelle erfordern erhebliche Rechenleistung und Speicher, was sie ressourcenintensiv machen kann.

Datenanforderungen

Sie benötigen große und vielfältige Datensätze für das Training. Das Sammeln, Labeln und Verarbeiten solcher großen Datensätze kann herausfordernd und teuer sein. Allerdings können Crowdsourcing-Unternehmen dabei helfen, dies zu bewältigen.

Vorurteile und Fairness

Modelle können Vorurteile erben, die in ihren Trainingsdaten vorhanden sind, was zu unfairen oder unethischen Ergebnissen führt, insbesondere in sensiblen Anwendungen wie der Gesichtserkennung.

Interpretierbarkeit und Erklärbarkeit

Das Verständnis, wie diese Modelle Entscheidungen treffen, kann schwierig sein, was Bedenken bei Anwendungen aufwirft, in denen Transparenz kritisch ist. Schauen Sie sich erklärbare KI an, um zu erfahren, wie dieser Prozess funktioniert und wie er der KI-Ethik dient.

Verallgemeinerung

Während sie bei Daten, die ihrem Trainingsset ähnlich sind, gut abschneiden, können sie bei völlig neuen oder unterschiedlichen Datentypen Schwierigkeiten haben.

Datenschutzbedenken

Die Verwendung großer visueller Modelle, insbesondere in Überwachung und Gesichtserkennung, wirft erhebliche Datenschutzbedenken auf.

Regulatorische und ethische Herausforderungen

Die Sicherstellung, dass diese Modelle rechtlichen und ethischen Standards entsprechen, wird zunehmend wichtig, insbesondere da sie stärker in die Gesellschaft integriert werden.

Methodik für den Benchmark der Objekterkennung

In diesem Benchmark wurden die Leistungen der Objekterkennungsmodelle YOLOv8n, DETR (DEtection TRansformer) und GPT-4o Vision auf dem COCO 2017-Validierungsdatensatz verglichen. Für den Vergleich wurden 1000 Bilder pro Modell verwendet. Alle Bilder wurden auf 800×800 Pixel skaliert, um konsistente Eingabedimensionen über alle Modelle hinweg sicherzustellen.

Das YOLOv8n-Modell wurde mit vortrainierten Gewichten (yolov8n.pt) aus dem Ultralytics-Repository geladen, und die Inferenz wurde mit der predict()-Methode über die Ultralytics YOLO API durchgeführt. Das DETR-Modell wurde mit der detr_resnet50-Architektur aus der Facebook Research-Bibliothek geladen, und seine Ausgaben, die ursprünglich im [center_x, center_y, width, height]-Format normalisiert waren, wurden skaliert und in das [x1, y1, x2, y2]-Koordinatenformat konvertiert. Ein Konfidenzschwellenwert von 0,5 wurde auf die Ergebnisse beider Modelle angewendet.

Das GPT-4o Vision-Modell wurde mit OpenAI's API für Objekterkennungsfähigkeiten bewertet. Für dieses Modell wurden Bilder aus dem COCO-Validierungsdatensatz heruntergeladen, Annotationen geladen und jedes Bild in das entsprechende Format konvertiert (auf 800×800 Pixel skaliert), bevor es an die API gesendet wurde. Nur Erkennungen, die zu COCO-Klassen gehörten, wurden im JSON-Format angefordert, und die von der API zurückgegebenen Vorhersagen wurden unter Verwendung desselben Konfidenzschwellenwerts (0,5) und desselben Koordinatenformats bewertet.

Bei der Bewertung wurden die vorhergesagten Begrenzungsrahmen der Modelle mit Ground-Truth-Rahmen verglichen, indem der Intersection over Union (IoU) berechnet wurde, wobei IoU ≥ 0,5 als True-Positive-Match betrachtet wurde. Die Average Precision (AP) wurde für jede Klasse berechnet, und der Mittelwert aller Klassen wurde als mAP@0.5-Metrik berichtet. Neben der Genauigkeit wurden Inferenzzeiten gemessen und verglichen. Zusätzlich wurde die Modellkomplexität basierend auf FLOPs und der Gesamtzahl der Parameter analysiert.

Um einen fairen Vergleich zu gewährleisten, wurden alle Modellinferenzen auf derselben Hardware (identische GPU/CPU) durchgeführt. Dieselben Vorverarbeitungsschritte, das Skalieren aller Bilder auf 800×800 Pixel und das Anwenden notwendiger Normalisierung, wurden auf alle Modelle angewendet. Für die Nachverarbeitung wurden Vorhersagen in dasselbe Koordinatenformat konvertiert, ein 0,5-Konfidenzschwellenwert wurde konsistent angewendet, und einheitliche IoU-Berechnungskriterien wurden während der Bewertung übernommen.

In diesem Rahmen wurden YOLOv8n, DETR und GPT-4o Vision-Modell hinsichtlich der Leistung und Geschwindigkeit der Objekterkennung verglichen; zusätzliche Anpassungen und Methoden wurden eingesetzt, um die Fähigkeiten von GPT-4o Vision gegenüber aktuellen Objekterkennungsmodellen zu benchmarken.

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Ermut, Sıla},
  title  = {{Vergleich großer visueller Modelle: GPT-4o vs YOLOv8n}},
  year   = {2026},
  month  = apr,
  howpublished    = {\url{https://aimultiple.com/large-vision-models}},
  note   = {AIMultiple. Abgerufen am 24. April 2026}
}

Referenzlinks

1.

Sora is here | OpenAI

2.

LandingLens: Deep-Learning Computer Vision Software Platform - LandingAI

LandingAI

3.

How to use Midjourney | Zapier

Zapier

4.

CLIP: Connecting text and images | OpenAI

5.

CLIP: Connecting text and images | OpenAI

6.

Image recognition software, ML image analysis, and video analysis – Amazon Rekognition – AWS

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 55 % der Fortune 500. Cems Arbeit wurde von führenden globalen Publikationen wie Business Insider, Forbes und der Washington Post, von globalen Unternehmen wie Deloitte und HPE sowie von NGOs wie dem Weltwirtschaftsforum und supranationalen Organisationen wie der Europäischen Kommission zitiert. Weitere namhafte Unternehmen und Ressourcen, die AIMultiple referenziert haben, finden Sie hier. Im Laufe seiner Karriere war Cem als Technologieberater, Technologieeinkäufer und Technologieunternehmer tätig. Über ein Jahrzehnt lang beriet er Unternehmen bei McKinsey & Company und Altman Solon in ihren Technologieentscheidungen. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung. Bei einem Telekommunikationsunternehmen leitete er die Technologiestrategie und -beschaffung und berichtete direkt an den CEO. Darüber hinaus verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von null auf einen siebenstelligen jährlichen wiederkehrenden Umsatz und eine neunstellige Unternehmensbewertung kam. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider gewürdigt. Er ist ein gefragter Redner auf internationalen Technologiekonferenzen. Cem absolvierte sein Studium der Informatik an der Bogazici-Universität und besitzt einen MBA der Columbia Business School.

Vollständiges Profil anzeigen

Recherchiert von

Sıla Ermut

Branchenanalyst

Folgen auf

Sıla Ermut ist Branchenanalystin bei AIMultiple und spezialisiert auf E-Mail-Marketing und Vertriebsvideos. Zuvor war sie als Personalberaterin in Projektmanagement- und Beratungsunternehmen tätig. Sıla hat einen Master of Science in Sozialpsychologie und einen Bachelor of Arts in Internationalen Beziehungen.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten