Comparer les grands modèles de vision: GPT-4o vs YOLOv8n

Les grands modèles de vision (LVMs) peuvent automatiser et améliorer des tâches visuelles telles que la détection de défauts, le diagnostic médical, et la surveillance environnementale.

Nous avons évalué trois modèles de détection d'objets : YOLOv8n, DETR, et GPT-4o Vision, sur 1 000 images chacun, en mesurant des métriques telles que mAP@0.5, la vitesse d'inférence, les FLOPs et le nombre de paramètres. Pour assurer une comparaison équitable, toutes les images ont été redimensionnées à 800×800 pixels et évaluées en utilisant un prétraitement identique, des seuils de confiance et des critères d'appariement basés sur l'IoU.

Benchmark de détection d'objets : GPT-4o (Vision), YOLOv8n, DETR

mAP@0.5 : Précision moyenne à un seuil d'Intersection sur Union (IoU) de 0,5, mesurant la précision de la détection d'objets en équilibrant les vrais positifs et les faux positifs.

Latence (ms) : Le temps de traitement moyen par image, mesuré en millisecondes, indique la vitesse du modèle.

Résultats du benchmark

Les capacités de détection d'objets de GPT-4o restent limitées par rapport aux modèles spécialisés comme YOLOv8n et DETR.

Précision :

• DETR : mAP@0.5 = 0,55
• YOLOv8n : 0,20
• GPT-4o : 0,02

Ces résultats indiquent que GPT-4o n'est pas encore adapté aux tâches pratiques de détection d'objets.

Latence :

• YOLOv8n : 365 ms
• DETR : 3145 ms
• GPT-4o : 5150 ms

YOLOv8n offre l'inférence la plus rapide mais une précision plus faible, tandis que DETR atteint une meilleure précision au prix d'un traitement plus lent.

Tous les modèles ont été évalués en utilisant des images d'entrée de 800×800 pour assurer la cohérence. Les nombres de paramètres et les FLOPS étaient disponibles pour YOLOv8n et DETR, mais pas pour GPT-4o, empêchant une comparaison complète de l'efficacité computationnelle.

Complexité du modèle :

• DETR : 41,52M de paramètres, 59,56 GFLOPS
• YOLOv8n : 3,15M de paramètres, 6,83 GFLOPS

Cela montre l'efficacité de YOLOv8n pour les applications en temps réel, tandis que DETR sacrifie la vitesse pour une précision plus élevée et une demande computationnelle plus grande. Le manque de détails architecturaux pour GPT-4o limite une analyse plus approfondie de l'efficacité.

Voir notre méthodologie de benchmark.

Raisons possibles des différences de performance

Les trois modèles ont montré différents niveaux de précision et de vitesse car ils sont conçus pour des objectifs différents et traitent l'information visuelle de manières distinctes. GPT-4o est un LLM multimodal qui accepte à la fois le texte et les images, tandis que YOLOv8n et DETR sont des systèmes de détection d'objets qui ne fonctionnent que sur des images.

GPT-4o interprète les entrées visuelles via un pipeline de raisonnement piloté par le langage. Il peut décrire des scènes et identifier des objets, mais il n'est pas conçu pour dessiner des boîtes englobantes ou effectuer une localisation spatiale de haute précision.

Ses sorties dépendent d'un raisonnement multimodal plutôt que de mécanismes spécifiques à la détection. Cela le rend plus lent et moins précis pour les tâches de détection.

YOLOv8n et DETR utilisent des architectures explicitement créées pour la détection d'objets. Ils génèrent des boîtes englobantes directement plutôt que de raisonner à leur sujet.

YOLOv8n est optimisé pour la vitesse avec une structure légère, tandis que DETR est un détecteur basé sur les transformers qui traite les images différemment de YOLO et vise des prédictions plus précises.

Les deux modèles se concentrent uniquement sur les entrées visuelles et suivent des objectifs d'apprentissage qui mappent les motifs d'images vers des emplacements d'objets.

Les différences clés incluent :

• Type d'entrée
  • GPT-4o : image et texte
  • YOLOv8n et DETR : image uniquement
• Fonction principale
  • GPT-4o : compréhension et raisonnement multimodaux
  • YOLOv8n et DETR : détection d'objets
• Mécanisme de sortie
  • GPT-4o : ne dessine pas intrinsèquement de boîtes englobantes
  • YOLOv8n et DETR : prédisent directement des boîtes englobantes

Parce que YOLOv8n et DETR ont été développés uniquement pour la détection d'objets, ils se comportent naturellement mieux dans les benchmarks axés sur la précision et la latence.

La conception multimodale large et non centrée sur la détection de GPT-4o entraîne un mAP plus faible et des temps d'inférence plus élevés lorsqu'il est évalué dans le même contexte.

Évaluation détaillée des grands modèles de vision

OpenAI GPT-4o (Vision)

GPT-4o (Vision) est une extension multimodale du GPT-4 de OpenAI, conçue pour traiter et générer des réponses à partir de texte et d'images.

Cette capacité permet à GPT-4o d'interpréter le contenu visuel aux côtés des informations textuelles, permettant une gamme d'applications nécessitant la compréhension et l'analyse d'images.

• Interprétation d'images : GPT-4o peut analyser et décrire le contenu des images, y compris l'identification d'objets, l'interprétation de scènes et l'extraction d'informations textuelles à partir de visuels. Cela le rend utile pour des tâches comme la légende d'images et le résumé de contenu.
• Analyse de données visuelles : Le modèle peut interpréter des graphiques, des diagrammes et des schémas, fournissant des insights et des explications basés sur des données visuelles. Cette fonctionnalité est bénéfique pour les applications d'analyse de données et d'éducation.
• Compréhension de contenu multimodal : GPT-4o peut fournir des réponses plus complètes en combinant des entrées de texte et d'images. Il peut également améliorer les applications dans l'analyse des médias sociaux et la modération de contenu. Par exemple, il peut évaluer le sentiment ou détecter la désinformation dans les publications incluant à la fois du texte et des images.

Malgré ses capacités avancées, GPT-4o peut parfois produire des sorties inexactes ou peu fiables. Il peut mal interpréter des éléments visuels, négliger des détails ou générer des informations incorrectes, nécessitant une vérification humaine pour les tâches critiques.

Le modèle peut également refléter les biais présents dans ses données d'entraînement, conduisant à des interprétations biaisées ou au renforcement de stéréotypes. C'est une préoccupation dans les applications sensibles où l'impartialité est cruciale, y compris l'inférence démographique ou la modération de contenu.

OpenAI Sora

Sora est un modèle de texte vers vidéo créé par OpenAI. Il génère de courts clips vidéo à partir de invites d'utilisateur et peut également étendre des vidéos existantes. Sa technologie sous-jacente est une adaptation du modèle DALL-E 3.

Sora est un transformateur de diffusion, un modèle de diffusion latente de débruitage qui utilise un Transformer. Les vidéos sont initialement générées dans un espace latent en débruitant des « patches » 3D, puis converties en espace standard à l'aide d'un décompresseur vidéo.

Le re-légendage est utilisé pour améliorer le processus d'entraînement, dans lequel un modèle de vidéo vers texte génère des légendes détaillées pour les vidéos.

Avec les dernières avancées, les utilisateurs peuvent maintenant générer des vidéos jusqu'à une résolution de 1080p, avec une durée maximale de 20 secondes, et dans des ratios d'aspect large, vertical ou carré. Ils peuvent également incorporer leurs actifs pour étendre, remixer et mélanger du contenu existant ou créer de nouvelles vidéos à partir d'invites de texte.

Figure 1 : Exemple de génération vidéo de Sora utilisant l'invite : « Une vue large et sereine d'une famille de mammouths laineux dans un désert ouvert ».¹

Landing AI LandingLens

LandingLens simplifie le développement et le déploiement de modèles de vision par ordinateur. Il s'adresse à diverses industries sans nécessiter d'expertise approfondie en IA ou de programmation complexe.

La plateforme standardise les solutions d'apprentissage profond, réduisant le temps de développement et permettant une mise à l'échelle mondiale facile des projets. Sans affecter la vitesse de production, les utilisateurs peuvent construire leurs propres modèles d'apprentissage profond et optimiser la précision de l'inspection.

Il offre une interface utilisateur étape par étape qui simplifie le processus de développement.

Figure 2 : Le diagramme illustre le flux de travail IA de LandingLens, où les images d'entrée sont traitées en données, utilisées pour entraîner des modèles, déployées via le cloud, la périphérie ou Docker, et continuellement améliorées grâce aux retours d'information.²

Stable Diffusion

Stable Diffusion est un modèle d'apprentissage profond conçu pour créer des images de haute qualité à partir de descriptions textuelles :

• Stable Diffusion est basé sur la diffusion. Le processus commence par l'ajout de bruit aléatoire à une image, et le modèle apprend ensuite à reconstruire l'original en inversant ce bruit.
• Ce processus permet au modèle de générer entièrement de nouvelles images en affinant l'entrée bruitée sur plusieurs étapes jusqu'à ce qu'une image claire et cohérente émerge.

Stable Diffusion utilise un modèle de diffusion latente pour améliorer l'efficacité. Au lieu de travailler directement avec des images haute résolution, il les compresse d'abord dans un espace latent de dimension inférieure à l'aide d'un autoencodeur variationnel (VAE).

Cette approche réduit considérablement les exigences computationnelles, permettant l'exécution sur du matériel grand public avec des GPU.

Applications :

En plus de générer des images à partir de texte, Stable Diffusion peut être utilisé pour diverses tâches créatives, telles que :

• Inpainting : Restaurer ou remplir les parties manquantes d'une image.
• Outpainting : Étendre les bords d'une image pour ajouter plus de contenu.
• Traduction image-à-image : Convertir une image existante dans un style différent ou modifier son apparence basée sur une entrée textuelle.

Midjourney

Midjourney est un générateur d'art qui convertit des descriptions textuelles en images de haute qualité.

Capacités

La version 7 de Midjourney présente une architecture entièrement reconstruite avec des améliorations significatives en qualité et en fonctionnalité.

Génération d'images : V7 produit des images upscalées à 2048 x 2048 pixels avec une précision d'invite exceptionnelle et une qualité quasi photographique. Les améliorations clés incluent des textures plus riches, un rendu précis d'éléments complexes comme les mains et les visages, et une compréhension sophistiquée de l'éclairage et de la composition.

Génération vidéo : Crée des clips vidéo de 5 à 21 secondes avec une haute cohérence d'image à image. Le système génère environ 60 secondes de vidéo à partir de six images en environ trois heures, ciblant des applications professionnelles dans le marketing, le cinéma et la création de contenu.

Capacités 3D : La génération de texte vers 3D utilisant une modélisation de type NeRF crée des objets volumétriques et des scènes immersives. Ces fonctionnalités soutiennent le développement de jeux, la visualisation de produits et les applications architecturales.

Figure 3 : Fonctionnalité d'édition d'images de Midjourney.³

DeepMind Flamingo

Flamingo de DeepMind est un modèle vision-langage conçu pour comprendre et raisonner sur les images et les vidéos en utilisant un minimum d'exemples d'entraînement (apprentissage few-shot). Voici quelques-unes des caractéristiques clés :

• Apprentissage few-shot multimodal : Flamingo peut effectuer de nouvelles tâches efficacement avec seulement quelques exemples, contrairement aux modèles d'IA traditionnels qui nécessitent des ensembles de données étiquetés extensifs.
• Mécanisme Perceiver Resampler : Flamingo utilise un « Perceiver Resampler » pour traiter efficacement les entrées visuelles. Il compresse les données d'images et de vidéos dans un format qui peut être intégré dans un LLM pré-entraîné.
• Alignement Vision-Langage avec des couches d'attention croisée à porte : Des couches d'attention croisée à porte spéciales aident Flamingo à aligner et intégrer les données visuelles avec le raisonnement textuel. Cette application peut être importante pour comprendre les conversations basées sur les images.

Flamingo utilise un traitement image par image, décomposant les vidéos en images clés et extrayant des informations pour analyser efficacement les éléments visuels.

Ses réponses conscientes du contexte aident à générer des légendes, des descriptions et des réponses basées sur la progression des événements au sein d'une vidéo pour assurer une compréhension cohérente du contenu.

De plus, Flamingo présente un raisonnement temporel pour comprendre les séquences, les relations de cause à effet et les interactions complexes au fil du temps. Cela le rend très efficace pour l'analyse vidéo et les tâches de raisonnement multimodal.

OpenAI CLIP (Contrastive Language–Image Pretraining)

CLIP est un réseau de neurones entraîné sur une variété d'images et de légendes textuelles.

Ce modèle peut effectuer diverses tâches de vision, y compris la classification zero-shot, en comprenant les images dans le contexte du langage naturel.

CLIP est entraîné sur 400 millions de paires (image, texte) pour combler efficacement le fossé entre les tâches de vision par ordinateur et le traitement du langage naturel. Cela aide CLIP à faire des prédictions de légendes ou des résumés d'images sans être explicitement entraîné pour ces tâches spécifiques.

Figure 4 : Identification d'images par CLIP à partir de divers ensembles de données.⁴

Google Vision Transformer (ViT)

Vision Transformer applique l'architecture transformer initialement utilisée dans le traitement du langage naturel aux tâches de reconnaissance d'images.

Il traite les images de manière similaire à la façon dont les transformers traitent les séquences de mots, et il a montré son efficacité dans l'apprentissage de caractéristiques pertinentes à partir de données d'images pour les tâches de classification et d'analyse.

Dans Vision Transformer, les images sont traitées comme une séquence de patches. Chaque patch est aplati en un seul vecteur, similaire à la façon dont les embeddings de mots sont utilisés dans les transformers pour le texte.

Cette approche permet à ViT d'apprendre la structure de l'image et de prédire indépendamment les étiquettes de classe.

Modèles de fondation natifs vidéo

Les modèles de fondation natifs vidéo représentent un changement fondamental par rapport aux approches traditionnelles de vision par ordinateur. Contrairement aux systèmes antérieurs qui traitaient les vidéos comme des séquences d'images indépendantes, ces modèles traitent le temps comme une dimension intégrale des données visuelles.

Innovations architecturales clés

Le Sora de OpenAI illustre cette évolution grâce à son architecture de transformateur de diffusion :

• Patches spatio-temporels 3D : Traite les données vidéo de manière holistique plutôt que image par image
• Cohérence temporelle : Maintient la qualité visuelle et la cohérence narrative à travers les séquences
• Dépendances à long terme : Capture les relations de cause à effet et les motifs de mouvement
• Génération consciente de la physique : Comprend le mouvement réaliste et les interactions d'objets

Applications actuelles

Création de contenu :

• Édition vidéo automatisée et synthèse de scènes
• Transfert de style avec cohérence temporelle
• Génération de vidéos narratives à partir d'invites de texte

Imagerie médicale :

• Analyse du mouvement cardiaque dans les échocardiogrammes
• Visualisation du flux sanguin dans l'angiographie
• Évaluation du comportement dynamique des tissus

Sécurité et surveillance :

• Reconnaissance et suivi d'activités
• Détection d'Anomalies dans le temps
• Analyse de comportement consciente du contexte

Défis restants

Malgré les progrès, plusieurs limitations persistent :

• Coût computationnel : La génération de vidéos longues reste gourmande en ressources
• Plausibilité physique : Les scénarios complexes peuvent produire une physique irréaliste
• Cohérence des personnages : Maintenir l'identité sur des séquences étendues est difficile
• Exigences d'entraînement : Les grands ensembles de données vidéo avec annotations sont rares et coûteux

Inférence sur appareil et optimisation de la périphérie

Le déploiement en périphérie permet aux modèles de vision de s'exécuter localement sur des smartphones, des appareils IoT et des systèmes embarqués, éliminant la dépendance à l'infrastructure cloud.

Pourquoi le déploiement en périphérie est important

Avantages pour la vie privée :

• Les données visuelles sensibles ne quittent jamais l'appareil
• Crucial pour la santé, la surveillance et les applications personnelles
• Conformité aux réglementations de protection des données

Avantages de performance :

• Latence quasi nulle sans allers-retours réseau
• Traitement en temps réel pour la RA et les systèmes autonomes
• Fonctionnement fiable dans des environnements hors ligne

Efficacité des coûts :

• Réduction de la consommation de bande passante
• Frais de calcul cloud réduits
• Coûts opérationnels continus minimaux

Techniques de compression de modèle

Rendre les grands modèles de vision viables sur des appareils en périphérie nécessite une optimisation sophistiquée :

• Quantification : Réduit la précision de 32 bits à des entiers 8 bits ou 4 bits
  • Taille de modèle plus petite
  • Perte de précision minimale
• Élagage : Supprime les paramètres et connexions redondants
  • Crée des réseaux épars
  • Maintient les performances avec moins de calculs
• Distillation de connaissances : Transfère les connaissances des grands modèles vers les petits modèles

Qu'est-ce qu'un grand modèle de vision (LVM) ?

Les grands modèles de vision (LVMs) sont conçus pour traiter, analyser et interpréter des données visuelles, telles que des images ou des vidéos. Ils se caractérisent par leur nombre extensif de paramètres, souvent de l'ordre de millions ou de milliards. Cela leur permet d'apprendre des motifs complexes, des caractéristiques et des relations dans le contenu visuel.

Comme les grands modèles de langage (LLMs) pour le texte, les LVMs sont entraînés sur d'immenses ensembles de données, ce qui les équipe de capacités de reconnaissance d'objets, de génération d'images, de compréhension de scènes et de raisonnement multimodal (intégration d'informations visuelles et textuelles).

Ces modèles peuvent soutenir des applications dans des domaines tels que la conduite autonome, l'imagerie médicale, la création de contenu, et la réalité augmentée.

Structure et conception

Les grands modèles de vision sont construits en utilisant des architectures de réseaux de neurones avancées. À l'origine, les réseaux de neurones convolutifs (CNN) étaient prédominants dans le traitement d'images en raison de leur capacité à gérer efficacement les données de pixels et à détecter des motifs hiérarchiques.

Récemment, les modèles de transformers, initialement conçus pour le traitement du langage naturel, ont également été adaptés pour de nombreuses tâches de vision différentes, offrant des performances améliorées dans certains scénarios.

Entraînement

L'entraînement des grands modèles de vision consiste à leur fournir des données visuelles, telles que des images ou des vidéos d'Internet, ainsi que des étiquettes pertinentes ou des annotations dans la nouvelle approche de modélisation séquentielle. Les formateurs étiquettent des bibliothèques d'images pour alimenter les modèles.

Par exemple, dans les tâches de classification d'images, chaque image est étiquetée avec la classe à laquelle elle appartient. Le modèle apprend en ajustant ses paramètres pour minimiser la différence entre ses prédictions et les étiquettes réelles.

Ce processus nécessite une puissance de calcul significative et un grand ensemble de données diversifié pour s'assurer que le modèle peut bien généraliser à de nouvelles données jamais vues.

Figure 3 : Diagramme d'entraînement des grands modèles de vision sur OpenAI.⁵

Voyez les services de collecte de données d'images pour en savoir plus sur les données d'entraînement pour la classification d'images.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Caractéristiques clés des grands modèles de vision

Type de modèle se réfère à l'architecture et aux principes de conception d'un modèle de vision. Il définit comment le modèle traite et interprète les données visuelles, s'il intègre plusieurs modalités (par exemple, texte et images), et quels mécanismes sous-jacents (par exemple, transformers, apprentissage contrastif, diffusion) il emploie pour extraire des représentations significatives :

• LLM Multimodal basé sur Transformer LLM : Une architecture de modèle qui combine des transformers avec des capacités multimodales. Il permet de traiter la compréhension des entrées visuelles et textuelles simultanément. Il est entraîné en utilisant des ensembles de données à grande échelle pour effectuer un raisonnement complexe sur plusieurs types de données.
• Apprentissage contrastif : Une technique utilisée dans l'entraînement de modèles pour différencier les points de données similaires et dissimilaires. Ce processus implique de maximiser la similarité des entrées apparentées tout en minimisant la similarité des entrées non apparentées. Cela est souvent utilisé dans l'apprentissage auto-supervisé pour améliorer la représentation des caractéristiques.
• Plateforme de vision IA : Ce système fournit une infrastructure, des outils et des modèles pré-entraînés pour diverses tâches de vision par ordinateur, telles que la reconnaissance d'images, la détection d'objets et la segmentation. Il inclut généralement des capacités d'entraînement, de déploiement et d'inférence de modèles.
• Transformer : Une architecture d'apprentissage profond qui utilise des mécanismes d'attention auto pour traiter les données d'entrée. Il permet aux modèles de capturer des dépendances à long terme, ce qui le rend efficace pour les tâches liées au langage naturel et à la vision.
• Modèle de diffusion : Un modèle génératif qui retire progressivement le bruit d'une entrée bruitée initiale et l'affine étape par étape pour produire une sortie claire et structurée. Il est couramment utilisé pour la génération d'images et l'amélioration.

Objectif d'entraînement : Le but ou la fonction d'optimisation qui guide la façon dont un modèle apprend à partir des données. Il détermine comment le modèle ajuste ses paramètres internes pendant l'entraînement pour améliorer les performances sur des tâches spécifiques. Il s'agit de prédire le prochain point de données (autorégressif), de distinguer les entrées similaires/dissimilaires (apprentissage contrastif) ou de classifier des images en catégories :

• Autorégressif : Une approche d'entraînement où un modèle prédit le prochain point de données dans une séquence basée sur des entrées précédemment observées. Cela est souvent utilisé dans la modélisation du langage et les modèles de vision génératifs.
• Apprentissage contrastif : Un objectif d'apprentissage auto-supervisé où le modèle apprend en distinguant les paires de données similaires et dissimilaires. Cela aide à améliorer la capacité à capturer des représentations significatives sans étiquettes explicites.
• Apprentissage supervisé : Un paradigme d'apprentissage où le modèle est entraîné en utilisant des données étiquetées, ce qui signifie que chaque entrée est associée à une sortie correcte correspondante. Cette approche est largement utilisée dans des tâches telles que la classification et la segmentation.
• Classification d'images : Un objectif d'entraînement spécifique où un modèle apprend à catégoriser des images en classes prédéfinies basées sur des caractéristiques visuelles. Le processus d'entraînement implique d'optimiser une fonction de perte pour maximiser la précision de classification.
• Débruitage par diffusion : Une approche d'apprentissage génératif où un modèle est entraîné à récupérer des images propres à partir d'entrées bruitées. Ce processus implique d'inverser un processus progressif d'ajout de bruit pour améliorer la reconstruction et la génération d'images.

Support de fine-tuning : La capacité d'un modèle à être adapté à des tâches spécifiques en s'entraînant sur des ensembles de données plus petits et spécifiques au domaine tout en conservant les connaissances de sa phase de pré-entraînement.

Le fine-tuning aide à améliorer les performances sur des applications spécialisées.

Apprentissage Zero-shot/Few-shot : La capacité d'un modèle à effectuer des tâches avec peu ou pas de données d'entraînement spécifiques à la tâche.

L'apprentissage zero-shot permet l'inférence sur des catégories non vues, tandis que l'apprentissage few-shot permet l'adaptation avec un minimum d'exemples étiquetés.

Support multimodal : La capacité d'un modèle à traiter et intégrer des informations provenant de plusieurs modalités (par exemple, texte, images, audio).

Open-source vs Propriétaire : Les modèles open-source ont un code et des poids publiquement disponibles, permettant la modification et le déploiement par la communauté,

Les modèles propriétaires sont détenus et contrôlés par des entités privées, ce qui peut limiter l'accès et la personnalisation.

Déploiement en périphérie : La capacité d'un modèle à s'exécuter sur des appareils en périphérie (par exemple, téléphones mobiles, appareils IoT) plutôt que de dépendre de serveurs basés sur le cloud.

Le déploiement en périphérie aide à réduire la latence, améliore la vie privée et permet un traitement en temps réel dans des environnements aux ressources limitées.

Quels sont les cas d'utilisation des grands modèles de vision ?

Santé et imagerie médicale

• Diagnostic de maladies : Détecter des maladies à partir d'imagerie médicale telle que des rayons X, des IRM ou des scanners pour identifier des tumeurs, des fractures ou des anomalies.
• Pathologie : Analyser des échantillons de tissus en pathologie pour détecter des signes de cancer.
• Ophthalmologie : Diagnostiquer des maladies à partir d'images rétiniennes.

Véhicules autonomes et robotique

• Navigation et détection d'obstacles : Aider les véhicules autonomes et les drones à naviguer et éviter les obstacles en interprétant des données visuelles en temps réel.
• Robotique dans la fabrication : Aider les robots dans le tri, l'assemblage et les tâches d'inspection de qualité.

Sécurité et surveillance

• Surveillance d'activités : Analyser les flux vidéo pour détecter des comportements inhabituels ou suspects.
• Reconnaissance faciale : Utilisé dans les systèmes de sécurité pour la vérification d'identité et le suivi. Par exemple, Amazon Rekognition est un service basé sur le cloud offert par Amazon Web Services (AWS) qui fournit des fonctionnalités d'analyse d'images et de vidéos telles que la détection et la reconnaissance de visages, l'identification d'objets et de scènes, et l'extraction de texte. Il peut analyser les émotions, les tranches d'âge et les activités, ce qui serait utile pour la personnalisation et la sécurité.

Voyez la vidéo ci-dessous pour voir Amazon Rekognition en action.⁶

Commerce de détail et eCommerce

• Recherche visuelle : Permettre aux clients de rechercher des produits en utilisant des images au lieu de texte.
• Gestion des stocks : Automatiser la surveillance et la gestion des stocks grâce à la reconnaissance visuelle.

Agriculture

• Surveillance et analyse des cultures : Surveiller la santé et la croissance des cultures en utilisant des images de drones ou de satellites.
• Détection de ravageurs : Identifier les ravageurs et les maladies affectant les cultures.

Surveillance environnementale

• Suivi de la faune : Identifier et suivre la faune pour soutenir les efforts de conservation.
• Analyse de l'utilisation des terres et de la couverture végétale : Surveiller les changements dans l'utilisation des terres et la couverture végétale au fil du temps.

Création de contenu et divertissement

• Film et édition vidéo : Automatiser l'édition vidéo et les processus de post-production.
• Développement de jeux : Améliorer la création d'environnements et de personnages réalistes.
• Amélioration photo et vidéo : Améliorer la qualité des images et des vidéos.
• Modération de contenu : Détecter et signaler automatiquement le contenu visuel inapproprié ou nuisible.

Quels sont les défis des grands modèles de vision ?

Ressources computationnelles

L'entraînement et le déploiement de ces modèles nécessitent une puissance de calcul et une mémoire significatives, ce qui peut les rendre gourmands en ressources.

Exigences de données

Ils ont besoin de vastes et divers ensembles de données pour l'entraînement. Collecter, étiqueter et traiter de tels grands ensembles de données peut être difficile et coûteux. Cependant, les sociétés de crowdsourcing peuvent aider à gérer cela.

Biais et équité

Les modèles peuvent hériter des biais présents dans leurs données d'entraînement, conduisant à des résultats injustes ou non éthiques, en particulier dans des applications sensibles comme la reconnaissance faciale.

Interprétabilité et explicabilité

Comprendre comment ces modèles prennent des décisions peut être difficile, ce qui concerne les applications où la transparence est critique. Voyez l'IA explicable pour apprendre comment ce processus fonctionne et comment il sert l'éthique de l'IA.

Généralisation

Bien qu'ils se comportent bien sur des données similaires à leur ensemble d'entraînement, ils peuvent avoir des difficultés avec des types de données complètement nouveaux ou différents.

Préoccupations liées à la vie privée

L'utilisation de grands modèles visuels, en particulier dans la surveillance et la reconnaissance faciale, soulève d'importantes préoccupations liées à la vie privée.

Défis réglementaires et éthiques

S'assurer que ces modèles respectent les normes légales et éthiques est de plus en plus important, en particulier alors qu'ils deviennent plus intégrés dans la société.

Méthodologie du benchmark de détection d'objets

Dans ce benchmark, les performances des modèles de détection d'objets YOLOv8n, DETR (DEtection TRansformer), et GPT-4o Vision ont été comparées sur l'ensemble de données de validation COCO 2017. 1000 images par modèle ont été utilisées pour la comparaison. Toutes les images ont été redimensionnées à 800×800 pixels pour assurer des dimensions d'entrée cohérentes entre les modèles.

Le modèle YOLOv8n a été chargé avec des poids pré-entraînés (yolov8n.pt) depuis le dépôt Ultralytics et l'inférence a été effectuée en utilisant la méthode predict() via l'API Ultralytics YOLO. Le modèle DETR a été chargé avec l'architecture detr_resnet50 depuis la bibliothèque Facebook Research, et ses sorties, initialement normalisées au format [center_x, center_y, width, height], ont été redimensionnées et converties au format de coordonnées [x1, y1, x2, y2]. Un seuil de confiance de 0,5 a été appliqué aux résultats des deux modèles.

Le modèle GPT-4o Vision a été évalué en utilisant l'API de OpenAI pour les capacités de détection d'objets. Pour ce modèle, des images de l'ensemble de données de validation COCO ont été téléchargées, les annotations ont été chargées, et chaque image a été convertie au format approprié (redimensionnée à 800×800 pixels) avant d'être envoyée à l'API. Seules les détections appartenant aux classes COCO ont été demandées au format JSON, et les prédictions renvoyées par l'API ont été évaluées en utilisant le même seuil de confiance (0,5) et le format de coordonnées.

Dans l'évaluation, les boîtes englobantes prédites par les modèles ont été comparées aux boîtes de vérité terrain en calculant l'Intersection sur Union (IoU), avec un IoU ≥ 0,5 considéré comme une correspondance de vrai positif. La Précision Moyenne (AP) a été calculée pour chaque classe, et la moyenne de toutes les classes a été rapportée comme la métrique mAP@0.5. Outre la précision, les temps d'inférence ont été mesurés et comparés. De plus, la complexité du modèle a été analysée en fonction des FLOPs et du nombre total de paramètres.

Pour assurer une comparaison équitable, toutes les inférences de modèles ont été effectuées sur le même matériel (identique GPU/CPU). Les mêmes étapes de prétraitement, redimensionnant toutes les images à 800×800 pixels et appliquant la normalisation nécessaire, ont été appliquées à tous les modèles. Pour le post-traitement, les prédictions ont été converties au même format de coordonnées, un seuil de confiance de 0,5 a été appliqué de manière cohérente, et des critères de calcul IoU uniformes ont été adoptés lors de l'évaluation.

Dans ce cadre, YOLOv8n, DETR et le modèle GPT-4o Vision ont été comparés en termes de performance et de vitesse de détection d'objets ; des ajustements et méthodes supplémentaires ont été employés pour évaluer les capacités de GPT-4o Vision par rapport aux modèles de détection d'objets actuels.

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Ermut, Sıla},
  title  = {{Comparer les grands modèles de vision: GPT-4o vs YOLOv8n}},
  year   = {2026},
  month  = apr,
  howpublished    = {\url{https://aimultiple.com/large-vision-models}},
  note   = {AIMultiple. Consulté le 24 Avril 2026}
}

Liens de référence

1.

Sora is here | OpenAI

2.

LandingLens: Deep-Learning Computer Vision Software Platform - LandingAI

LandingAI

3.

How to use Midjourney | Zapier

Zapier

4.

CLIP: Connecting text and images | OpenAI

5.

CLIP: Connecting text and images | OpenAI

6.

Image recognition software, ML image analysis, and video analysis – Amazon Rekognition – AWS

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017. AIMultiple informe chaque mois des centaines de milliers d'entreprises (selon similarWeb), dont 55 % des entreprises du classement Fortune 500. Les travaux de Cem ont été cités par des publications internationales de premier plan telles que Business Insider, Forbes et le Washington Post, ainsi que par des entreprises mondiales comme Deloitte et HPE, des ONG comme le Forum économique mondial et des organisations supranationales comme la Commission européenne. Vous trouverez d'autres entreprises et ressources réputées ayant fait référence à AIMultiple. Tout au long de sa carrière, Cem a exercé les fonctions de consultant, d'acheteur et d'entrepreneur dans le secteur des technologies. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la numérisation. Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité directe du PDG. Il a également piloté la croissance commerciale de la société de deep tech Hypatos, qui a atteint un chiffre d'affaires annuel récurrent à sept chiffres et une valorisation à neuf chiffres en seulement deux ans. Les travaux de Cem chez Hypatos ont été présentés dans des publications technologiques de référence telles que TechCrunch et Business Insider. Cem intervient régulièrement lors de conférences internationales sur les technologies. Diplômé en génie informatique de l'université de Bogazici, il est également titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Recherche effectuée par

Sıla Ermut

Analyste du secteur

Suivre

Sıla Ermut est analyste chez AIMultiple, spécialisée dans le marketing par e-mail et les vidéos de vente. Auparavant, elle travaillait comme recruteuse dans des cabinets de conseil et de gestion de projets. Sıla est titulaire d'un master en psychologie sociale et d'une licence en relations internationales.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire