Modèles de langage visuel comparés à la reconnaissance d'images

Les modèles de langage visuel (VLM) avancés peuvent-ils remplacer les modèles traditionnels de reconnaissance d'images ? Pour le savoir, nous avons évalué 16 modèles de premier plan selon trois paradigmes : les CNN traditionnels (ResNet, EfficientNet), les VLM (tels que GPT-4.1, Gemini 2.5), et les API Cloud (AWS, Google, Azure).

La Précision Moyenne Moyenne (mAP) a servi de métrique principale de précision, complétée par la latence, le coût et une analyse des performances spécifiques aux classes.

Vous pouvez consulter la méthodologie de référence ici.

Évaluation de la précision par rapport à la latence

Dans notre évaluation, nous avons analysé les modèles selon quatre dimensions : la latence, la précision moyenne moyenne (mAP), le prix et le taux de réussite. La latence mesure le temps qu'un modèle met pour traiter une seule image, tandis que la mAP reflète la précision globale de la classification. Le taux de réussite suit si un modèle a renvoyé une sortie JSON valide, particulièrement pertinent pour les modèles de langage visuel, qui interprètent les images en langage naturel plutôt qu'en données structurées.

Les modèles de reconnaissance d'images traditionnels, tels que EfficientNet, ResNet18, ResNet50, ResNet101 et DenseNet121, affichent systématiquement une faible latence (0,03–0,2 seconde) et une précision compétitive (mAP 0,75–0,81). Parmi eux, DenseNet121 et ResNet18 atteignent les scores mAP les plus élevés (0,81 et 0,80 respectivement), tandis qu'EfficientNet suit de près (0,78). ResNet50 et ResNet101 montrent des performances modérées au sein de ce groupe (0,75 et 0,77), mais tous les modèles traditionnels surpassent nettement les outils de reconnaissance d'images basés sur le cloud comme AWS Rekognition, Google Cloud Vision et Azure Vision, qui atteignent une précision modérée (mAP 0,61–0,64) avec des latences comprises entre 2 et 3,5 secondes. Cela démontre que les modèles traditionnels dominent tant en vitesse qu'en précision.

Pour les modèles de langage visuel, y compris OpenAI GPT-4.1, Claude Opus 4.1, X-AI Grok 2 Vision, Meta-Llama/LLama-3.2-11B Vision Instruct, et Google Gemini 2.5 Flash, les latences sont nettement plus élevées, allant de 1 à 12 secondes, avec des valeurs mAP comprises entre 0,60 et 0,75. Google Gemini 2.5 Flash atteint 0,75 mAP, ce qui en fait le VLM le plus précis de notre test. Parmi les autres VLM, GPT-4.1 performe fortement avec une mAP de 0,73, suivi de Claude Opus 4.1 (0,71) et X-AI Grok 2 Vision (0,70). GPT-4o-mini montre des performances modérées (0,66 mAP), tandis que Meta-Llama Vision Instruct accuse un retard significatif (0,60 mAP).

La plupart des modèles de langage visuel renvoient fièrement des sorties JSON avec un taux de réussite proche de 100 %, à l'exception de Meta-Llama Vision Instruct, qui n'a réussi que 36 % du temps, et de Gemini 2.5 Pro, qui a échoué systématiquement (0 % de réussite), limitant sévèrement leur applicabilité pratique dans les pipelines automatisés.

Bien que les modèles de langage visuel soient généralement en retard par rapport aux modèles traditionnels de reconnaissance d'images en termes de vitesse brute, les VLM les plus performants tels que Google Gemini 2.5 Flash (0,75 mAP) et GPT-4.1 (0,73 mAP) atteignent une précision de classification qui approche celle des CNN traditionnels et dépasse nettement les API cloud comme AWS Rekognition et Azure Vision. En termes de latence, la plupart des modèles de langage visuel se situent autour de 3 à 4 secondes, à l'exception de Meta-Llama, qui est nettement plus lent à 12 secondes, soulignant l'impact de l'architecture du modèle et de l'optimisation.

En général, les modèles traditionnels de reconnaissance d'images excellent toujours tant en vitesse qu'en précision. Les VLM, cependant, montrent des promesses pour le raisonnement multimodal et les sorties structurées, avec une latence constamment plus élevée, mais les meilleurs modèles atteignent une précision qui approche celle des CNN traditionnels et dépasse les services de reconnaissance d'images basés sur le cloud.

Performances spécifiques aux classes : où les modèles excellent et peinent

Notre évaluation a utilisé sept classes se chevauchant qui testent différents aspects de la détection d'objets :

• face : Représente uniquement la région du visage. Le modèle doit détecter le visage d'une personne, ce qui peut être difficile en raison de sa petite taille et des détails fins.
• head : Couvre l'ensemble de la tête à l'exclusion du visage. Se concentre sur la détection de la forme et de la structure de la tête.
• head_with_helmet : Représente la tête portant un casque. Le modèle doit détecter à la fois la tête et le casque ensemble, testant sa capacité à reconnaître leur relation.
• helmet : Représente uniquement le casque, indépendamment de la présence d'une personne ou d'une tête. Important pour la détection d'équipement.
• person : Détecte la présence d'une personne, avec ou sans casque. Sert de classe générale de détection humaine.
• person_no_helmet : Représente une personne qui ne porte pas de casque. Le modèle doit identifier à la fois la présence humaine et l'absence de casque.
• person_with_helmet : Représente une personne portant un casque. Nécessite de distinguer à la fois la présence humaine et l'utilisation du casque, étroitement lié à person_no_helmet.

Ces classes se chevauchant et étroitement liées peuvent être difficiles pour les modèles de langage visuel, car ils interprètent les informations visuelles par le biais du langage naturel plutôt que de capturer directement les différences au niveau des pixels à grain fin.

Performance des CNN traditionnels

1. Classe Face
   • Meilleure performance : EfficientNet et DenseNet121 (100 %)
   • La plus faible : ResNet101 (95 %) La détection de visage est très précise dans les CNN, surpassant la plupart des VLM.
2. Classe Head
   • Meilleure : ResNet18 et DenseNet121 (69 %)
   • La plus faible : ResNet50 (50 %) Performance modérée ; les CNN peinent davantage avec la détection de tête qu'avec les classes visage et casque.
3. Head et Head_with_helmet
   • Meilleure performance : EfficientNet et ResNet18 (Head_with_helmet 98 %, Head 65–69 %)
   • La plus faible : ResNet50 (Head 50 %, Head_with_helmet 96 %) Les CNN performent très bien sur les têtes casquées, atteignant une précision de 96–98 % sur tous les modèles. La détection des têtes nues est plus difficile, avec une précision plus faible (50–69 %), indiquant que les CNN distinguent mieux les objets proéminents comme les casques que les régions moins distinctes comme les têtes sans casque.
4. Classe Person
   • Tous les modèles : 0 % de précision
5. Person_no_helmet
   • Meilleure : DenseNet121 (72 %)
   • La plus faible : ResNet50 (53 %) Les CNN gèrent mieux cette classe difficile que les VLM, soulignant leur capacité à capturer des détails à grain fin.
6. Person_with_helmet
   • Meilleure : EfficientNet (98 %)
   • La plus faible : DenseNet121 (96 %) Haute précision sur tous les modèles ; les personnes casquées sont reconnues de manière cohérente.

Performance des modèles de langage visuel

1. Classe Face (détection de visage)
   • Meilleure performance : Claude Opus 4.1 (83 %)
   • La plus faible : Meta-Llama Vision Instruct (4 %) et GPT-4o-mini (12 %) Les VLM performent généralement moins bien sur les petits objets détaillés comme les visages ; Meta-Llama et GPT-4o-mini peinent avec les détails fins.
2. Head et Head_with_helmet
   • Head : Claude Opus 4.1 (96 %) le plus élevé, Meta-Llama (30 %) le plus bas
   • Head_with_helmet : GPT-4.1 (99 %) et Gemini 2.5 Flash (98 %) les plus élevés, Meta-Llama (50 %) le plus bas Les modèles performent bien sur la détection de tête avec ou sans casque ; la plupart atteignent plus de 90 % de précision sauf Meta-Llama.
3. Classe Helmet
   • Le plus élevé : Grok 2 Vision (100 %), GPT-4.1 (99 %), Gemini 2.5 Flash (98 %)
   • Le plus bas : Meta-Llama (52 %) Distinguer les objets casqués des non-casqués est généralement plus facile, mais Meta-Llama est en dessous des attentes.
4. Classe Person
   • Tous les modèles atteignent 100 %, probablement en raison d'objets grands et clairs.
5. Person_no_helmet
   • Meilleure : GPT-4.1 et Gemini 2.5 Flash (58 %)
   • La plus faible : Meta-Llama (18 %) et GPT-4o-mini (29 %) Détecter des détails fins comme l'absence de casque est difficile ; certains modèles excellent sur les objets proéminents mais accusent un retard sur les classes nuancées.
6. Person_with_helmet
   • Le plus élevé : GPT-4.1 (98 %) et Gemini 2.5 Flash (98 %)
   • Le plus bas : Meta-Llama (55 %) La plupart des modèles performent très bien ici.

Performance des API Cloud

• Classe Face
  • Meilleure : AWS Rekognition (22 %)
  • La plus faible : Google Cloud Vision (0 %) La détection de visage est généralement mauvaise dans les API Cloud ; les distinctions à grain fin comme les visages sont difficiles.
• Head et Head_with_helmet
  • Head : AWS Rekognition (24 %) le meilleur, Azure Vision le plus bas (0 %)
  • Head_with_helmet : AWS Rekognition (10 %) le meilleur, Azure Vision (1 %) le plus bas La détection des têtes, surtout casquées ou non, est limitée ; les API Cloud se concentrent sur des objets plus larges plutôt que sur des détails fins.
• Classe Helmet
  • Meilleure : AWS Rekognition (94 %)
  • La plus faible : Azure Vision (37 %) La détection de casque est modérément réussie pour certaines API (AWS), mais incohérente entre les fournisseurs.
• Classe Person
  • Tous les modèles : 100 % Les objets grands et clairs comme les personnes entières sont détectés de manière fiable par toutes les API Cloud.
• Person_no_helmet
  • Meilleure : Azure Vision (78 %)
  • La plus faible : Google Cloud Vision (26 %) Les performances varient considérablement ; certaines API peuvent gérer modérément bien les classes difficiles.
• Person_with_helmet
  • Meilleure : AWS Rekognition (94 %)
  • La plus faible : Azure Vision (37 %) Les personnes casquées sont détectées de manière fiable par AWS mais de manière incohérente par les autres fournisseurs.

Pour les visages, les CNN atteignent la précision la plus élevée, suivis par les VLM, tandis que les API Cloud performent mal. Dans les classes head et head_with_helmet, les CNN restent forts, les VLM performent bien sur les têtes casquées mais moins de manière cohérente sur les têtes nues, et les API Cloud peinent avec les deux. Pour les casques, les CNN et les VLM performent généralement très bien, tandis que les API Cloud montrent un succès variable. Dans la classe person, tous les paradigmes détectent les personnes entières de manière fiable. Pour person_no_helmet, les CNN surpassent à la fois les VLM et les API Cloud, démontrant une meilleure gestion des détails à grain fin. Enfin, pour person_with_helmet, les CNN et les VLM maintiennent une haute précision, tandis que les API Cloud montrent des performances incohérentes selon le fournisseur.

Précision, rappel et score F1

La Précision mesure combien de prédictions positives d'un modèle sont réellement correctes. En d'autres termes, elle répond à la question : « Parmi les prédictions que le modèle a étiquetées comme positives, combien sont vraiment correctes ? »

Le Rappel mesure combien des instances positives réelles le modèle identifie avec succès. Il répond à la question : « Parmi tous les vrais cas positifs, combien le modèle a-t-il détectés ? »

Le Score F1 est un résumé équilibré de la précision et du rappel. Il fournit une métrique unique reflétant à la fois la précision et la couverture, particulièrement utile lorsque vous voulez équilibrer précision et rappel.

Les modèles basés sur CNN (ResNet50, ResNet101, DenseNet121) montrent des performances élevées tant en précision (0,93–0,95) qu'en rappel (0,91–0,94), résultant en des scores F1 élevés (0,92–0,93). Cela indique qu'ils sont à la fois très précis dans leurs prédictions et capables de capturer la majorité des instances positives réelles. EfficientNet montre également un score F1 élevé (0,92), offrant des performances cohérentes et fiables.

Les API Cloud (AWS Rekognition, Google Cloud Vision, Azure Vision) ont une précision et un rappel plus faibles, avec des scores F1 allant de 0,32 à 0,58. Cela suggère que, bien que les services cloud soient optimisés pour des tâches à usage général, leur précision dans les distinctions de classes à grain fin est limitée.

Les modèles de langage visuel montrent des performances plus variables. GPT-4.1, X-AI Grok 2 Vision, et Claude Opus 4.1 atteignent exactement des scores F1 de 0,76, tandis que Google Gemini 2.5 Flash performe légèrement mieux avec un score F1 de 0,80. Bien que ces modèles démontrent des performances solides dans certaines classes, ils accusent généralement un retard par rapport aux CNN en précision globale. Meta-Llama Vision Instruct a un score F1 de 0,47, avec une précision et un rappel faibles, ce qui signifie que le modèle peine à la fois à faire des prédictions correctes et à capturer les vrais positifs.

Raisons potentielles des différences de performance

Avantage de l'architecture CNN

Les CNN traditionnels sont spécialisés dans l'extraction de caractéristiques au niveau des pixels, permettant une détection rapide et précise d'objets à grain fin. Leurs couches de convolution optimisées et leurs cartes de caractéristiques hiérarchiques permettent une faible latence et une mAP élevée sur les tâches de reconnaissance d'images standard.

Surcharge multimodale dans les VLM

Les modèles de langage visuel traitent à la fois les images et le texte, ajoutant des étapes d'alignement d'attention croisée et d'embedding. Cela permet le raisonnement et des sorties contextuelles mais augmente le temps d'inférence, conduisant à une latence plus élevée par rapport aux CNN.

Détection de classes à grain fin

Les classes se chevauchant ou subtiles (par exemple, person_no_helmet vs person_with_helmet) mettent en évidence les différences entre les modèles. Les CNN capturent systématiquement ces détails, les VLM performent bien sur les objets proéminents mais peinent avec les distinctions subtiles, et les API Cloud se concentrent sur des classes larges, limitant la précision.

Fiabilité de la sortie structurée

La génération incohérente de JSON affecte la performance des VLM. Les modèles avec des taux de réussite faibles semblent moins efficaces dans les pipelines, tandis que les CNN et les API Cloud produisent des sorties prévisibles et déterministes.

Alors, lequel devriez-vous choisir ?

Les CNN traditionnels sont idéaux pour les applications critiques en termes de vitesse où des temps de réponse en millisecondes comptent, comme le traitement vidéo en temps réel, les véhicules autonomes ou les systèmes de sécurité industrielle. Avec leur précision supérieure (mAP 0,75–0,81) et une inférence ultra-rapide (0,03–0,2s), ces modèles d'IA traditionnels excellent lorsque vous avez besoin de performances fiables et cohérentes sans la surcharge du traitement du langage naturel ou de la complexité du modèle. Les CNN se concentrent sur les tâches de données et classification d'images comme la détection d'objets, offrant à la fois précision visuelle et efficacité sans avoir besoin de fine tuning sur des modèles multimodaux.

Les modèles de langage visuel (VLM) brillent lorsque vous avez besoin d'une compréhension contextuelle et de sorties flexibles. Ces modèles de langage visuel fonctionnent à la fois sur les modalités visuelles et textuelles, permettant aux grands modèles de langage de traiter l'entrée d'image conjointement avec des descriptions textuelles. Parfait pour les applications nécessitant des explications en langage naturel, du sous-titrage d'images, des tâches de raisonnement visuel, ou même des réponses à des questions visuelles, ils exploitent des encodeurs visuels et des couches d'attention croisée pour aligner les paires image-texte dans le même espace dimensionnel. Bien que vous acceptiez une latence plus élevée (3–12s), les capacités de raisonnement qu'ils apportent à la compréhension d'images, aux éléments visuels et aux instructions visuelles les rendent idéaux pour des tâches en aval plus spécifiques telles que la modération de contenu intelligente, la génération d'images, le raisonnement mathématique visuel ou les assistants visuels interactifs. En utilisant un fine tuning efficace en paramètres avec des données d'entraînement de haute qualité, les modèles de langage visuel (VLM) deviennent de puissants modèles d'apprentissage automatique qui unifient les informations visuelles et textuelles dans un espace d'embedding partagé.

Les API Cloud fournissent des réponses détaillées et complètes avec des métadonnées riches et des scores de confiance, les rendant idéales lorsque vous avez besoin d'informations étendues au-delà d'une simple classification. Ces API reposent souvent sur des composants d'encodeur visuel pré-entraînés et des encodeurs visuels entraînés sur de grands ensembles de données de modèles publics de légendes conceptuelles et de photos pertinentes. Idéales pour les applications nécessitant des sorties JSON structurées, des boîtes englobantes, une localisation d'objets ou une compréhension de vidéo longue, ce sont des solutions prêtes à l'emploi sans besoin de formation robuste de modèle ou de gestion d'infrastructure. Bien que leur précision soit modérée (mAP 0,61–0,66), elles réduisent les détails techniques et les coûts d'infrastructure, permettant des tâches comme la génération automatique de rapports, l'extraction de sens sémantique et l'intégration de framework unifié avec des modèles génératifs existants.

Calculateur de prix

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Modèles de langage visuel (VLM) – Caractéristiques clés et avantages

Raisonnement multimodal

Les modèles de langage visuel (VLM) sont de puissants modèles multimodaux capables de traiter simultanément les modalités visuelles et textuelles, leur permettant d'interpréter les informations visuelles et textuelles de manière plus riche et consciente du contexte. En alignant l'entrée d'image avec des invites en langage naturel, ils permettent des tâches avancées telles que le sous-titrage automatique d'images, la détection de casque dans les images de sécurité, les tâches de raisonnement visuel, les réponses à des questions visuelles, et même l'explication de contenu visuel en langage naturel. Contrairement aux modèles d'IA traditionnels qui se concentrent uniquement sur les données visuelles, les VLM combinent les capacités visuelles avec le raisonnement des grands modèles de langage, les rendant idéaux pour des tâches en aval complexes.

Sortie structurée et génération de JSON

De nombreux modèles de langage visuel peuvent générer des sorties structurées telles que du JSON, ce qui est précieux pour les pipelines automatisés et les applications nécessitant des descriptions textuelles en plus des caractéristiques d'image. Dans notre évaluation, ChatGPT-5 et Gemini 2.5 Pro ont échoué de manière cohérente, tandis que Meta-Llama Vision Instruct n'a réussi que 36 % du temps. Les sorties structurées sont particulièrement utiles pour les assistants visuels, permettant des tâches comme la détection d'objets, la localisation d'objets et la production de données fiables pour les modèles d'apprentissage automatique sans fine tuning extensif.

Capacités de fine tuning

Les VLM prennent en charge un fine tuning efficace en paramètres avec des données d'entraînement relativement petites, permettant une adaptation rapide aux tâches de raisonnement visuel spécifiques à un domaine. Par exemple, ils peuvent être affinés pour distinguer les individus casqués des non-casqués ou des équipements de sécurité spécialisés dans des scénarios d'entrée d'image. En exploitant des architectures d'encodeur visuel pré-entraînées et des techniques de formation de modèle robustes, ils peuvent mieux généraliser avec moins de légendes conceptuelles ou de paires image-texte.

Limites des modèles de langage visuel

Latence et vitesse

Par rapport aux CNN traditionnels ou aux modèles visuels plus simples, les modèles de langage visuel ont généralement une latence plus élevée, ce qui peut limiter les applications en temps réel comme la compréhension de vidéo longue. Certains modèles multimodaux, comme X-AI Grok 2 Vision et Google Gemini 2.5 Flash, sont plus proches des API Cloud en vitesse, mais Meta-Llama est nettement plus lent. Le compromis provient de leur conception de modèle de bout en bout et des couches d'attention croisée, qui améliorent les capacités de raisonnement mais augmentent le temps d'inférence.

Défis au niveau des classes

Les modèles de langage visuel peinent parfois avec les classes se chevauchant et la reconnaissance d'objets à grain fin, comme la différenciation entre une « tête » et une « head_with_helmet » ou entre « person_no_helmet » et « person_with_helmet ». Bien que certains modèles performent bien sur les classes casquées, ils sont en dessous des attentes dans d'autres tâches de raisonnement visuel comme la détection de visages ou d'éléments visuels subtils. Cela souligne l'importance de données d'entraînement de haute qualité et d'un fine tuning soigné lors du ciblage de tâches en aval plus spécifiques.

Fiabilité de la sortie structurée

La cohérence des sorties structurées telles que le JSON varie considérablement. Bien que certains VLM génèrent de manière fiable des sorties valides, d'autres échouent dans des cas d'utilisation particuliers, limitant leur utilité dans des pipelines entièrement automatisés. Même avec des architectures d'encodeur visuel pré-entraînées et des approches d'espace d'embedding partagé, certains modèles échouent toujours à maintenir le sens sémantique dans la sortie structurée. Cette incohérence souligne le besoin d'une formation de modèle robuste, de photos pertinentes dans l'ensemble de données et d'améliorations continues des modèles génératifs pour les modalités visuelles et linguistiques.

Méthodologie de référence

Nous avons mené notre évaluation complète en utilisant l'ensemble de données de détection de casques de sécurité SHEL5K, en utilisant spécifiquement les 500 premières images pour assurer une comparaison cohérente entre toutes les architectures de modèles. L'ensemble de données contient sept classes se chevauchant conçues pour tester les capacités de détection d'objets à grain fin : face, head, head_with_helmet, helmet, person, person_no_helmet et person_with_helmet.

Prétraitement des données

Les annotations de l'ensemble de données SHEL5K original étaient fournies au format XML. Nous avons développé un pipeline de prétraitement pour convertir ces annotations en un format CSV multi-étiquettes adapté à une évaluation systématique :

Chaque image a été mappée à ses étiquettes de vérité terrain correspondantes, créant un cadre d'évaluation standardisé. Pour les CNN traditionnels, les images ont été prétraitées à une résolution de 224×224 avec une normalisation standard. Les modèles de langage visuel et les API Cloud ont reçu les images dans leur format d'origine pour préserver les informations contextuelles.

Protocole d'évaluation des CNN traditionnels

Les réseaux de neurones convolutifs traditionnels (EfficientNet, variantes ResNet, DenseNet121) ont subi un fine tuning supervisé en utilisant les meilleures pratiques établies :

Configuration d'entraînement :

• Architecture : Modèles pré-entraînés avec des têtes de classification modifiées
• Fonction de perte : BCEWithLogitsLoss pour la classification multi-étiquettes
• Optimiseur : Adam avec un taux d'apprentissage de 1e-4
• Époques d'entraînement : 5
• Division des données : 80 % entraînement, 20 % validation
• Taille de lot : 16

Cadre de test des modèles de langage visuel

Les VLM ont été évalués via des invites soigneusement structurées conçues pour susciter des réponses cohérentes et lisibles par machine. Notre approche d'ingénierie d'invite a demandé des scores de confiance au format JSON pour chaque classe.

Configuration de l'API :

• Température : 0,1 (basse température pour la cohérence)
• Max tokens : 800
• Modèles testés via l'intégration de l'API OpenRouter
• Parsing JSON avec gestion d'erreurs et validation de format

Suivi du taux de réussite : Nous avons surveillé le pourcentage de réponses JSON valides, car les VLM génèrent parfois des explications en langage naturel au lieu d'une sortie structurée. Cette métrique s'est avérée cruciale pour évaluer la faisabilité du déploiement pratique.

Intégration des API Cloud et mappage des étiquettes

Les API Cloud ont présenté des défis uniques en raison de leur nature à usage général et de leurs taxonomies différentes. Nous avons développé des stratégies de mappage complètes pour chaque service :

Stratégie de mappage des étiquettes :

Les API Cloud présentent un défi fondamental : elles n'ont pas été conçues pour notre taxonomie spécifique de sept classes. Ces services renvoient des étiquettes à usage général comme « personne », « casque », « ouvrier du bâtiment » ou « équipement de sécurité » plutôt que les combinaisons précises dont nous avons besoin pour évaluer (comme « person_with_helmet » ou « head_with_helmet »).

Pour remédier à cette limitation, nous avons développé des dictionnaires de mappage complets pour chaque service cloud basés sur leurs sorties. Le mappage de Azure Computer Vision comprenait 50+ variantes d'étiquettes couvrant les différentes façons dont l'API pourrait décrire les personnes (personne, homme, femme, travailleur, individu), les casques (casque, casque de chantier, casque de sécurité, casquette) et les traits du visage (visage, visage humain, portrait). Des mappages similaires étendus ont été créés pour AWS Rekognition et Google Cloud Vision, chacun adapté au vocabulaire spécifique et aux modèles d'étiquetage de ce service.

Logique d'inférence de classe combinée :

Le aspect le plus sophistiqué de notre évaluation des API Cloud impliquait d'inférer des classes combinées que les API ne reconnaissent pas explicitement. Nous avons mis en œuvre une logique basée sur des règles pour détecter lorsque plusieurs éléments de base apparaissent ensemble :

Lorsque « personne » et « casque » sont tous deux détectés dans la même image avec une confiance suffisante, le système infère « person_with_helmet » en utilisant le score de confiance minimum entre les deux détections (approche conservatrice). De même, la détection simultanée de « tête » et de « casque » déclenche la classification « head_with_helmet ».

Pour les classifications négatives, lorsqu'une personne est détectée mais qu'aucun casque n'est trouvé, le système infère « person_no_helmet » avec une confiance légèrement réduite (90 % de la confiance originale de la personne) pour tenir compte de l'incertitude inhérente à l'inférence négative.

Cette approche reconnaît que les API Cloud excellent dans la détection d'objets individuels mais peinent avec le raisonnement relationnel sur les combinaisons d'objets — une limitation clé lors de l'évaluation de tâches de classification à grain fin et dépendantes du contexte.

Métriques d'évaluation et analyse statistique

Métriques principales :

• Précision Moyenne Moyenne (mAP) : Mesure principale de précision utilisant la moyenne macro sur les classes
• Précision, Rappel, Score F1 : Moyenne micro pour l'évaluation des performances globales
• Précision par classe : Performance de classe individuelle pour une analyse détaillée
• Latence : Temps de traitement de bout en bout par image
• Taux de réussite : Pourcentage de sorties valides (particulièrement pertinent pour les VLM)

Sélection du seuil : Un seuil de classification de 0,5 a été appliqué de manière cohérente sur tous les modèles, les VLM utilisant des scores de confiance et les modèles traditionnels utilisant des logits activés par sigmoïde.

Robustesse statistique : Chaque modèle a été évalué sur des ensembles d'images identiques avec un prétraitement cohérent pour assurer une comparaison équitable. Les mesures de latence ont été moyennées sur plusieurs exécutions pour tenir compte de la variance du système.

Contrôles expérimentaux et limites

Contrôles mis en œuvre :

• Ensemble de test identique de 500 images sur tous les modèles
• Métriques et seuils d'évaluation cohérents
• Procédures standardisées de gestion d'erreurs et de délai d'attente
• Rotation de plusieurs API key pour gérer les limites de débit

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Şipi, Nazlı},
  title  = {{Modèles de langage visuel comparés à la reconnaissance d'images}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/vision-language-models}},
  note   = {AIMultiple. Consulté le 30 Juin 2026}
}

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017. AIMultiple informe chaque mois des centaines de milliers d'entreprises (selon similarWeb), dont 55 % des entreprises du classement Fortune 500. Les travaux de Cem ont été cités par des publications internationales de premier plan telles que Business Insider, Forbes et le Washington Post, ainsi que par des entreprises mondiales comme Deloitte et HPE, des ONG comme le Forum économique mondial et des organisations supranationales comme la Commission européenne. Vous trouverez d'autres entreprises et ressources réputées ayant fait référence à AIMultiple. Tout au long de sa carrière, Cem a exercé les fonctions de consultant, d'acheteur et d'entrepreneur dans le secteur des technologies. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la numérisation. Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité directe du PDG. Il a également piloté la croissance commerciale de la société de deep tech Hypatos, qui a atteint un chiffre d'affaires annuel récurrent à sept chiffres et une valorisation à neuf chiffres en seulement deux ans. Les travaux de Cem chez Hypatos ont été présentés dans des publications technologiques de référence telles que TechCrunch et Business Insider. Cem intervient régulièrement lors de conférences internationales sur les technologies. Diplômé en génie informatique de l'université de Bogazici, il est également titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Recherche effectuée par

Nazlı Şipi

Chercheur en IA

Suivre

Nazlı est analyste de données chez AIMultiple. Elle possède une expérience préalable en analyse de données dans divers secteurs, où elle a travaillé à transformer des ensembles de données complexes en informations exploitables.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire