Plus de 15 cas d'utilisation et applications d'IA de la réalité augmentée
La réalité augmentée (RA) est une plateforme de médias numériques qui permet à l'utilisateur d'intégrer un contexte virtuel dans l'environnement physique de manière interactive et multidimensionnelle.
L'intégration de l'IA enrichit l'expérience de réalité augmentée en permettant aux réseaux neuronaux profonds de remplacer les approches traditionnelles de vision par ordinateur et d'ajouter de nouvelles fonctionnalités telles que la détection d'objets, l'analyse de texte et l'étiquetage de scènes. Nous explorons l'IA en réalité augmentée, ses applications, des exemples et les fournisseurs.
Comment l'IA transforme-t-elle la RA ?
Historiquement, les logiciels de réalité augmentée utilisaient des techniques de vision par ordinateur classiques appelées SLAM (localisation et cartographie simultanées). Les algorithmes SLAM comparent les caractéristiques visuelles entre les images de la caméra afin de cartographier et de suivre l'environnement.
Cependant, les applications de réalité augmentée modernes s'appuient sur l'apprentissage profond pour offrir des fonctionnalités plus avancées. Les développeurs de réalité augmentée peuvent exploiter les algorithmes d'IA pour proposer des fonctionnalités telles qu'une interaction améliorée avec l'environnement physique. Les technologies d'IA comme l'apprentissage automatique, l'IA générale et l'apprentissage profond sont particulièrement adaptées aux environnements de réalité augmentée car :
- Le fait que les caméras soient toujours allumées offre la possibilité de collecter davantage de données pour l'entraînement de l'algorithme d'IA.
- Les données d'entrée de l'algorithme d'IA sont très détaillées car les environnements de réalité augmentée exploitent plusieurs capteurs (par exemple, les gyroscopes, les capteurs, les accéléromètres et le GPS de l'appareil). Cela garantit une meilleure fiabilité que les systèmes reposant sur un seul capteur.
Parallèlement à l'apprentissage profond, les systèmes de réalité augmentée (RA) utilisent de plus en plus l'intelligence spatiale, qui combine segmentation sémantique, estimation de profondeur et modélisation du contexte pour comprendre non seulement les objets, mais aussi des environnements entiers. Ceci permet au contenu de RA de se comporter de manière physiquement réaliste (par exemple, occlusion, ombres portées et adaptation de l'éclairage) et rend possibles des fonctionnalités avancées telles que des recommandations contextuelles basées sur la catégorie de scène (bureau ou extérieur) ou sur l'intention de l'utilisateur déduite.
8 applications d'IA en RA
1. Étiquetage des objets
L'étiquetage des objets utilise des modèles de classification d'apprentissage automatique. Lorsqu'une image prise par la caméra est traitée par le modèle, celui-ci associe l'image à une étiquette prédéfinie dans la bibliothèque de classification de l'utilisateur, et l'étiquette se superpose à l'objet physique dans l'environnement de réalité augmentée. Par exemple, l'assistance technique en réalité augmentée mobile de Volkswagen (MARTA) étiquette les pièces du véhicule et fournit des informations sur les problèmes existants ainsi que des instructions pour les résoudre.
2. Détection et reconnaissance d'objets
La détection et la reconnaissance d'objets utilisent des algorithmes de réseaux neuronaux convolutifs (CNN) pour estimer la position et l'étendue des objets dans une scène. Une fois l'objet détecté, le logiciel de réalité augmentée (RA) peut afficher des objets numériques superposés à l'objet physique et faciliter l'interaction entre les deux. Par exemple, l'application IKEA Place ARKit analyse l'environnement, mesure les plans verticaux et horizontaux, estime la profondeur, puis suggère des produits adaptés à l'espace disponible.
Pour en savoir plus, n'hésitez pas à consulter notre article sur la reconnaissance d'images .
3. Reconnaissance et traduction de textes
La reconnaissance et la traduction de texte combinent des techniques de reconnaissance optique de caractères (OCR) basées sur l'IA avec des moteurs de traduction texte-texte tels que DeepL. Un système de suivi visuel permet de suivre le mot et d'afficher la traduction en surimpression dans l'environnement de réalité augmentée. Google Translate offre cette fonctionnalité.
4. Reconnaissance vocale automatique
La reconnaissance vocale automatique (ASR) utilise un réseau neuronal pour la reconnaissance audiovisuelle de la parole (un algorithme qui s'appuie sur le traitement d'images pour extraire le texte). Des mots spécifiques déclenchent l'affichage d'une image de la bibliothèque, étiquetée en fonction de la description du mot, et cette image est projetée dans l'espace de réalité augmentée. L'application d'autocollants Panda en est un exemple.
Pour en savoir plus, veuillez consulter notre collection des principaux cas d'utilisation de la reconnaissance vocale .
5. Gestes et interaction naturelle
Le suivi gestuel et l'interaction multimodale, grâce à l'intelligence artificielle, permettent aux systèmes de réalité augmentée de reconnaître en temps réel les mouvements des mains, du corps et des doigts. Associés à l'intelligence artificielle vocale, ces systèmes permettent aux utilisateurs d'interagir avec des objets virtuels sans contact, pour une expérience de réalité augmentée plus intuitive et mains libres.
Exemple:
Dans le domaine de la maintenance industrielle, les systèmes d'IA et de réalité augmentée peuvent interpréter les gestes de la main pour manipuler des hologrammes 3D de machines, tandis que les commandes vocales déclenchent des instructions ou des avertissements contextuels. Les applications de réalité augmentée axées sur l'accessibilité utilisent les gestes et la voix pour faciliter la navigation dans les interfaces des utilisateurs à mobilité réduite.
Cas d'utilisation :
- Applications de réalité augmentée industrielle pour la commande d'équipements mains libres
- Applications d'accessibilité offrant une navigation et des commandes gestuelles
- Jeux et divertissement où les gestes contrôlent des objets virtuels
- Environnements de formation et de simulation en réalité augmentée avec interaction naturelle
6. Cartographie de l'environnement et compréhension de la scène
Au-delà de la simple détection d'objets, l'IA permet une compréhension sémantique des scènes, permettant aux systèmes de réalité augmentée de classifier des environnements entiers (par exemple, cuisine, bureau, rue) et d'adapter les superpositions en conséquence. Les modèles d'apprentissage profond comme SceneNet ou Visual Recognition de IBM peuvent analyser le contexte spatial, l'éclairage et les types de surfaces pour personnaliser l'expérience de réalité augmentée.
Exemple:
Snapdragon Spaces utilise l'IA pour détecter en temps réel les murs, les surfaces et les types de pièces, permettant ainsi un placement plus réaliste des meubles virtuels ou des éléments de jeu.
Cas d'utilisation :
- Applications de décoration intérieure qui recommandent des meubles en fonction du type de pièce
- Signalétique en réalité augmentée adaptant l'affichage aux environnements intérieurs et extérieurs
- Un commerce intelligent qui adapte le contenu promotionnel en fonction des rayons du magasin.
7. Intelligence artificielle générative pour la création de contenu dynamique en réalité augmentée
Les modèles GenAI peuvent générer dynamiquement des éléments 3D, des voix, voire des scènes entières, en fonction des instructions ou des interactions de l'utilisateur dans des environnements de réalité augmentée. Ceci élimine le besoin de bibliothèques préchargées et ouvre la voie à la création de mondes personnalisés en temps réel.
Exemple:
Une application marketing pourrait permettre aux utilisateurs de décrire leur salon idéal, et GenAI générerait le mobilier et l'agencement en réalité augmentée.
Modèles/outils pertinents :
- Luma AI (texte vers 3D)
- RunwayML pour les superpositions vidéo
- Pika Labs ou Spline pour la modélisation 3D en temps réel
8. Anomaly Détection pour l'inspection industrielle
L'intelligence artificielle appliquée à la réalité augmentée peut faciliter la détection d'anomalies en temps réel dans les secteurs de la production ou sur le terrain. Les modèles de vision par ordinateur, entraînés sur l'aspect « normal » (par exemple, l'intégrité des canalisations, les surfaces des machines), peuvent détecter les écarts et les mettre en évidence dans le champ de vision de l'utilisateur grâce à la réalité augmentée.
Exemple:
Porsche utilise la réalité augmentée associée à des outils d'inspection par intelligence artificielle pour mettre en évidence l'usure, la corrosion ou les défauts d'alignement des pièces automobiles lors de la maintenance à distance.
Cas d'utilisation :
- Inspections de maintenance et de sécurité dans les usines
- Infrastructures de services publics (ex. lignes électriques, pipelines)
- Évaluations de réparation d'aéronefs ou de véhicules
Davantage d'applications d'IA/RA dans divers secteurs
La réalité augmentée (RA) est utilisée dans de nombreuses applications, notamment dans le divertissement et la construction. Parmi les autres secteurs pouvant tirer profit de l'intelligence artificielle et de la RA, on peut citer :
- Construction : Architecture, conception, planification de projet, révision de site, sécurité et inspection, constructions souterraines et formation.
- Éducation : Visites de sites (musée, usine), expériences sur maquettes en laboratoire (chimie, physique, géométrie, anatomie)
- Divertissement : informations en temps réel provenant des stades, concerts de musique en réalité augmentée, publicités interactives, films et jeux.
- Médecine : diagnostic, navigation chirurgicale, formation des chirurgiens aux nouvelles procédures et modélisation des effets des médicaments.
- Logistique : planification et exploitation des entrepôts, optimisation des transports et gestion des stocks
- Fabrication : conception et prototypage, maintenance, réparation et formation,
- Militaire : navigation aérienne, visée des armes et téléprésence dans les opérations militaires.
- Immobilier : Marketing, design d'intérieur, aménagement d'étage, formation du personnel de construction.
- Mode : essayage avant achat, navigation en magasin, shopping personnalisé, lèche-vitrines en réalité augmentée et applications de maquillage.
Fournisseurs de logiciels de réalité augmentée basés sur l'IA
Selon Statista, le marché mondial de la réalité augmentée (RA), de la réalité virtuelle (RV) et de la réalité mixte (RM) devrait atteindre 100 milliards de dollars d'ici 2026. 2 Des entreprises telles qu'Apple et Google sont sur le marché du développement de logiciels AR basés sur l'IA pour améliorer l'expérience AR des clients.
Voici les principaux fournisseurs de logiciels de réalité augmentée basés sur l'IA :
Apple ARKit
ARKit est la plateforme de développement de réalité augmentée (RA) d'Apple pour les iPhone et iPad sous iOS. ARKit propose l'étiquetage des objets, l'occlusion des personnes, la capture de mouvement et le suivi de plusieurs visages. ARKit a été utilisé dans :
- Formation pour modéliser des expériences pratiques dans des laboratoires de sciences, de physique ou de chimie, comme Labster
- Le secteur de la construction et de l'architecture permet de mesurer les dimensions spatiales et de proposer des produits ou des solutions, comme IKEA Place.
- Divertissement , comme Pokémon GO.
Google ARCore
ARCore est la plateforme de réalité augmentée de Google. ARCore intègre du contenu numérique à l'environnement physique grâce à la capture de mouvement, la détection et la reconnaissance d'objets. ARCore a été utilisé dans :
- Des outils immobiliers pour visualiser, décorer et aménager des espaces vides. Par exemple, l'application Curate de Sotheby's.
- Des solutions de style de vie et d'entretien permettent de mettre les utilisateurs en relation avec des professionnels qui les conseillent, prennent des mesures et proposent des solutions d'aménagement. Par exemple, l'application Stream.
- Des divertissements tels que l'application de jeu d'animal de compagnie virtuel TendAR.
Autres
Parmi les autres fournisseurs de logiciels d'IA/RA, on peut citer :
- Amazone sumérienne
- Microsoft Maille
- Unité
- Moteur Vuforia
- Zap Works
Dispositifs portables d'IA, de RA et de XR
Au-delà des kits de développement logiciel (SDK), les plateformes matérielles intègrent désormais l'intelligence artificielle profonde directement dans les dispositifs de réalité augmentée portables. Par exemple, des appareils comme l'Apple Vision Pro offrent une capacité de calcul spatial avec saisie gestuelle, oculaire et vocale, ce qui enrichit l'intelligence contextuelle et l'interaction en réalité augmentée.
Les lunettes connectées Ray-Ban Display de Meta et d'autres dispositifs portables légers intégrant l'IA et la RA intègrent des superpositions contextuelles, la traduction instantanée et un guidage visuel interactif aux usages quotidiens. Ces plateformes portables marquent une transition d'une RA centrée sur le téléphone vers des expériences de RA immersives et permanentes grâce à l'IA.
Liens de référence
À lire ensuite
Création d'agents d'IA à l'aide de modèles composables
La réalité étendue (XR) et la réalité augmentée (AR) dans le secteur manufacturier en 2026 : 7 cas d'utilisation concrets
57 jeux de données pour les modèles d'apprentissage automatique et d'intelligence artificielle
Commentaires 2
Partagez vos idées
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires.
No mention of Microsoft (e.g. HoloLens, Mesh, Remote Assist, …) even in the “other vendors” list? Strange…
Thank you for the comment. You are right, added Microsoft's platform to the list
Hello! I'm interested in AR glasses content composed by AI Can I send my architecture? I want to know whether this is possible to achieve or not. I need help to improve my idea and make it come true. I'll wait your answer. Thank you.
Hi Heejin, thank you for your comment. I would advise you to reach out to vendors in this space. They would be the ones who can examine your idea in detail and identify how it can be implemented.