Mehr als 15 Anwendungsfälle und KI-Anwendungen von Augmented Reality
Augmented Reality (AR) ist eine digitale Medienplattform, die es dem Benutzer ermöglicht, virtuellen Kontext auf interaktive und multidimensionale Weise in die physische Umgebung zu integrieren.
Der Einsatz von KI verbessert das AR-Erlebnis, indem tiefe neuronale Netze traditionelle Bildverarbeitungsverfahren ersetzen und neue Funktionen wie Objekterkennung, Textanalyse und Szenenklassifizierung ermöglichen. Wir beleuchten KI in AR, ihre Anwendungen, Beispiele und Anbieter.
Wie verändert KI die Augmented Reality?
Historisch gesehen nutzte AR-Software traditionelle Computer-Vision-Verfahren namens Simultaneous Localization and Mapping (SLAM). SLAM-Algorithmen vergleichen visuelle Merkmale zwischen Kamerabildern, um die Umgebung zu kartieren und zu verfolgen.
Moderne AR-Anwendungen nutzen jedoch Deep Learning, um erweiterte Funktionen bereitzustellen. AR-Entwickler können KI-Algorithmen einsetzen, um AR-Funktionen wie eine verbesserte Interaktion mit der physischen Umgebung zu ermöglichen. KI-Technologien wie maschinelles Lernen, GenAI und Deep Learning eignen sich besonders gut für AR-Umgebungen, da:
- Da die Kameras immer eingeschaltet sind, besteht die Möglichkeit, mehr Daten für das Training des KI-Algorithmus zu sammeln.
- Die Eingabedaten für den KI-Algorithmus sind sehr detailliert, da AR-Umgebungen auf mehreren Sensoren basieren (z. B. Gyroskopen, Sensoren, Beschleunigungsmessern und GPS des Geräts). Dies bietet eine höhere Zuverlässigkeit als Systeme, die nur auf einem einzigen Sensor beruhen.
Parallel zum Deep Learning nutzen AR-Systeme zunehmend räumliche Intelligenz, die semantische Segmentierung, Tiefenschätzung und Kontextmodellierung kombiniert, um nicht nur Objekte, sondern ganze Umgebungen zu erfassen. Dadurch verhalten sich AR-Inhalte physikalisch realistisch (z. B. Verdeckung, verankerte Schatten und Lichtanpassung) und ermöglichen erweiterte Funktionen wie kontextbezogene Empfehlungen basierend auf der Szenenkategorie (Büro vs. Außenbereich) oder der vermuteten Nutzerabsicht.
8 KI-Anwendungen in AR
1. Objektkennzeichnung
Die Objektkennzeichnung nutzt Klassifizierungsmodelle des maschinellen Lernens. Wird ein Kamerabild durch das Modell geleitet, gleicht es das Bild mit einer vordefinierten Kennzeichnung aus der Klassifizierungsbibliothek des Benutzers ab. Diese Kennzeichnung wird dann über das physische Objekt in der AR-Umgebung gelegt. Beispielsweise kennzeichnet die mobile Augmented-Reality-Hilfe MARTA (Mobile Augmented Reality Technical Assistance) von Volkswagen Fahrzeugteile und liefert Informationen zu bestehenden Problemen sowie Anweisungen zu deren Behebung.
2. Objekterkennung und -zuordnung
Objekterkennung und -identifizierung nutzen Convolutional Neural Network (CNN)-Algorithmen, um Position und Ausdehnung von Objekten in einer Szene zu bestimmen. Nach der Objekterkennung kann die AR-Software digitale Objekte rendern, die das physische Objekt überlagern und die Interaktion zwischen beiden ermöglichen. Beispielsweise scannt die IKEA Place ARKit-Anwendung die Umgebung, misst vertikale und horizontale Flächen, schätzt die Tiefe und schlägt anschließend Produkte vor, die in den jeweiligen Raum passen.
Mehr dazu finden Sie in unserem Artikel zur Bilderkennung .
3. Texterkennung und -übersetzung
Texterkennung und -übersetzung kombinieren KI-gestützte optische Zeichenerkennung (OCR) mit Text-zu-Text-Übersetzungs-Engines wie DeepL. Ein visueller Tracker verfolgt das Wort und ermöglicht die Überlagerung der Übersetzung in die AR-Umgebung. Google Translate bietet diese Funktionalität.
4. Automatische Spracherkennung
Automatische Spracherkennung (ASR) nutzt neuronale Netze zur audiovisuellen Spracherkennung (ein Algorithmus, der Bildverarbeitung zur Textextraktion verwendet). Bestimmte Wörter rufen ein Bild aus einer Bibliothek auf, das der Wortbeschreibung entspricht, und projizieren dieses Bild in den AR-Raum. Ein Beispiel hierfür ist die Panda-Sticker-App.
Weitere Informationen finden Sie in unserer Sammlung der besten Anwendungsfälle für Spracherkennung .
5. Gesten und natürliche Interaktion
KI-gestützte Gestenerkennung und multimodale Interaktion ermöglichen es AR-Systemen, Hand-, Körper- und Fingerbewegungen in Echtzeit zu erkennen. In Kombination mit Sprach-KI erlauben diese Systeme Nutzern die berührungslose Interaktion mit virtuellen Objekten und schaffen so intuitivere und freihändige AR-Erlebnisse.
Beispiel:
In der industriellen Instandhaltung können KI-gestützte AR-Systeme Handsignale interpretieren, um 3D-Hologramme von Maschinen zu steuern, während Sprachbefehle kontextbezogene Anweisungen oder Warnungen auslösen. Barrierefreiheitsorientierte AR-Apps nutzen Gesten und Sprache, um Nutzern mit eingeschränkter Mobilität die Navigation durch die Benutzeroberflächen zu ermöglichen.
Anwendungsfälle:
- Industrielle AR-Anwendungen für die freihändige Gerätesteuerung
- Barrierefreiheits-Apps, die gestenbasierte Navigation und Befehle ermöglichen
- Spiele und Unterhaltung, bei denen Gesten virtuelle Objekte steuern
- AR-Trainings- und Simulationsumgebungen mit natürlicher Interaktion
6. Umgebungskartierung und Szenenverständnis
Über die einfache Objekterkennung hinaus ermöglicht KI das semantische Verständnis von Szenen. Dadurch können AR-Systeme ganze Umgebungen (z. B. Küche, Büro, Straße) klassifizieren und Overlays entsprechend anpassen. Deep-Learning-Modelle wie SceneNet oder Visual Recognition analysieren räumlichen Kontext, Beleuchtung und Oberflächenbeschaffenheit, um das AR-Erlebnis individuell anzupassen.
Beispiel:
Snapdragon Spaces nutzt KI, um Wände, Oberflächen und Raumtypen in Echtzeit zu erkennen und so eine realistischere Platzierung virtueller Möbel oder Spielelemente zu ermöglichen.
Anwendungsfälle:
- Inneneinrichtungs-Apps, die Möbel basierend auf dem Raumtyp empfehlen
- AR-Wegleitsystem, das die Beschilderung an Innen-/Außenumgebungen anpasst
- Intelligenter Einzelhandel, der Werbeinhalte je nach Ladenabteilung anpasst.
7. Generative KI zur dynamischen Inhaltserstellung in AR
GenAI-Modelle können in AR-Umgebungen dynamisch 3D-Objekte, Stimmen oder sogar ganze Szenen basierend auf Eingabeaufforderungen oder Benutzerinteraktionen generieren. Dadurch entfällt die Notwendigkeit vorinstallierter Bibliotheken und der Weg für personalisiertes, Echtzeit-Weltenbau wird geebnet.
Beispiel:
Eine Marketing-App könnte es Nutzern ermöglichen, ihr ideales Wohnzimmer zu beschreiben, und GenAI würde Möbel und Raumaufteilung in AR generieren.
Relevante Modelle/Werkzeuge:
- Luma AI (Text-zu-3D)
- RunwayML für Video-Overlays
- Pika Labs oder Spline für Echtzeit-3D-Modellierung
8. Anomaly Detektion für die industrielle Inspektion
KI-gestützte Augmented Reality (AR) kann bei der Echtzeit-Anomalieerkennung in der Fertigung oder im Außendienst helfen. Computer-Vision-Modelle, die darauf trainiert wurden, wie „normale“ Zustände aussehen (z. B. Rohrleitungsintegrität, Maschinenoberflächen), können Abweichungen erkennen und diese mithilfe von AR im Sichtfeld des Nutzers hervorheben.
Beispiel:
Porsche nutzt AR mit KI-gestützten Inspektionswerkzeugen, um Verschleiß, Korrosion oder Fehlausrichtungen an Autoteilen während der Fernwartung hervorzuheben.
Anwendungsfälle:
- Wartungs- und Sicherheitsinspektionen in Fabriken
- Versorgungsinfrastruktur (z. B. Stromleitungen, Pipelines)
- Flugzeug- oder Fahrzeugreparaturbewertungen
Mehr KI/AR-Anwendungen in verschiedenen Branchen
AR wird in vielen Anwendungsbereichen eingesetzt, insbesondere in der Unterhaltungsbranche und im Bauwesen. Weitere Branchen, die von KI/AR profitieren können, sind:
- Bauwesen : Architektur, Design, Projektplanung, Baustellenüberprüfung, Sicherheit und Inspektion, Untertagebau und Schulung.
- Bildung: Exkursionen (Museum, Fabrik), Modellversuche im Labor (Chemie, Physik, Geometrie, Anatomie)
- Unterhaltung: Echtzeitinformationen aus Sportarenen, Augmented-Reality-Musikkonzerte, interaktive Werbung, Filme und Spiele.
- Medizin: Diagnostik, chirurgische Navigation, Schulung von Chirurgen in neuen Verfahren und Modellierung von Arzneimittelwirkungen.
- Logistik: Lagerplanung und -betrieb, Transportoptimierung und Bestandsmanagement
- Fertigung: Konstruktion und Prototypenbau, Wartung, Reparatur und Schulung,
- Militär: Flugzeugnavigation, Waffenausrichtung und Telepräsenz bei Militäroperationen.
- Immobilien: Marketing, Innenarchitektur, Grundrissplanung, Schulung von Baupersonal.
- Mode : Anprobieren vor dem Kauf, Navigation im Geschäft, personalisiertes Shopping, AR-Schaufensterbummel und Make-up-Apps.
Anbieter von KI-gestützter AR-Software
Laut Statista wird der globale Markt für Augmented Reality (AR), Virtual Reality (VR) und Mixed Reality (MR) bis 2026 schätzungsweise 100 Milliarden US-Dollar erreichen. 2 Unternehmen wie Apple und Google sind auf dem Markt für die Entwicklung von KI-gestützter AR-Software, um das AR-Erlebnis der Kunden zu verbessern.
Hier sind die führenden Anbieter von KI-gestützter AR-Software:
Apple ARKit
ARKit ist Apples Augmented-Reality-Entwicklungsplattform (AR) für iOS-Geräte (iPhones und iPads). ARKit bietet Objekterkennung, Personenerkennung, Bewegungserfassung und Gesichtserkennung für mehrere Personen. ARKit wurde unter anderem in folgenden Anwendungen eingesetzt:
- Bildung zur Modellierung praktischer Experimente in naturwissenschaftlichen, physikalischen oder chemischen Laboren, wie z. B. Labster.
- Konstruktion und Architektur zur Messung räumlicher Dimensionen und zur Entwicklung von Produkten oder Lösungen, wie beispielsweise IKEA Place.
- Unterhaltung , wie zum Beispiel Pokémon GO.
Google ARCore
ARCore ist die AR-Plattform von Google. ARCore integriert digitale Inhalte mittels Bewegungserfassung und Objekterkennung in die physische Umgebung. ARCore wurde bereits in folgenden Bereichen eingesetzt:
- Immobilien-Apps zur Visualisierung, Dekoration und Gestaltung leerer Räume. Zum Beispiel die Curate-App von Sotheby's.
- Lifestyle und Instandhaltung verbinden Nutzer mit Fachleuten, die Beratung und Anleitung bieten, Messungen durchführen und mögliche Lösungen für den jeweiligen Raum entwickeln. Ein Beispiel hierfür ist die Streem-App.
- Unterhaltungsangebote wie die virtuelle Haustierspiel-App TendAR.
Andere
Weitere Anbieter von KI/AR-Software sind:
- Amazonas-Sumerisch
- Microsoft Mesh
- Einheit
- Vuforia-Motor
- Zap Works
KI-AR-Wearables und XR-Plattformen
Über SDKs hinaus integrieren Hardwareplattformen nun auch tiefgreifende KI direkt in AR-Wearables. Geräte wie Apple Vision Pro bieten beispielsweise räumliches Computing mit Hand-, Augen- und Spracheingabe, was die kontextbezogene Intelligenz und die AR-Interaktion verbessert.
Die Ray-Ban Display Smart Glasses und andere leichte KI-AR-Wearables (Meta) integrieren kontextbezogene Overlays, Live-Übersetzung und interaktive visuelle Führung in den Alltag. Diese Wearable-Plattformen markieren einen Wandel von der Smartphone-zentrierten AR hin zu immersiven, permanent verfügbaren KI-AR-Erlebnissen.
Referenzlinks
Kommentare 2
Teilen Sie Ihre Gedanken
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.
No mention of Microsoft (e.g. HoloLens, Mesh, Remote Assist, …) even in the “other vendors” list? Strange…
Thank you for the comment. You are right, added Microsoft's platform to the list
Hello! I'm interested in AR glasses content composed by AI Can I send my architecture? I want to know whether this is possible to achieve or not. I need help to improve my idea and make it come true. I'll wait your answer. Thank you.
Hi Heejin, thank you for your comment. I would advise you to reach out to vendors in this space. They would be the ones who can examine your idea in detail and identify how it can be implemented.