Erweiterte Realität (Augmented Reality, AR) bedeutet, dass virtuelle Inhalte mit Orten oder Produkten in der realen Welt überlagert werden. Dieser Ansatz ermöglicht die Entwicklung von hybriden Prototypen und Experimenten, die sowohl sichtbare als auch normalerweise unsichtbare Merkmale der physischen Umgebung gleichzeitig integrieren.
Das HLRS hat Erfahrung in der Entwicklung von AR-Anwendungen und greifbaren Benutzeroberflächen mit der Visualisierungssoftware COVISE. Die AR-Funktionalität wird über eine Plugin-Schnittstelle bereitgestellt, die je nach den Bedürfnissen und Interessen von Nutzer:innen angepasst werden kann.
Für das Tracking in der erweiterten Realität unterstützt COVISE die optischen Infrarot-Trackingsysteme DTrack von A.R.T., VICON MX, Optitrack und Geräte, die VRPN unterstützen. Marker-basierte Tracking-Systeme wie ARToolKit, ALVAR und ARUCO werden ebenfalls unterstützt.
Die zunehmende Verfügbarkeit von AR-Headsets bedeutet, dass wir nun auch AR-Headsets wie die Microsoft Hololens und HTC Vive Pro unterstützen.
Die Hardware besteht aus einem HMD, einer Stereoversion des Daeyang Cy-Visors und zwei Paaren von PAL-Farbkameras, die oben auf dem HMD montiert sind. Es ist an einen Pentium IV PC mit zwei Videoerfassungskarten und einer GeForce 4 Ti Grafikkarte angeschlossen, auf dem RedHat Linux läuft.
Version 2 des AR HMD ist nun mit zwei PointGrey DragonFly Firewire Kameras mit 1024x768 Auflösung und CS-Mount Objektiven ausgestattet. Der Computer wurde auf ein 3 GHz Xeon-System aufgerüstet, auf dem ebenfalls RedHat Linux läuft.
Version 3 des AR HMD ist nun mit zwei integrierten USB2-Autofokus-Kameras mit einer maximalen Auflösung von 1280x1024 ausgestattet.
Das Softwaresystem basiert derzeit auf COVISE und AR-Toolkit, ALVAR oder ARUCO, kann aber durch ein flexibles Plugin-System leicht erweitert werden. OpenCV wird verwendet, um zwei Sätze von Videoströmen für das linke und rechte Auge zu erfassen. Es erkennt außerdem Marker und berechnet deren relative Position im Vergleich zu den Kameras. Virtuelle Objekte, die mit COVISE visualisiert wurden, können dann über dem Videobild in der richtigen Position relativ zur Markierung und mit der richtigen Perspektive angezeigt werden.
