3D-Tracking

In der 3D-Mensch-Computer-Interaktion ist 3D-Tracking , auch Pose-Tracking oder Positions-Tracking genannt , ein Verfahren, das die Position und/oder Orientierung von Head-Mounted Displays , Controllern oder anderen Eingabegeräten im euklidischen Raum verfolgt . Pose-Tracking wird oft als 6DOF-Tracking bezeichnet, aufgrund der sechs Freiheitsgrade, in denen die Objekte üblicherweise verfolgt werden. ^{[ 1 ]}

Bei einigen GPS-Systemen für Endverbraucher werden zusätzlich Orientierungsdaten mithilfe von Magnetometern erfasst , die zwar eine teilweise Orientierungsinformation liefern, aber nicht die vollständige Orientierung, die die Lageverfolgung bietet.

In der virtuellen Realität (VR) ist eine genaue und präzise Positionsverfolgung unerlässlich, um die Illusion des virtuellen Seins nicht zu zerstören. Um dies zu erreichen, wurden verschiedene Methoden zur Verfolgung von Position und Orientierung (Neigung, Gier und Rollen) eines Displays und zugehöriger Objekte oder Geräte entwickelt. Viele dieser Methoden nutzen Sensoren, die wiederholt Signale von Sendern am oder in der Nähe des/der verfolgten Objekte(s) aufzeichnen und diese Daten an den Computer senden, um deren ungefähre physische Position zu bestimmen. Eine gängige Methode ist die Lighthouse-Tracking-Technologie . Im Allgemeinen werden diese physischen Positionen mithilfe eines oder mehrerer der drei Koordinatensysteme identifiziert und definiert: dem kartesischen, dem sphärischen und dem zylindrischen Koordinatensystem. Zahlreiche Schnittstellen wurden entwickelt, um die Bewegung im virtuellen 3D-Raum und die Interaktion mit ihm zu überwachen und zu steuern. Diese Schnittstellen müssen eng mit den Positionsverfolgungssystemen zusammenarbeiten, um ein nahtloses Benutzererlebnis zu gewährleisten. ^{[ 2 ]}

Eine weitere Art der Positionsverfolgung, die in neueren Systemen häufiger zum Einsatz kommt, ist das sogenannte Inside-Out-Tracking. Dazu gehören SLAM ( Simultaneous Localization and Mapping ) und VIO ( Visual-Inertial Odometrie ). Ein Beispiel für ein Gerät, das Inside-Out-Positionsverfolgung nutzt, ist die Oculus Quest 2 .

Die magnetische Ortung basiert auf der Messung der Intensität inhomogener Magnetfelder mithilfe elektromagnetischer Sensoren. Eine Basisstation , oft auch als Sender oder Feldgenerator des Systems bezeichnet, erzeugt je nach Systemarchitektur ein Wechselfeld oder ein statisches elektromagnetisches Feld.

Um alle Richtungen im dreidimensionalen Raum abzudecken, werden drei Magnetfelder nacheinander erzeugt. Diese Magnetfelder werden von drei zueinander senkrechten elektromagnetischen Spulen erzeugt. Die Spulen befinden sich in einem kleinen Gehäuse, das an einem beweglichen Zielobjekt befestigt ist, dessen Position verfolgt werden soll. Durch den nacheinander durch die Spulen fließenden Strom werden diese zu Elektromagneten, wodurch sie ihre Position und Ausrichtung im Raum bestimmen können.

Elektromagnetische Ortung wird für die dreidimensionale chirurgische Navigation eingesetzt. ^{[ 3 ]}

Da magnetisches Tracking kein Head-Mounted Display benötigt, wie es in der virtuellen Realität häufig verwendet wird, kommt es oft in vollständig immersiven VR-Umgebungen zum Einsatz. ^{[ 4 ]} Konventionelle Geräte wie Head-Mounted Displays stören den Nutzer in vollständig geschlossenen VR-Erlebnissen, weshalb alternative Systeme wie das magnetische Tracking bevorzugt werden. Magnetisches Tracking wurde von Polhemus und von Sixense im Razer Hydra implementiert . Das System funktioniert schlecht in der Nähe von elektrisch leitfähigen Materialien wie Metallgegenständen und -geräten, die ein elektromagnetisches Feld beeinflussen können. Die Genauigkeit des magnetischen Trackings verschlechtert sich mit zunehmender Entfernung des Nutzers vom Basissender ^{[ 4 ]} , und der Erfassungsbereich ist begrenzt und kann nicht größer als 5 Meter sein.

Vorteile :

• Verwendet unauffällige Ausrüstung, die vom Benutzer nicht getragen werden muss und das Virtual-Reality-Erlebnis nicht beeinträchtigt.
• Geeignet für vollständig immersive Virtual-Reality-Displays

Nachteile :

• Der Benutzer muss sich in der Nähe des Basissenders befinden.
• Die Ortung verschlechtert sich in der Nähe von Metallen oder Objekten, die das elektromagnetische Feld stören.
• Neigen aufgrund häufiger Kalibrierungsanforderungen zu vielen Fehlern und Jitter ^{[ 5 ].}

Kamerabasiertes Tracking, auch optisches Tracking genannt, nutzt Kameras am oder um das Headset herum, um Position und Orientierung mithilfe von Computer-Vision-Algorithmen zu bestimmen . Kamerabasierte 3D-Tracking-Systeme benötigen eine direkte Lichtlinie ohne Verdeckungen, da sie sonst falsche Daten liefern.

Optisches Tracking kann mit oder ohne Marker erfolgen. Beim Tracking mit Markern dienen Ziele mit bekannten Mustern als Referenzpunkte. Kameras suchen diese Marker kontinuierlich ab und ermitteln anschließend mithilfe verschiedener Algorithmen (z. B. dem POSIT-Algorithmus ) die Position des Objekts. Marker können sichtbar sein, wie beispielsweise gedruckte QR-Codes . Viele nutzen jedoch Infrarotlicht (IR), das nur von Kameras erfasst werden kann. Aktive Implementierungen verwenden Marker mit integrierten IR-LEDs, die sich synchron mit der Kamera ein- und ausschalten lassen. Dadurch lassen sich andere IR-Lichtquellen im Trackingbereich leichter ausblenden. ^{[ 6 ]} Passive Implementierungen sind Retroreflektoren , die das IR-Licht mit geringer Streuung zur Quelle zurückreflektieren. Markerloses Tracking benötigt keine vorab platzierten Ziele, sondern nutzt die natürlichen Merkmale der Umgebung, um Position und Orientierung zu bestimmen. ^{[ 7 ]}

Bei dieser Methode werden Kameras an festen Positionen in der Umgebung angebracht, um die Position von Markern auf dem verfolgten Gerät, wie z. B. einem Head-Mounted Display oder Controllern, zu erfassen. Mehrere Kameras ermöglichen unterschiedliche Ansichten derselben Marker, und diese Überlappung erlaubt eine präzise Positionsbestimmung des Geräts. ^{[ 6 ]} Die Oculus Rift CV1 nutzt diese Technik, indem sie eine Anordnung von Infrarot-LEDs auf dem Headset und den Controllern anbringt, um externen Kameras in der Umgebung die Positionsbestimmung zu ermöglichen. ^{[ 8 ]} Diese Methode ist die ausgereifteste und findet Anwendung nicht nur in der VR, sondern auch in der Motion-Capture-Technologie für Film. ^{[ 9 ]} Allerdings ist diese Lösung platzsparend, da externe Sensoren in ständiger Sichtweite des Geräts benötigt werden.

Vorteile:

• Genauere Messwerte lassen sich durch den Einsatz weiterer Kameras verbessern.
• Geringere Latenz als bei Inside-Out-Tracking ^{[ 10 ]}

Nachteile:

• Bei Verdeckung benötigen die Kameras eine direkte Sichtlinie, sonst funktioniert die Verfolgung nicht.
• Die Notwendigkeit externer Sensoren bedeutet eine eingeschränkte Spielfläche

Bei dieser Methode wird die Kamera am zu verfolgenden Gerät angebracht und richtet sich nach außen, um dessen Position in der Umgebung zu bestimmen. Headsets mit dieser Technologie verfügen über mehrere Kameras, die in verschiedene Richtungen zeigen, um die gesamte Umgebung zu erfassen. Diese Methode funktioniert mit und ohne Marker. Das Lighthouse-System der HTC Vive ist ein Beispiel für aktive Marker. Jedes externe Lighthouse-Modul enthält Infrarot-LEDs sowie ein Laser-Array, das horizontal und vertikal abtastet. Sensoren am Headset und den Controllern erfassen diese Abtastungen und nutzen die Zeitintervalle zur Positionsbestimmung. ^{[ 11 ] [ 12 ]} Markerloses Tracking, wie beispielsweise bei der Oculus Quest , benötigt keine externen Komponenten. Es nutzt Kameras am Headset für ein Verfahren namens SLAM (Simultaneous Localization and Mapping), bei dem in Echtzeit eine 3D-Karte der Umgebung erstellt wird. ^{[ 7 ]} Algorithmen des maschinellen Lernens bestimmen anschließend die Position des Headsets innerhalb dieser 3D-Karte, indem sie Merkmale erkennen, um die Umgebung zu rekonstruieren und zu analysieren. ^{[ 13 ] [ 14 ]} Diese Technologie ermöglicht es, dass High-End-Headsets wie die Microsoft HoloLens autark funktionieren, ebnet aber auch den Weg für günstigere mobile Headsets, die keine Verbindung zu externen Computern oder Sensoren benötigen. ^{[ 15 ]}

Vorteile:

• Ermöglicht größere Spielflächen, kann an den Raum angepasst werden
• Anpassungsfähig an neue Umgebungen

Nachteile:

• Mehr On-Board-Verarbeitung erforderlich
• Die Latenz kann höher sein ^{[ 10 ].}

Die Sensorfusion kombiniert Daten verschiedener Tracking-Algorithmen und liefert bessere Ergebnisse als die Verwendung nur einer Technologie. Eine Variante der Sensorfusion ist die Kombination von inertialem und optischem Tracking. Diese beiden Techniken werden häufig gemeinsam eingesetzt, da inertiale Sensoren zwar optimal für die Verfolgung schneller Bewegungen geeignet sind, aber auch schnell Fehler akkumulieren, während optische Sensoren absolute Referenzwerte liefern, um die Schwächen des inertialen Trackings auszugleichen. ^{[ 16 ]} Darüber hinaus kann das inertiale Tracking einige Nachteile des optischen Trackings kompensieren. Beispielsweise kann das optische Tracking die primäre Tracking-Methode sein, aber bei einer Verdeckung schätzt das inertiale Tracking die Position, bis die Objekte wieder für die optische Kamera sichtbar sind. Das inertiale Tracking kann auch zwischen den Positionsdaten des optischen Trackings Positionsdaten generieren, da es eine höhere Aktualisierungsrate aufweist . Das optische Tracking hilft außerdem, eine Drift des inertialen Trackings zu kompensieren. Die Kombination von optischem und inertialem Tracking reduziert nachweislich Fehlausrichtungen, die häufig bei zu schnellen Kopfbewegungen auftreten. ^{[ 4 ]} Fortschritte bei mikroelektromechanischen Systemen (MEMS) haben das magnetische/elektrische Tracking aufgrund seiner geringen Größe und niedrigen Kosten verbreiteter gemacht. ^{[ 5 ]}

Die drahtlose Positionsbestimmung nutzt Ankerpunkte, die entlang des Umfangs eines Erfassungsbereichs platziert werden, sowie einen oder mehrere zu verfolgende Tags. Das System ähnelt GPS, funktioniert aber sowohl in Innenräumen als auch im Freien und wird daher auch als Indoor-GPS bezeichnet. Die Tags triangulieren ihre 3D-Position mithilfe der Ankerpunkte. Dank der drahtlosen Technologie Ultrabreitband (UBW) erreicht die Positionsbestimmung eine Genauigkeit von unter 100 mm. Durch Sensorfusion und Hochgeschwindigkeitsalgorithmen kann die Genauigkeit sogar 5 mm bei Aktualisierungsraten von 200 Hz bzw. einer Latenz von 5 ms erreichen .

Vorteile :

• Der Nutzer erlebt uneingeschränkte Bewegungsfreiheit ^{[ 17 ].}
• Ermöglicht einen größeren Bewegungsspielraum
• Liefert eine absolute Position anstelle einer relativen Position ^{[ 18 ].}

Nachteile :

• Eine niedrige Abtastrate kann die Genauigkeit verringern.
• Niedrige Latenzrate (definieren) im Vergleich zu anderen Sensoren

Die Inertialortung ist eine native Methode zur Rotationsverfolgung. Sie nutzt Daten von Beschleunigungsmessern und Gyroskopen sowie gelegentlich von Magnetometern . Beschleunigungsmesser messen die lineare Beschleunigung. Da die Ableitung der Position nach der Zeit die Geschwindigkeit und die Ableitung der Geschwindigkeit die Beschleunigung ist, kann das Ausgangssignal des Beschleunigungsmessers theoretisch integriert werden, um die Geschwindigkeit zu bestimmen, und anschließend erneut integriert werden, um die Position relativ zu einem Ausgangspunkt zu ermitteln. Gyroskope messen die Winkelgeschwindigkeit . Auch die Winkelgeschwindigkeit kann integriert werden, um die Winkelposition relativ zum Ausgangspunkt zu bestimmen. Magnetometer messen Magnetfelder und magnetische Dipolmomente. Die Richtung des Erdmagnetfelds kann integriert werden, um eine absolute Orientierungsreferenz zu erhalten und gyroskopische Drifts zu kompensieren. ^{[ 19 ]} Moderne Inertialmesssysteme (IMU) basieren auf MEMS-Technologie und ermöglichen die Verfolgung der Orientierung (Rollen, Nicken, Gieren) im Raum mit hohen Aktualisierungsraten und minimaler Latenz. Gyroskope werden stets zur Rotationsverfolgung eingesetzt, während für die Positionsverfolgung unterschiedliche Techniken verwendet werden, die auf Faktoren wie Kosten, Einrichtungsaufwand und zu erfassendem Volumen basieren. ^{[ 16 ]}

Die Koppelnavigation dient der Positionsbestimmung und passt die virtuelle Umgebung an die Bewegungsänderungen des Nutzers an. ^{[ 20 ]} Die Aktualisierungsrate und der Vorhersagealgorithmus der Koppelnavigation beeinflussen das Nutzererlebnis. Da jedoch viele verschiedene Techniken zum Einsatz kommen, besteht kein Konsens über die besten Vorgehensweisen. ^{[ 20 ]} Die alleinige Verwendung von Inertialsensoren zur präzisen Positionsbestimmung ist problematisch, da die Koppelnavigation zu Drift führt. Daher wird diese Art der Positionsbestimmung in der virtuellen Realität nicht isoliert eingesetzt. ^{[ 21 ]} Eine Verzögerung von mehr als 100 ms zwischen Nutzerbewegung und VR-Darstellung kann Übelkeit verursachen. ^{[ 22 ]}

Inertialsensoren können nicht nur Rotationsbewegungen (Rollen, Nicken, Gieren), sondern auch Translationsbewegungen erfassen. Diese beiden Bewegungsarten zusammen werden als die sechs Freiheitsgrade bezeichnet . Viele Virtual-Reality-Anwendungen müssen nicht nur die Kopfdrehungen der Nutzer erfassen, sondern auch die dazugehörigen Körperbewegungen (links/rechts, vorwärts/rückwärts, aufwärts/abwärts). ^{[ 23 ]} Die Erfassung von sechs Freiheitsgraden ist nicht für alle Virtual-Reality-Erlebnisse notwendig, aber hilfreich, wenn der Nutzer neben seinem Kopf auch andere Objekte bewegen muss.

Vorteile :

• Kann schnelle Bewegungen im Vergleich zu anderen Sensoren gut erfassen, insbesondere in Kombination mit anderen Sensoren.
• Hohe Aktualisierungsraten möglich

Nachteile :

• Anfällig für Fehler, die sich aufgrund der Koppelnavigation schnell anhäufen
• Jegliche Verzögerung oder Fehlberechnung bei der Positionsbestimmung kann beim Anwender zu Symptomen wie Übelkeit oder Kopfschmerzen führen ^{[ 4 ].}
• Kann möglicherweise nicht mit einem Benutzer mithalten, der sich zu schnell bewegt ^{[ 4 ].}
• Inertialsensoren können typischerweise nur in Innenräumen und Laborumgebungen eingesetzt werden, daher sind Anwendungen im Freien begrenzt ^{[ 5 ].}

Akustische Ortungssysteme nutzen Techniken zur Positionsbestimmung von Objekten oder Geräten, die denen der Echoortung bei Tieren ähneln . Analog zur Ortung von Objekten durch Fledermäuse anhand der unterschiedlichen Laufzeiten von Schallwellen zu ihren beiden Ohren, verwenden akustische Ortungssysteme in VR mindestens drei Ultraschallsensoren und mindestens drei Ultraschallsender an Geräten, um Position und Orientierung eines Objekts (z. B. eines Handcontrollers) zu berechnen. ^{[ 24 ]} Die Position des Objekts kann auf zwei Arten bestimmt werden: durch Messung der Laufzeit der Schallwelle vom Sender zu den Empfängern oder durch Messung der Phasenkohärenz der sinusförmigen Schallwelle beim Empfang des Signals.

Gegeben seien drei nicht kollineare Sensoren (oder Empfänger) mit den Abständen d₁ _und d₂ _zueinander sowie die Laufzeiten einer Ultraschallwelle (einer Welle mit einer Frequenz größer als 20 kHz) von einem Sender zu diesen drei Empfängern. Die relative kartesische Position des Senders kann wie folgt berechnet werden:

${\displaystyle x_{0}={l_{1}^{2}+d_{1}^{2}-l_{2}^{2} \over 2d_{1}}}$

${\displaystyle y_{0}={l_{1}^{2}+d_{2}^{2}-l_{3}^{2} \over 2d_{2}}}$

${\displaystyle z_{0}={\sqrt {l_{1}^{2}-x_{0}^{2}-y_{0}^{2}}}}$

Hierbei repräsentiert jedes l _{_i} die Entfernung vom Sender zu einem der drei Empfänger, berechnet anhand der Laufzeit der Ultraschallwelle mit der Gleichung l = ct_{_us} . Die Konstante c bezeichnet die Schallgeschwindigkeit, die in trockener Luft bei 20 °C 343,2 m/s beträgt. Da mindestens drei Empfänger benötigt werden, spricht man bei dieser Berechnung von Triangulation .

Um neben der Position eines Geräts auch dessen Ausrichtung (d. h. seinen Drehwinkel in alle Richtungen) zu bestimmen, müssen mindestens drei nicht kollineare Punkte auf dem verfolgten Objekt bekannt sein. Dies erfordert zusätzlich zu den drei bereits erwähnten Empfängern mindestens drei Ultraschallsender pro verfolgtem Gerät. Die Sender senden nacheinander Ultraschallwellen auf die drei Empfänger aus. Mithilfe der oben beschriebenen Methoden lassen sich daraus räumliche Daten der drei Sender ableiten. Aus der bekannten Position der Sender auf dem Gerät und ihrer räumlichen Lage zueinander kann dann die Ausrichtung des Geräts bestimmt werden. ^{[ 25 ]}

Im Gegensatz zu TOF-Verfahren wurden auch phasenkohärente (PC) Tracking-Verfahren zur akustischen Objektortung eingesetzt. Beim PC-Tracking wird die Phase der von den Sensoren empfangenen Schallwelle mit der Phase eines vorherigen Referenzsignals verglichen, um die relative Positionsänderung der Sender gegenüber der letzten Messung zu bestimmen. Dieses Verfahren wurde in Ivan Sutherlands 3D-Headset verwendet . ^{[ 26 ]} Da dieses Verfahren nur mit beobachteten Positionsänderungen und nicht mit absoluten Messwerten arbeitet, verstärken sich Messfehler bei wiederholten Messungen. Daher hat dieses Verfahren im Laufe der Zeit an Beliebtheit verloren.

Vorteile :

• Genaue Messung von Koordinaten und Winkeln
• Sensoren sind klein und leicht, was eine größere Flexibilität bei ihrer Integration in das Design ermöglicht.
• Die Geräte sind billig und einfach herzustellen.
• Keine elektromagnetischen Störungen

Nachteile :

• Die Variabilität der Schallgeschwindigkeit aufgrund von Temperatur, Luftdruck und Luftfeuchtigkeit in der Umgebung kann zu Fehlern bei Entfernungsberechnungen führen.
• Die Reichweite ist begrenzt und erfordert eine direkte Sichtverbindung zwischen Sender und Empfänger.
• Im Vergleich zu anderen Methoden ist die maximal mögliche Abtastfrequenz aufgrund der relativ geringen Schallgeschwindigkeit in Luft recht klein (etwa einige Dutzend Hertz). Dies kann zu Messverzögerungen von bis zu einigen Dutzend Millisekunden führen, sofern die Ultraschallmessungen nicht durch Sensordatenfusion ergänzt werden.
• Akustische Störungen (d. h. andere Geräusche in der Umgebung) können die Messwerte beeinträchtigen.

Zusammenfassend lässt sich sagen, dass die Implementierung von akustischem Tracking optimal ist, wenn die Umgebung, in der sich das VR- oder AR-System befindet, vollständig kontrolliert werden kann, beispielsweise in einem Flugsimulator. ^{[ 2 ] [ 27 ] [ 28 ]}

Die mechanische Positionsbestimmung nutzt physikalisch verbundene Gelenke, um die Lage eines Objekts zu ermitteln. Dies wird beispielsweise in Produkten wie dem BOOM von Fakespace Labs eingesetzt. ^{[ 29 ]}

• 3D-Pose-Schätzung
• Head-Mounted Display
• Indoor-Positionierungssystem
• Fingerverfolgung
• FreeTrack
• Bewegungserfassung
• Gleichzeitige Lokalisierung und Kartierung
• Ortungssystem

• Rolland, Jannick P.; Baillot, Yohan; Goon, Alexei A. Eine Übersicht über Tracking-Technologien für virtuelle Umgebungen (PDF) .
• Vikas Kumar N. Integration von Trägheitsnavigationssystem und Global Positioning System mittels Kalman-Filterung (PDF) .
• Hol, JD; Schön, TB; Gustafsson, F.; Slycke, PJ Sensor Fusion for Augmented Reality (PDF) .