Visuelle Odometrie

In der Robotik und Computer Vision bezeichnet visuelle Odometrie das Verfahren zur Bestimmung der Position und Orientierung eines Roboters oder eines anderen computergestützten Systems durch die Analyse einer Reihe von Kamerabildern, die das System von seiner Umgebung aufgenommen hat. Sie wurde in einer Vielzahl von Roboteranwendungen eingesetzt, beispielsweise bei den Mars-Explorationsrovern . ^{[ 1 ]}

Anwendungsgebiete der visuellen Odometrie sind unter anderem Augmented Reality und Robotik. ^{[ 2 ]}

Man spricht von visuell-inertialer Odometrie ( VIO ), wenn eine Inertialmesseinheit verwendet wird.

In der Navigation nutzt die Odometrie Bewegungsdaten von Aktuatoren, um mithilfe von Geräten wie Drehgebern zur Messung der Radumdrehungen Positionsänderungen im Zeitverlauf zu schätzen. Während traditionelle Odometrieverfahren für viele Rad- oder Kettenfahrzeuge nützlich sind, lassen sie sich nicht auf mobile Roboter mit unkonventionellen Fortbewegungsarten, wie beispielsweise Laufroboter , anwenden . Zudem ist die Odometrie generell ungenau, da Räder auf dem Boden rutschen und so eine ungleichmäßige zurückgelegte Strecke im Vergleich zu den Radumdrehungen erzeugen. Dieser Fehler verstärkt sich auf unebenen Oberflächen. Mit der Zeit werden die Odometrie-Messwerte zunehmend unzuverlässiger, da sich diese Fehler akkumulieren und verstärken.

Visuelle Odometrie ist ein Verfahren zur Ermittlung äquivalenter Odometrieinformationen mithilfe sequenzieller Kamerabilder, um die zurückgelegte Strecke zu schätzen. Sie ermöglicht eine verbesserte Navigationsgenauigkeit bei Robotern und Fahrzeugen, unabhängig von der Art der Fortbewegung und dem Untergrund.

Es gibt verschiedene Arten von VO.

Je nach Kameraaufbau kann Videoorthese (VO) in monokulare VO (Einzelkamera) und Stereo-VO (zwei Kameras im Stereoaufbau) unterteilt werden.

Die visuelle Information in der traditionellen Videoanalyse (VO) wird mittels merkmalsbasierter Methoden gewonnen, die Bildmerkmale extrahieren und in der Bildsequenz verfolgen. Neuere Entwicklungen in der VO-Forschung bieten mit der direkten Methode eine Alternative, die die Pixelintensität in der Bildsequenz direkt als visuelle Eingabe nutzt. Es existieren auch Hybridmethoden.

Wird im VO-System eine Inertialmesseinheit (IMU) verwendet, spricht man üblicherweise von visueller Inertialodometrie (VIO).

Die meisten bestehenden Ansätze zur visuellen Odometrie basieren auf den folgenden Schritten.

1. Eingabebilder erfassen: entweder mit Einzelkameras [ ^{3 ] [ 4 ] ,} Stereokameras [ ^{4 ] [ 5 ]} oder omnidirektionalen ^{Kameras [ 6 ] [ 7 ]} .
2. Bildkorrektur: Anwendung von Bildverarbeitungstechniken zur Beseitigung von Linsenverzerrungen usw.
3. Merkmalserkennung : Interessensoperatoren definieren, Merkmale über Frames hinweg abgleichen und ein optisches Flussfeld konstruieren.
   1. Merkmalsextraktion und Korrelation.
      • Um eine Korrespondenz zwischen zwei Bildern herzustellen , sollte man Korrelation und nicht langfristige Merkmalsverfolgung verwenden.
   2. Optisches Flussfeld konstruieren ( Lucas-Kanade-Methode ).
4. Überprüfen Sie die Strömungsfeldvektoren auf mögliche Trackingfehler und entfernen Sie Ausreißer. ^{[ 8 ]}
5. Schätzung der Kamerabewegung aus dem optischen Fluss. ^{[ 9 ] [ 10 ] [ 11 ] [ 12 ]}
   1. Option 1: Kalman-Filter zur Aufrechterhaltung der Zustandsverteilungsschätzung.
   2. Option 2: Ermitteln Sie die geometrischen und 3D-Eigenschaften der Merkmale, die eine Kostenfunktion basierend auf dem Reprojektionsfehler zwischen zwei benachbarten Bildern minimieren. Dies kann durch mathematische Minimierung oder Zufallsstichproben erfolgen .
6. Regelmäßige Aktualisierung der Trackpunkte, um die Abdeckung des gesamten Bildes aufrechtzuerhalten.

Eine Alternative zu merkmalsbasierten Methoden ist die „direkte“ oder erscheinungsbasierte visuelle Odometrie, die einen Fehler direkt im Sensorraum minimiert und somit die Merkmalszuordnung und -extraktion vermeidet. ^{[ 5 ] [ 13 ] [ 14 ]}

Eine weitere Methode, die als „Visiodometrie“ bezeichnet wird, schätzt die planaren Rotations- und Translationsverschiebungen zwischen Bildern mithilfe der Phasenkorrelation anstatt durch Merkmalsextraktion. ^{[ 15 ] [ 16 ]}

Egomotion wird als die dreidimensionale Bewegung einer Kamera innerhalb ihrer Umgebung definiert. ^{[ 17 ]} Im Bereich der Computer Vision bezeichnet Egomotion die Schätzung der Kamerabewegung relativ zu einer starren Szene. ^{[ 18 ]} Ein Beispiel für die Schätzung von Egomotion wäre die Bestimmung der Position eines fahrenden Autos relativ zu Fahrbahnmarkierungen oder Straßenschildern, die vom Fahrzeug aus beobachtet werden. Die Schätzung von Egomotion ist wichtig für die Navigation autonomer Roboter . ^{[ 19 ]}

Ziel der Schätzung der Eigenbewegung einer Kamera ist die Bestimmung ihrer dreidimensionalen Bewegung innerhalb der Umgebung anhand einer Bildsequenz. ^{[ 20 ]} Die Schätzung der Kamerabewegung in einer Umgebung erfolgt mithilfe visueller Odometrie-Verfahren auf Basis einer Bildsequenz, die von der sich bewegenden Kamera aufgenommen wurde. ^{[ 21 ]} Typischerweise wird hierfür Merkmalserkennung eingesetzt , um aus zwei Einzelbildern einer Sequenz einen optischen Fluss zu erstellen ^{[ 17 ],} die entweder von einer Einzelkamera oder von Stereokameras erzeugt wurden. ^{[ 21 ]} Die Verwendung von Stereobildpaaren für jedes Einzelbild trägt zur Fehlerreduzierung bei und liefert zusätzliche Tiefen- und Skaleninformationen. ^{[ 22 ] [ 23 ]}

Im ersten Bild werden Merkmale erkannt und im zweiten Bild abgeglichen. Diese Informationen werden anschließend verwendet, um das optische Flussfeld für die erkannten Merkmale in diesen beiden Bildern zu erstellen. Das optische Flussfeld veranschaulicht, wie sich Merkmale von einem Punkt, dem Expansionsfokus , ausbreiten . Der Expansionsfokus lässt sich aus dem optischen Flussfeld bestimmen und gibt die Bewegungsrichtung der Kamera an, wodurch eine Schätzung der Kamerabewegung ermöglicht wird.

Es gibt auch andere Methoden zur Extraktion von Eigenbewegungsinformationen aus Bildern, darunter eine Methode, die auf Merkmalserkennung und optische Flussfelder verzichtet und direkt die Bildintensitäten nutzt. ^{[ 17 ]}

• Dead Reckoning
• Odometrie
• Optischer Fluss
• Optische Bewegungserfassung
• Perspektive-und-Punkt