Bewegungserfassung

Motion Capture (manchmal auch kurz Mocap oder Mo-Cap genannt ) ist das Verfahren zur hochauflösenden Aufzeichnung von Bewegungen von Objekten oder Personen in einem Computersystem. Es wird im Militär , in der Unterhaltungsbranche , im Sport , in medizinischen Anwendungen sowie zur Validierung von Computer Vision ^{[ 3 ]} und Robotern ^{[ 4 ] eingesetzt.}

In Filmen, Fernsehserien und Videospielen bezeichnet Motion Capture die Aufzeichnung der Bewegungen von Schauspielern und die Verwendung dieser Informationen zur Animation digitaler Charaktermodelle in 2D- oder 3D- Computeranimationen . ^{[ 5 ] [ 6 ] [ 7 ]} Werden dabei auch Gesicht und Fingerbewegungen erfasst oder subtile Ausdrücke oder Stimmen aufgezeichnet, spricht man oft von Performance Capture . ^{[ 8 ]} In vielen Bereichen wird Motion Capture auch als Motion Tracking bezeichnet , im Film- und Spielebereich bezieht sich Motion Tracking jedoch meist eher auf Match Moving .

Bei Motion-Capture-Aufnahmen werden die Bewegungen eines oder mehrerer Schauspieler mehrmals pro Sekunde erfasst. Während frühere Verfahren Bilder mehrerer Kameras nutzten, um 3D-Positionen zu berechnen ^{[ 9 ]} , dient Motion Capture heute oft nur der Aufzeichnung der Bewegungen des Schauspielers, nicht seines Aussehens. Diese Animationsdaten werden auf ein 3D-Modell übertragen, sodass das Modell dieselben Aktionen wie der Schauspieler ausführt. Dieses Verfahren unterscheidet sich von der älteren Rotoskopie -Technik .

Kamerabewegungen können per Motion-Capture erfasst werden, sodass eine virtuelle Kamera in der Szene, gesteuert von einem Kameramann, über die Bühne schwenkt, neigt oder fährt, während der Schauspieler agiert. Gleichzeitig erfasst das Motion-Capture-System Kamera, Requisiten und die Performance des Schauspielers. Dadurch erhalten computergenerierte Charaktere, Bilder und Sets dieselbe Perspektive wie die Videoaufnahmen der Kamera. Ein Computer verarbeitet die Daten und visualisiert die Bewegungen des Schauspielers, um die gewünschten Kamerapositionen in Bezug auf die Objekte im Set zu ermitteln. Die nachträgliche Gewinnung von Kamerabewegungsdaten aus dem aufgezeichneten Material wird als Matchmoving oder Kameratracking bezeichnet .

Der erste virtuelle Schauspieler, der mittels Motion-Capture animiert wurde, entstand 1993 durch Didier Pourcel und sein Team bei Gribouille. Dabei wurden Körper und Gesicht des französischen Komikers Richard Bohringer „geklont“ und anschließend mit den noch in den Kinderschuhen steckenden Motion-Capture-Verfahren animiert.

Motion-Capture bietet gegenüber der herkömmlichen Computeranimation eines 3D-Modells mehrere Vorteile:

• Geringe Latenz und nahezu Echtzeit-Ergebnisse lassen sich erzielen. In Unterhaltungsanwendungen können dadurch die Kosten für Keyframe-basierte Animationen gesenkt werden . ^{[ 10 ]} Die Hand-Over -Technik ist ein Beispiel dafür.
• Der Arbeitsaufwand variiert nicht im gleichen Maße mit der Komplexität oder Länge der Aufführung wie bei traditionellen Techniken. Dies ermöglicht zahlreiche Tests mit verschiedenen Stilen und Vortragsweisen, wodurch eine unverwechselbare Persönlichkeit entsteht, die nur durch das Talent des Schauspielers begrenzt wird.
• Komplexe Bewegungen und realistische physikalische Interaktionen wie Sekundärbewegungen , Gewicht und Kräfteaustausch lassen sich problemlos physikalisch korrekt nachbilden. ^{[ 11 ]}
• Die Menge an Animationsdaten, die innerhalb einer bestimmten Zeit erzeugt werden kann, ist im Vergleich zu traditionellen Animationstechniken extrem groß. Dies trägt sowohl zur Kosteneffizienz als auch zur Einhaltung von Produktionsfristen bei. ^{[ 12 ]}
• Potenzial für kostenlose Software und Drittanbieterlösungen zur Kostenreduzierung.

• Zur Erfassung und Verarbeitung der Daten werden spezielle Hardware und spezielle Softwareprogramme benötigt.
• Die Kosten für die benötigte Software, Ausrüstung und das Personal können für kleine Produktionen unerschwinglich sein.
• Das Aufnahmesystem kann je nach Sichtfeld der Kamera oder magnetischer Verzerrung spezifische Anforderungen an den Raum stellen, in dem es betrieben wird.
• Wenn Probleme auftreten, ist es einfacher, die Szene erneut zu drehen, als die Daten zu bearbeiten. Nur wenige Systeme ermöglichen die Echtzeit-Ansicht der Daten, um zu entscheiden, ob die Aufnahme wiederholt werden muss.
• Die ersten Ergebnisse sind auf das beschränkt, was innerhalb des Erfassungsbereichs ohne zusätzliche Datenbearbeitung möglich ist.
• Bewegungen, die nicht den Gesetzen der Physik folgen, können nicht erfasst werden.
• Traditionelle Animationstechniken, wie die zusätzliche Betonung von Vorwegnahme und Nachbearbeitung, sekundäre Bewegungen oder die Manipulation der Form der Figur, wie bei Squash- und Stretch -Animationstechniken, müssen später hinzugefügt werden.
• Wenn das Computermodell andere Proportionen als die reale Person aufweist, können Artefakte auftreten. Hat eine Zeichentrickfigur beispielsweise große, überdimensionale Hände, können diese mit dem Körper der Figur kollidieren, wenn der Darsteller seine Bewegungen nicht sorgfältig ausführt.

Motion-Capture-Technologie findet vielfältige Anwendung. Am häufigsten wird sie in Videospielen, Filmen und der Bewegungsanalyse eingesetzt, jedoch wird sie auch an der Purdue University im Bereich der Robotikforschung genutzt.

Videospiele nutzen häufig Motion Capture, um Athleten, Kampfsportler und andere Spielfiguren zu animieren. ^{[ 13 ] [ 14 ]} Bereits 1988 wurde eine frühe Form von Motion Capture verwendet, um die 2D- Spielfiguren in Martechs Videospiel Vixen (dargestellt vom Model Corinne Russell ) ^{[ 15 ]} und in Magical Companys 2D-Arcade- Kampfspiel Last Apostle Puppet Show (zur Animation digitalisierter Sprites ) zu animieren. ^{[ 16 ]} Später wurde Motion Capture insbesondere zur Animation der 3D- Charaktermodelle in den Sega-Model- Arcade-Spielen Virtua Fighter (1993) ^{[ 17 ] [ 18 ]} und Virtua Fighter 2 (1994) ^{[ 19 ]} eingesetzt . Mitte 1995 richtete der Entwickler und Publisher Acclaim Entertainment ein eigenes Motion-Capture-Studio in seinem Hauptsitz ein. ^{[ 14 ]} Namcos Arcade-Spiel Soul Edge aus dem Jahr 1995 nutzte passive optische Systemmarker für Motion-Capture. ^{[ 20 ]} Motion-Capture wird auch bei der Verwendung von Athleten in animierten Spielen eingesetzt, beispielsweise bei Crash Bandicoot von Naughty Dog , Spyro the Dragon von Insomniac Games und Dinosaur Planet von Rare .

Die Positionierung in Innenräumen ist ein weiteres Anwendungsgebiet für optische Bewegungserfassungssysteme. Robotikforscher nutzen diese Systeme häufig zur Entwicklung und Evaluierung von Steuerungs-, Schätz- und Wahrnehmungsalgorithmen sowie der dazugehörigen Hardware. Im Freien lässt sich mithilfe des Globalen Navigationssatellitensystems ( GNSS ) in Kombination mit Echtzeitkinematik ( RTK ) eine zentimetergenaue Positionierung erreichen. Diese Genauigkeit nimmt jedoch deutlich ab, wenn keine Sichtverbindung zu den Satelliten besteht – wie beispielsweise in Innenräumen. Die meisten Anbieter kommerzieller optischer Bewegungserfassungssysteme stellen frei zugängliche Open-Source-Treiber bereit, die sich in das weit verbreitete Robotic Operating System ( ROS ) integrieren lassen. Dadurch können Forscher und Entwickler ihre Roboter während der Entwicklungsphase effektiv testen.

Im Bereich der Forschung zur Flugrobotik werden Motion-Capture-Systeme auch zur Positionierung häufig eingesetzt. Vorschriften zur Luftraumnutzung schränken die Durchführbarkeit von Experimenten im Freien mit unbemannten Flugsystemen ( UAS ) ein. Tests in Innenräumen können diese Einschränkungen umgehen. Viele Labore und Institutionen weltweit haben zu diesem Zweck Indoor-Motion-Capture-Anlagen eingerichtet.

Die Purdue University beherbergt das weltweit größte Indoor-Bewegungserfassungssystem in der Purdue UAS Research and Test (PURT) Einrichtung. PURT widmet sich der UAS-Forschung und bietet ein Tracking-Volumen von 600.000 Kubikfuß mit 60 Bewegungserfassungskameras. ^{[ 21 ]} Das optische Bewegungserfassungssystem kann Ziele in diesem Volumen millimetergenau verfolgen und liefert so die tatsächliche Position der Ziele – die Referenzdaten („Ground Truth“) für Forschung und Entwicklung. Ergebnisse anderer Sensoren und Algorithmen können anschließend mit diesen Referenzdaten verglichen werden, um deren Leistungsfähigkeit zu bewerten.

In Filmen wird Motion-Capture für CGI-Effekte eingesetzt, in manchen Fällen anstelle traditioneller Zeichentrickanimationen, und auch für komplett computergenerierte Kreaturen wie Gollum , die Mumie , King Kong , Davy Jones aus „Fluch der Karibik“ , die Na'vi aus „Avatar“ und Clu aus „Tron: Legacy“ . Der Große Kobold, die drei Steintrolle , viele der Orks und Kobolde in „ Der Hobbit: Eine unerwartete Reise“ (2012) und Smaug wurden mithilfe von Motion-Capture erschaffen.

In dem Film Total Recall aus dem Jahr 1990 wurde die Sequenz, in der Arnold Schwarzenegger und andere Schauspieler durch ein Röntgengerät gehen, mithilfe von Motion-Capture gedreht. ^{[ 22 ]}

Der Film „Batman Forever “ (1995) nutzte Motion-Capture-Technologie für einige visuelle Effekte. Warner Bros. hatte diese Technologie vom Arcade-Videospielhersteller Acclaim Entertainment für die Filmproduktion erworben. ^{[ 23 ]} Auch Acclaims gleichnamiges Videospiel aus dem Jahr 1995 verwendete dieselbe Motion-Capture-Technologie, um die digitalisierten Sprite- Grafiken zu animieren. ^{[ 24 ]}

Der Film „Star Wars: Episode I – Die dunkle Bedrohung“ aus dem Jahr 1999 war der erste abendfüllende Film, dessen Hauptfigur ( Jar Jar Binks , gespielt von Ahmed Best ) mithilfe von Motion-Capture-Verfahren erstellt wurde. Der indisch - amerikanische Film „Sinbad – Jenseits des Nebels“ aus dem Jahr 2000 war der erste abendfüllende Film, der hauptsächlich mit Motion-Capture-Technologie produziert wurde, obwohl auch viele Charakteranimatoren an dem Film mitwirkten, der nur in wenigen Kinos lief. „ Final Fantasy: Die Mächte in dir“ aus dem Jahr 2001 war der erste Film mit breiter Veröffentlichung, der mithilfe dieser Technologie produziert wurde. Trotz des geringen Einspielergebnisses wurde die Motion-Capture-Technologie von Befürwortern der Technologie wahrgenommen.

Der Herr der Ringe: Die zwei Türme war der erste Spielfilm, der ein Echtzeit-Motion-Capture-System einsetzte. Bei diesem Verfahren wurden die Bewegungen des Schauspielers Andy Serkis während der Dreharbeiten auf die computergenerierte Haut von Gollum/Sméagol übertragen. ^{[ 25 ]}

Storymind Entertainment, ein unabhängiges ukrainisches Studio, entwickelte das Neo-Noir- Third-Person -Shooter-Videospiel „ My Eyes On You“ . Dabei wurde Motion-Capture eingesetzt, um die Hauptfigur Jordan Adalien sowie die nicht spielbaren Charaktere zu animieren. ^{[ 26 ]}

Von den drei für den Oscar 2006 in der Kategorie „Bester Animationsfilm“ nominierten Filmen nutzten zwei ( Monster House und der Gewinner Happy Feet ) Motion-Capture-Technik; nur Disneys und Pixars Cars wurde ohne diese animiert. Im Abspann von Pixars Film Ratatouille erscheint ein Stempel mit dem Hinweis „100 % Originalanimation – ohne Motion Capture!“ .

Seit 2001 wird Motion Capture intensiv genutzt, um das Aussehen von Live-Theateraufführungen zu simulieren oder anzunähern, wobei nahezu fotorealistische digitale Charaktermodelle entstehen. Im Film „Der Polarexpress“ wurde Motion Capture eingesetzt, um Tom Hanks die Darstellung mehrerer unterschiedlicher digitaler Charaktere zu ermöglichen (denen er auch seine Stimme lieh). Die 2007 erschienene Verfilmung der Beowulf- Saga animierte digitale Charaktere, deren Aussehen teilweise auf den Schauspielern basierte, die ihre Bewegungen und Stimmen beisteuerten. James Camerons äußerst erfolgreicher Film „Avatar“ nutzte diese Technik, um die Na'vi, die Bewohner von Pandora, zu erschaffen. ^{[ 27 ]} Die Walt Disney Company produzierte Robert Zemeckis ’ „ Eine Weihnachtsgeschichte“ mithilfe dieser Technik. 2007 erwarb Disney Zemeckis’ Produktionsfirma ImageMovers Digital (die Motion-Capture-Filme produzierte), schloss sie jedoch 2011 nach dem Misserfolg von „Mars Needs Moms“ an den Kinokassen .

Zu den Fernsehserien, die vollständig mit Motion-Capture-Animation produziert wurden, gehören Laflaque in Kanada, Sprookjesboom und Cafe de Wereld in den Niederlanden sowie Headcases in Großbritannien.

Anbieter von Virtual Reality (VR) und Augmented Reality (AR) wie uSens und Gestigon ermöglichen es Nutzern, durch die Erfassung von Handbewegungen in Echtzeit mit digitalen Inhalten zu interagieren. Dies ist nützlich für Trainingssimulationen, Tests zur visuellen Wahrnehmung oder virtuelle Rundgänge in 3D-Umgebungen. Motion-Capture-Technologie wird häufig in digitalen Puppenspielsystemen eingesetzt , um computergenerierte Charaktere in Echtzeit zu steuern.

Die Ganganalyse ist eine Anwendung der Bewegungserfassung in der klinischen Medizin . Die Techniken ermöglichen es Klinikern, die menschliche Bewegung unter Berücksichtigung verschiedener biomechanischer Faktoren zu beurteilen, oft während diese Informationen live in eine Analysesoftware übertragen werden.

Eine innovative Anwendung ist die Haltungserkennung, die Patienten während der postoperativen Genesung oder Rehabilitation nach Verletzungen unterstützen kann. Dieser Ansatz ermöglicht kontinuierliches Monitoring, Echtzeit-Anleitung und individuell zugeschnittene Programme zur Verbesserung der Patientenergebnisse. ^{[ 28 ]}

Einige Physiotherapiepraxen nutzen Bewegungsanalyse als objektive Methode, um den Therapiefortschritt der Patienten zu quantifizieren. ^{[ 29 ]}

Während der Dreharbeiten zu James Camerons Avatar wurden alle Motion-Capture-Szenen in Echtzeit mit der Autodesk MotionBuilder- Software gedreht. Die Software rendert ein Bildschirmbild, sodass Regisseur und Schauspieler sehen konnten, wie sie im Film aussehen würden. Dies erleichterte die Regiearbeit, da der Film so vom Zuschauer wahrgenommen werden würde. Diese Methode ermöglichte Ansichten und Perspektiven, die mit einer vorgerenderten Animation nicht realisierbar gewesen wären. Cameron war so stolz auf das Ergebnis, dass er Steven Spielberg und George Lucas ans Set einlud, um ihnen das System in Aktion zu zeigen.

In Marvels The Avengers nutzte Mark Ruffalo Motion-Capture, um seine Figur Hulk spielen zu können , anstatt ihn wie in früheren Filmen nur computergeneriert darzustellen. Damit war Ruffalo der erste Schauspieler, der sowohl die menschliche als auch die Hulk-Version von Bruce Banner verkörperte.

Die FaceRig- Software nutzt die Gesichtserkennungstechnologie von ULSee.Inc, um die Gesichtsausdrücke eines Spielers zu erfassen, und die Körperverfolgungstechnologie von Perception Neuron, um die Körperbewegungen auf die Bewegungen einer 2D- oder 3D-Figur auf dem Bildschirm abzubilden. ^{[ 30 ] [ 31 ]}

Auf der Game Developers Conference 2016 in San Francisco demonstrierte Epic Games Live-Motion-Capture für den ganzen Körper in der Unreal Engine. Die gesamte Szene aus dem kommenden Spiel Hellblade über die Kriegerin Senua wurde in Echtzeit gerendert. Die Keynote ^{[ 32 ]} war eine Kooperation von Unreal Engine , Ninja Theory , 3Lateral , Cubic Motion , IKinema und Xsens .

Der zweifache Olympiasieger im Eiskunstlauf, Yuzuru Hanyu, schloss 2020 sein Studium an der Waseda-Universität ab . In seiner Abschlussarbeit analysierte er mithilfe von Daten, die von 31 an seinem Körper angebrachten Sensoren erfasst wurden, seine Sprünge. Er untersuchte den Einsatz von Technologie sowohl zur Verbesserung des Punktesystems als auch zur Unterstützung der Sprungtechnik von Eiskunstläufern. ^{[ 33 ] [ 34 ]} Im März 2021 wurde eine Zusammenfassung der Arbeit in einer Fachzeitschrift veröffentlicht. ^{[ 35 ]}

Bewegungserfassung oder Motion-Tracking begann in den 1970er und 1980er Jahren als photogrammetrisches Analyseverfahren in der biomechanischen Forschung und fand mit zunehmender technologischer Reife Anwendung in Bildung, Training, Sport und in jüngster Zeit auch in Computeranimationen für Fernsehen , Kino und Videospiele . Seit dem 20. Jahrhundert trägt der/die Ausführende Marker in der Nähe jedes Gelenks, um die Bewegung anhand der Positionen oder Winkel zwischen den Markern zu erfassen. Akustische, inertiale, LED- , magnetische oder reflektierende Marker oder Kombinationen davon werden erfasst, idealerweise mit mindestens der doppelten Frequenz der gewünschten Bewegung. Die Auflösung des Systems ist sowohl räumlich als auch zeitlich wichtig, da Bewegungsunschärfe ähnliche Probleme wie eine niedrige Auflösung verursacht. Seit Beginn des 21. Jahrhunderts wurden aufgrund des rasanten technologischen Fortschritts neue Methoden entwickelt. Die meisten modernen Systeme können die Silhouette des/der Ausführenden vom Hintergrund extrahieren. Anschließend werden alle Gelenkwinkel berechnet, indem ein mathematisches Modell in die Silhouette eingepasst wird. Bei Bewegungen, bei denen keine Veränderung der Silhouette erkennbar ist, gibt es Hybridsysteme, die beides können (Markierung und Silhouette), jedoch mit weniger Markern. In der Robotik basieren einige Motion-Capture-Systeme auf simultaner Lokalisierung und Kartierung . ^{[ 36 ]}

Optische Systeme nutzen Daten von Bildsensoren, um die 3D-Position einer Person zwischen zwei oder mehr Kameras zu triangulieren , deren Projektionen sich überlappen. Die Datenerfassung erfolgt traditionell mithilfe spezieller Marker an der Person. Neuere Systeme generieren jedoch präzise Daten durch die dynamische Verfolgung von Oberflächenmerkmalen, die für jede Person individuell identifiziert werden. Die Verfolgung einer großen Anzahl von Personen oder die Erweiterung des Erfassungsbereichs wird durch den Einsatz weiterer Kameras ermöglicht. Diese Systeme liefern Daten mit drei Freiheitsgraden pro Marker. Rotationsinformationen müssen aus der relativen Ausrichtung von drei oder mehr Markern abgeleitet werden; beispielsweise liefern Schulter-, Ellbogen- und Handgelenksmarker den Ellbogenwinkel. Neuere Hybridsysteme kombinieren Inertialsensoren mit optischen Sensoren, um Verdeckungen zu reduzieren, die Anzahl der Nutzer zu erhöhen und die Tracking-Fähigkeit zu verbessern, ohne dass eine manuelle Datenbereinigung erforderlich ist. ^{[ 37 ]}

Passive optische Systeme nutzen mit einem retroreflektierenden Material beschichtete Marker, die das in der Nähe des Kameraobjektivs erzeugte Licht reflektieren. Der Schwellenwert der Kamera lässt sich so einstellen, dass nur die hellen, reflektierenden Marker erfasst werden, Haut und Stoff hingegen nicht.

Der Schwerpunkt der Markierung wird als Position innerhalb des aufgenommenen zweidimensionalen Bildes geschätzt. Der Graustufenwert jedes Pixels kann verwendet werden, um durch die Bestimmung des Schwerpunkts der Gaußverteilung eine Genauigkeit im Subpixelbereich zu erzielen .

Ein Objekt mit an bekannten Positionen angebrachten Markierungen dient zur Kalibrierung der Kameras und zur Positionsbestimmung. Zusätzlich wird die Linsenverzerrung jeder Kamera gemessen. Erfassen zwei kalibrierte Kameras eine Markierung, lässt sich deren dreidimensionale Position bestimmen. Typischerweise besteht ein System aus 2 bis 48 Kameras. Um den Markierungswechsel zu minimieren, existieren auch Systeme mit über 300 Kameras. Für eine vollständige Abdeckung des Erfassungsbereichs und für die Aufnahme mehrerer Objekte sind zusätzliche Kameras erforderlich.

Um das Problem des Marker-Austauschs zu minimieren, da alle passiven Marker identisch aussehen, verwenden Hersteller Software zur Begrenzung der Markeranzahl. Im Gegensatz zu aktiven und magnetischen Markersystemen benötigen passive Systeme keine Kabel oder elektronische Geräte am Körper. ^{[ 38 ]} Stattdessen werden Hunderte von Gummikugeln mit reflektierendem Klebeband befestigt, das regelmäßig ausgetauscht werden muss. Die Marker werden üblicherweise direkt auf der Haut angebracht (wie in der Biomechanik) oder mit Klettverschluss an einem speziell für Motion-Capture entwickelten Ganzkörperanzug aus Spandex/Lycra befestigt . Dieses System kann eine große Anzahl von Markern mit Bildraten von üblicherweise 120 bis 160 fps erfassen. Durch Reduzierung der Auflösung und Verfolgung eines kleineren Bereichs von Interesse sind jedoch sogar bis zu 10.000 fps möglich.

Aktive optische Systeme triangulieren Positionen, indem sie entweder eine LED nach der anderen sehr schnell beleuchten oder mehrere LEDs mithilfe einer Software anhand ihrer relativen Positionen identifizieren – ähnlich der astronomischen Navigation. Anstatt extern erzeugtes Licht zu reflektieren, emittieren die Marker selbst Licht. Da die Leistung gemäß dem Abstandsgesetz bei doppelter Entfernung nur ein Viertel der ursprünglichen Leistung beträgt, lassen sich so größere Entfernungen und ein größeres Erfassungsvolumen erzielen. Dies ermöglicht zudem ein hohes Signal-Rausch-Verhältnis, was zu sehr geringem Markerjitter und einer hohen Messauflösung führt (oft bis zu 0,1 mm innerhalb des kalibrierten Volumens).

Für die Fernsehserie Stargate SG1 wurden Episoden produziert, in denen ein aktives optisches System für die visuellen Effekte zum Einsatz kam, das es dem Schauspieler ermöglichte, sich um Requisiten herum zu bewegen, was die Bewegungserfassung mit anderen, nicht aktiven optischen Systemen erschwert hätte.

ILM nutzte in „Van Helsing“ aktive Marker , um die fliegenden Bräute Draculas auf sehr großen Kulissen einzufangen – ähnlich wie Weta in „ Planet der Affen: Prevolution“ aktive Marker einsetzte . Die Stromversorgung der einzelnen Marker erfolgte sequenziell und phasengleich mit dem Aufnahmesystem, wodurch jeder Marker in einem einzelnen Aufnahmebild eindeutig identifiziert werden konnte. Dies ging jedoch auf Kosten der resultierenden Bildrate. Die Möglichkeit, jeden Marker auf diese Weise zu identifizieren, ist in Echtzeitanwendungen von Vorteil. Alternativ kann die Markeridentifizierung algorithmisch erfolgen, was eine zusätzliche Datenverarbeitung erfordert.

Es besteht auch die Möglichkeit, die Position mithilfe farbiger LED-Markierungen zu bestimmen. Bei diesen Systemen ist jeder Farbe ein bestimmter Punkt am Körper zugeordnet.

Eines der ersten aktiven Markersysteme in den 1980er Jahren war ein hybrides passiv-aktives Motion-Capture-System mit rotierenden Spiegeln und farbigen Glasreflexionsmarkern, das maskierte lineare Array-Detektoren verwendete.

Aktive Markersysteme lassen sich weiter verfeinern, indem jeweils ein Marker einzeln angesteuert oder mehrere Marker über einen längeren Zeitraum verfolgt und Amplitude bzw. Impulsbreite zur Marker-ID moduliert werden. Modulierte Systeme mit 12 Megapixeln räumlicher Auflösung zeigen subtilere Bewegungen als optische Systeme mit 4 Megapixeln, da sie sowohl eine höhere räumliche als auch zeitliche Auflösung bieten. Regisseure können die Performance des Schauspielers in Echtzeit beobachten und die Ergebnisse auf der per Motion-Capture erstellten CG-Figur visualisieren. Die eindeutigen Marker-IDs reduzieren die Bearbeitungszeiten, da das Austauschen von Markern entfällt und deutlich sauberere Daten als bei anderen Technologien gewonnen werden. LEDs mit integrierter Signalverarbeitung und Funksynchronisation ermöglichen Motion-Capture im Freien bei direkter Sonneneinstrahlung und Bildraten von 120 bis 960 Bildern pro Sekunde dank eines Hochgeschwindigkeitsverschlusses. Die computergestützte Verarbeitung der modulierten IDs reduziert den manuellen Nachbearbeitungsaufwand und senkt somit die Betriebskosten. Diese höhere Genauigkeit und Auflösung erfordert zwar mehr Rechenleistung als passive Technologien, die zusätzliche Verarbeitung erfolgt jedoch direkt in der Kamera, um die Auflösung durch Subpixel- oder Schwerpunktverarbeitung zu verbessern und so sowohl hohe Auflösung als auch hohe Geschwindigkeit zu gewährleisten. Diese Motion-Capture-Systeme kosten typischerweise 20.000 US-Dollar für ein System mit acht Kameras, einer räumlichen Auflösung von 12 Megapixeln und einer Bildwiederholfrequenz von 120 Hertz mit einem Schauspieler.

Man kann den traditionellen Ansatz mit Hochgeschwindigkeitskameras umkehren. Systeme wie Prakash nutzen kostengünstige Multi-LED-Hochgeschwindigkeitsprojektoren. Die speziell entwickelten Multi-LED-IR-Projektoren kodieren den Raum optisch. Anstelle von retroreflektierenden oder aktiven Leuchtdioden (LEDs) verwendet das System lichtempfindliche Markierungsetiketten zur Dekodierung der optischen Signale. Durch Anbringen von Etiketten mit Fotosensoren an den Szenenpunkten können die Etiketten nicht nur ihre jeweilige Position, sondern auch ihre Ausrichtung, die einfallende Beleuchtung und das Reflexionsvermögen berechnen.

Diese Tracking-Tags funktionieren bei natürlichem Licht und lassen sich unauffällig in Kleidung oder andere Objekte integrieren. Das System unterstützt eine unbegrenzte Anzahl von Tags pro Szene, wobei jeder Tag eindeutig identifiziert wird, um Probleme bei der erneuten Markierungserfassung zu vermeiden. Da das System auf eine Hochgeschwindigkeitskamera und den entsprechenden Hochgeschwindigkeits-Bildstrom verzichtet, benötigt es deutlich weniger Datenbandbreite. Die Tags liefern zudem Daten zur einfallenden Beleuchtung, die zur Anpassung der Szenenbeleuchtung beim Einfügen synthetischer Elemente verwendet werden können. Die Technik erscheint ideal für Motion-Capture am Set oder die Echtzeitübertragung virtueller Sets, muss sich aber noch in der Praxis bewähren.

Die Motion-Capture-Technologie steht Forschern und Wissenschaftlern seit einigen Jahrzehnten zur Verfügung und hat in vielen Bereichen neue Erkenntnisse ermöglicht.

Das Herzstück des Systems, die Unterwasserkamera, verfügt über ein wasserdichtes Gehäuse. Dessen Oberfläche ist korrosions- und chlorbeständig und eignet sich daher ideal für den Einsatz in Becken und Schwimmbädern. Es gibt zwei Kameratypen: Industrielle Hochgeschwindigkeitskameras, die auch als Infrarotkameras verwendet werden können, und Infrarot-Unterwasserkameras. Letztere sind mit einem cyanfarbenen Blitzlicht anstelle des üblichen Infrarotlichts ausgestattet, um den Lichtabfall unter Wasser zu minimieren. Alternativ gibt es Hochgeschwindigkeitskameras mit LED-Beleuchtung oder optionaler Bildverarbeitung.

Eine Unterwasserkamera kann je nach Wasserqualität, Kameramodell und verwendetem Marker typischerweise 15–20 Meter weit messen. Die größte Reichweite wird erwartungsgemäß in klarem Wasser erzielt, und wie immer hängt das Messvolumen auch von der Anzahl der Kameras ab. Für verschiedene Einsatzbedingungen stehen unterschiedliche Unterwassermarker zur Verfügung.

Unterschiedliche Pools erfordern unterschiedliche Halterungen und Befestigungen. Daher werden alle Unterwasser-Bewegungserfassungssysteme individuell an die jeweilige Poolinstallation angepasst. Für Kameras, die in der Mitte des Pools platziert werden, werden speziell entwickelte Stative mit Saugnäpfen verwendet.

Neue Techniken und Forschungsergebnisse im Bereich Computer Vision führen zu einer rasanten Entwicklung markerloser Motion-Capture-Verfahren. Markerlose Systeme, wie sie beispielsweise an der Stanford University , der University of Maryland , dem MIT und dem Max-Planck-Institut entwickelt wurden , benötigen keine spezielle Ausrüstung für die Bewegungserfassung. Spezielle Computer-Algorithmen ermöglichen es dem System, mehrere optische Eingangssignale zu analysieren, menschliche Formen zu identifizieren und diese in ihre Bestandteile zu zerlegen, um sie zu verfolgen. ESC Entertainment , eine Tochtergesellschaft von Warner Brothers Pictures, die speziell für virtuelle Kinematografie gegründet wurde , nutzte die Technik „Universal Capture“. Diese verwendet ein 7-Kamera-Setup und verfolgt den optischen Fluss aller Pixel über alle 2D-Ebenen der Kameras, um Bewegungen, Gesten und Gesichtsausdrücke zu erfassen und so fotorealistische Ergebnisse zu erzielen.

Traditionell wird markerlose optische Bewegungsverfolgung zur Überwachung verschiedener Objekte eingesetzt, darunter Flugzeuge, Trägerraketen, Raketen und Satelliten. Viele dieser Anwendungen finden im Freien statt und erfordern unterschiedliche Objektiv- und Kamerakonfigurationen. Hochauflösende Bilder des verfolgten Ziels liefern dabei mehr Informationen als reine Bewegungsdaten. Das Bild, das vom Langstrecken-Ortungssystem der NASA beim verhängnisvollen Start der Raumfähre Challenger aufgenommen wurde, lieferte entscheidende Hinweise zur Unfallursache. Optische Ortungssysteme werden trotz ihres Nachteils gegenüber Radar, dass die Objekte ausreichend Licht reflektieren oder emittieren müssen, auch zur Identifizierung bekannter Raumfahrzeuge und Weltraumschrott eingesetzt. ^{[ 39 ]}

Ein optisches Trackingsystem besteht typischerweise aus drei Teilsystemen: dem optischen Bildgebungssystem, der mechanischen Trackingplattform und dem Trackingcomputer.

Das optische Bildgebungssystem wandelt das Licht des Zielbereichs in ein digitales Bild um, das vom Tracking-Computer verarbeitet werden kann. Je nach Ausführung des optischen Tracking-Systems kann das optische Bildgebungssystem von einer einfachen Standard-Digitalkamera bis hin zu einem hochentwickelten astronomischen Teleskop auf einem Berggipfel reichen. Die Spezifikationen des optischen Bildgebungssystems bestimmen die maximale Reichweite des Tracking-Systems.

Die mechanische Nachführplattform trägt das optische Bildgebungssystem und ist dafür verantwortlich, dieses so auszurichten, dass es stets auf das verfolgte Ziel gerichtet ist. Die Dynamik der mechanischen Nachführplattform in Kombination mit dem optischen Bildgebungssystem bestimmt die Fähigkeit des Nachführsystems, ein Ziel, dessen Geschwindigkeit sich schnell ändert, im Visier zu halten.

Der Tracking-Computer ist für die Bildaufnahme des optischen Bildgebungssystems, die Bildanalyse zur Bestimmung der Zielposition und die Steuerung der mechanischen Tracking-Plattform zur Zielverfolgung zuständig. Dabei ergeben sich mehrere Herausforderungen. Erstens muss der Tracking-Computer die Bilder mit einer relativ hohen Bildrate aufnehmen können. Dies stellt Anforderungen an die Bandbreite der Bildaufnahmehardware. Zweitens muss die Bildverarbeitungssoftware das Zielbild vom Hintergrund trennen und seine Position berechnen können. Für diese Aufgabe sind verschiedene Standardalgorithmen der Bildverarbeitung vorgesehen. Dieses Problem lässt sich vereinfachen, wenn das Tracking-System bestimmte, allen zu verfolgenden Zielen gemeinsame Merkmale kennt. Die nächste Herausforderung besteht in der Steuerung der Tracking-Plattform zur Zielverfolgung. Dies ist eher ein typisches Problem der Regelungstechnik als eine besondere Herausforderung, da es die Modellierung der Systemdynamik und die Entwicklung von Reglern umfasst . Es wird jedoch zu einer Herausforderung, wenn die Tracking-Plattform nicht für Echtzeitbetrieb ausgelegt ist.

Die Software, die solche Systeme steuert, ist ebenfalls auf die entsprechenden Hardwarekomponenten zugeschnitten. Ein Beispiel hierfür ist OpticTracker, das computergesteuerte Teleskope zur Verfolgung von sich bewegenden Objekten in großer Entfernung, wie Flugzeugen und Satelliten, steuert. Eine weitere Option ist die Software SimiShape, die auch hybrid in Kombination mit Markern eingesetzt werden kann.

RGB-D-Kameras wie Kinect erfassen sowohl Farb- als auch Tiefenbilder. Durch die Fusion dieser beiden Bilder lassen sich dreidimensionale Farbvoxel erfassen, wodurch die Bewegungserfassung von menschlichen Bewegungen und Oberflächen in Echtzeit ermöglicht wird.

Da nur eine Kamera mit einem einzigen Blickwinkel verwendet wird, sind die aufgezeichneten Bewegungen in der Regel verrauscht. Es wurden maschinelle Lernverfahren vorgeschlagen, um solche verrauschten Bewegungen mithilfe von Methoden wie Lazy Learning ^{[ 40 ]} und Gaußschen Modellen ^{[ 41 ]} automatisch in qualitativ hochwertigere Bewegungen umzuwandeln. Mit dieser Methode lassen sich ausreichend genaue Bewegungen für anspruchsvolle Anwendungen wie ergonomische Bewertungen erzeugen ^{[ 42 ] .}

Die Technologie zur inertialen Bewegungserfassung ^{[ 43 ]} basiert auf miniaturisierten Inertialsensoren, biomechanischen Modellen und Sensorfusionsalgorithmen . ^{[ 44 ]} Die Bewegungsdaten der Inertialsensoren ( inertiales Führungssystem ) werden häufig drahtlos an einen Computer übertragen, wo die Bewegung aufgezeichnet oder visualisiert wird. Die meisten Inertialsysteme verwenden Inertialmesseinheiten (IMUs) mit einer Kombination aus Gyroskop, Magnetometer und Beschleunigungsmesser zur Messung von Rotationsgeschwindigkeiten. Diese Rotationen werden in der Software in ein Skelettmodell umgerechnet. Ähnlich wie bei optischen Markern gilt: Je mehr IMU-Sensoren, desto natürlicher die Daten. Für relative Bewegungen sind keine externen Kameras, Sender oder Marker erforderlich, obwohl diese zur Bestimmung der absoluten Position des Benutzers benötigt werden. Inertiale Bewegungserfassungssysteme erfassen die Bewegung des menschlichen Körpers in Echtzeit und können, falls ein magnetischer Peilsensor integriert ist, eingeschränkte Richtungsinformationen liefern. Diese Sensoren weisen jedoch eine deutlich geringere Auflösung auf und sind anfällig für elektromagnetische Störungen. Zu den Vorteilen von Inertialsystemen zählen die Erfassung in verschiedenen Umgebungen, auch in beengten Räumen, der Verzicht auf Berechnungen, die Portabilität und die Möglichkeit, große Bereiche zu erfassen. Nachteile sind die geringere Positionsgenauigkeit und die Positionsdrift, die sich mit der Zeit verstärken kann. Diese Systeme ähneln den Wii-Controllern , sind jedoch empfindlicher und bieten eine höhere Auflösung und Aktualisierungsrate. Sie können die Richtung zum Boden gradgenau messen. Die Beliebtheit von Inertialsystemen steigt bei Spieleentwicklern ^{[ 10 ]} , vor allem aufgrund der schnellen und einfachen Einrichtung, die einen effizienten Entwicklungsprozess ermöglicht. Verschiedene Hersteller bieten mittlerweile eine breite Palette an Systemen an, deren Preise zwischen 1.000 und 80.000 US-Dollar liegen.

Mechanische Bewegungserfassungssysteme erfassen direkt die Gelenkwinkel des Körpers und werden aufgrund der Art der Sensorbefestigung oft als Exoskelett-Bewegungserfassungssysteme bezeichnet. Ein Performer legt die skelettartige Struktur an seinem Körper an, und mit seinen Bewegungen bewegen sich auch die beweglichen mechanischen Teile, wodurch die relative Bewegung des Performers gemessen wird. Mechanische Bewegungserfassungssysteme sind Echtzeit-Systeme, relativ kostengünstig, verdeckungsfrei und kabellos (kabellos) und verfügen über ein unbegrenztes Erfassungsvolumen. Typischerweise handelt es sich um starre Strukturen aus gelenkigen, geraden Metall- oder Kunststoffstäben, die über Potentiometer an den Körpergelenken verbunden sind. Diese Anzüge kosten in der Regel zwischen 25.000 und 75.000 US-Dollar zuzüglich eines externen Systems zur absoluten Positionierung. Einige Anzüge bieten eingeschränktes Kraftfeedback oder haptisches Feedback.

Magnetische Systeme berechnen Position und Orientierung anhand des relativen magnetischen Flusses dreier orthogonaler Spulen am Sender und an jedem Empfänger. ^{[ 45 ]} Die relative Spannungs- oder Stromstärke der drei Spulen ermöglicht es diesen Systemen, Entfernung und Orientierung durch präzise Kartierung des Erfassungsbereichs zu bestimmen. Der Sensor liefert sechs Freiheitsgrade (6DOF) und ermöglicht so brauchbare Ergebnisse mit nur zwei Dritteln der in optischen Systemen benötigten Marker: je einer am Ober- und Unterarm zur Bestimmung von Ellbogenposition und -winkel. Die Marker sind anfällig für magnetische und elektrische Störungen durch metallische Objekte in der Umgebung, wie z. B. Bewehrungsstahl (Stahlbewehrung in Beton) oder Leitungen, die das Magnetfeld beeinflussen, sowie durch elektrische Quellen wie Monitore, Lampen, Kabel und Computer.

Das Ansprechverhalten der Sensoren ist nichtlinear, insbesondere an den Rändern des Erfassungsbereichs. Die Verkabelung der Sensoren schränkt extreme Bewegungsabläufe ein. ^{[ 45 ]} Mit magnetischen Systemen lassen sich die Ergebnisse einer Bewegungserfassung in Echtzeit überwachen. ^{[ 45 ]} Die Erfassungsvolumina magnetischer Systeme sind deutlich kleiner als die optischer Systeme. Bei magnetischen Systemen wird zwischen Wechselstrom- (AC) und Gleichstromsystemen (DC) unterschieden : DC-Systeme verwenden Rechteckimpulse, AC-Systeme Sinuswellen.

Dehnungssensoren sind flexible Plattenkondensatoren, die Dehnung, Biegung, Scherung oder Druck messen und typischerweise aus Silikon gefertigt sind. Beim Dehnen oder Zusammendrücken des Sensors ändert sich sein Kapazitätswert. Diese Daten können per Bluetooth oder direkter Eingabe übertragen und zur Erfassung kleinster Veränderungen von Körperbewegungen genutzt werden. Dehnungssensoren sind unempfindlich gegenüber magnetischen Störungen und werden nicht verdeckt. Dank ihrer Dehnbarkeit weisen sie keine Positionsdrift auf, die bei Inertialsystemen häufig vorkommt. Allerdings haben dehnbare Sensoren aufgrund der Materialeigenschaften ihrer Substrate und leitfähigen Materialien ein relativ niedriges Signal-Rausch-Verhältnis . Daher sind Filterung oder maschinelles Lernen erforderlich , um sie für die Bewegungserfassung nutzbar zu machen. Diese Lösungen führen im Vergleich zu alternativen Sensoren zu einer höheren Latenz .

Die meisten Anbieter herkömmlicher Motion-Capture-Hardware bieten eine Art niedrigauflösende Gesichtserfassung mit 32 bis 300 Markern, entweder aktiv oder passiv. Alle diese Lösungen sind durch den Zeitaufwand für das Anbringen der Marker, die Kalibrierung der Positionen und die Datenverarbeitung begrenzt. Letztendlich schränkt die Technologie auch die Auflösung und die Qualität der Rohdaten ein.

Hochpräzise Gesichtsbewegungserfassung, auch Performance Capture genannt , stellt die nächste Generation der Bildqualität dar und dient der Aufzeichnung komplexerer Gesichtsbewegungen, um Emotionen in ihrer ganzen Bandbreite zu erfassen. Die Gesichtserfassung lässt sich derzeit in verschiedene Kategorien einteilen: traditionelle Motion-Capture-Daten, Lösungen auf Basis von Blend-Shapes, die Erfassung der tatsächlichen Gesichtstopologie eines Schauspielers sowie proprietäre Systeme.

Die beiden Haupttechniken sind stationäre Systeme mit mehreren Kameras, die Gesichtsausdrücke aus verschiedenen Winkeln erfassen und mithilfe von Software wie dem Stereo-Mesh-Solver von OpenCV ein 3D-Oberflächennetz erstellen, oder die Verwendung von Lichtarrays, um die Oberflächennormalen aus der Helligkeitsänderung bei Veränderung der Lichtquelle, der Kameraposition oder beider zu berechnen. Die Detailgenauigkeit dieser Techniken ist in der Regel nur durch die Kameraauflösung, die scheinbare Objektgröße und die Anzahl der Kameras begrenzt. Wenn das Gesicht des Nutzers 50 Prozent des Arbeitsbereichs der Kamera einnimmt und die Kamera eine Megapixel-Auflösung hat, lassen sich Gesichtsbewegungen im Submillimeterbereich durch den Vergleich von Einzelbildern erkennen. Aktuelle Forschung konzentriert sich auf die Erhöhung der Bildrate und die Anwendung von optischem Fluss, um die Bewegungen auf andere computergenerierte Gesichter zu übertragen, anstatt lediglich ein 3D-Netz des Schauspielers und seiner Gesichtsausdrücke zu erstellen.

Funkpositionierungssysteme gewinnen zunehmend an Bedeutung, da Hochfrequenzgeräte eine höhere Präzision als ältere Technologien wie Radar ermöglichen . Die Lichtgeschwindigkeit beträgt 30 Zentimeter pro Nanosekunde (Milliardstel Sekunde), daher ermöglicht ein 10-Gigahertz-Funksignal (Milliarden Schwingungen pro Sekunde) eine Genauigkeit von etwa 3 Zentimetern. Durch Amplitudenmessung bis zu einer Viertelwellenlänge lässt sich die Auflösung auf etwa 8 mm verbessern. Um die Auflösung optischer Systeme zu erreichen, sind Frequenzen von 50 Gigahertz oder höher erforderlich. Diese sind jedoch fast genauso stark von der Sichtlinie abhängig und ebenso anfällig für Störungen wie optische Systeme. Mehrwegeausbreitung und Rückstrahlung des Signals können zusätzliche Probleme verursachen. Dennoch eignen sich diese Technologien ideal für die Verfolgung größerer Volumina mit angemessener Genauigkeit, da die erforderliche Auflösung auf 100 Meter Entfernung wahrscheinlich nicht so hoch ist. Viele Wissenschaftler sind der Ansicht, dass Funkfrequenzen niemals die für die Bewegungserfassung erforderliche Genauigkeit erreichen werden.

Forscher des Massachusetts Institute of Technology gaben 2015 bekannt, ein System entwickelt zu haben, das Bewegungen mittels Funkfrequenzsignalen erfasst. ^{[ 46 ] [ 47 ]}

Ein alternativer Ansatz wurde entwickelt, bei dem dem Schauspieler durch eine rotierende Kugel, ähnlich einer Hamsterkugel , ein unbegrenzter Bewegungsspielraum zur Verfügung steht. Die Kugel enthält interne Sensoren, die die Winkelbewegungen aufzeichnen, wodurch externe Kameras und andere Geräte überflüssig werden. Obwohl diese Technologie potenziell zu deutlich geringeren Kosten für Motion-Capture führen könnte, kann die Basiskugel nur eine einzige kontinuierliche Richtung aufzeichnen. Für die Aufzeichnung weiterer Bewegungen wären zusätzliche, am Körper getragene Sensoren erforderlich.

Eine weitere Alternative ist der Einsatz einer 6-DOF-Bewegungsplattform (mit sechs Freiheitsgraden) und einem integrierten omnidirektionalen Laufband mit hochauflösender optischer Bewegungserfassung, um denselben Effekt zu erzielen. Die erfasste Person kann sich in einem unbegrenzten Bereich bewegen und dabei unebenes Gelände bewältigen. Anwendungsgebiete sind unter anderem die medizinische Rehabilitation für Gleichgewichtstraining, die biomechanische Forschung und die virtuelle Realität.

Bei der 3D-Pose-Schätzung kann die Pose eines Akteurs aus einem Bild oder einer Tiefenkarte rekonstruiert werden . ^{[ 48 ]}

• Animationsdatenbank
• Fingerverfolgung
• Gestenerkennung
• Inverse Kinematik (eine andere Methode, um CGI-Effekte realistisch zu gestalten)
• Kinect (entwickelt von der Microsoft Corporation)
• Liste der Bewegungs- und Gestendateiformate
• Motiongram
• Motion-Capture-Schauspiel
• Bewegtbildgeschichte
• Videoverfolgung
• VR-Positionsverfolgung

• Die Faszination für Motion Capture (Archiviert am 04.03.2016 in der Wayback Machine) , eine Einführung in die Geschichte der Motion-Capture-Technologie