Optische Systeme verwenden Daten, die von Bildsensoren erfasst werden, um die 3D-Position eines Motivs zwischen zwei oder mehr Kameras zu triangulieren, die für überlappende Projektionen kalibriert sind. Die Datenerfassung wird traditionell mit speziellen Markern implementiert, die an einen Akteur angehängt sind; Neuere Systeme sind jedoch in der Lage, genaue Daten zu generieren, indem Oberflächenmerkmale verfolgt werden, die für jedes einzelne Subjekt dynamisch identifiziert wurden. Das Verfolgen einer großen Anzahl von Darstellern oder das Erweitern des Erfassungsbereichs wird durch Hinzufügen weiterer Kameras erreicht. Diese Systeme erzeugen Daten mit drei Freiheitsgraden für jeden Marker, und Rotationsinformationen müssen aus der relativen Ausrichtung von drei oder mehr Markern abgeleitet werden; zum Beispiel Schulter-, Ellbogen- und Handgelenksmarkierungen, die den Winkel des Ellenbogens angeben. Neuere Hybridsysteme kombinieren Trägheitssensoren mit optischen Sensoren, um die Okklusion zu reduzieren, die Anzahl der Benutzer zu erhöhen und die Verfolgungsfähigkeit zu verbessern, ohne Daten manuell bereinigen zu müssen.
Passive Markerbearbeiten
Passive optische Systeme verwenden Marker, die mit einem retroreflektierenden Material beschichtet sind, um Licht zu reflektieren, das in der Nähe der Kameralinse erzeugt wird. Der Schwellenwert der Kamera kann so eingestellt werden, dass nur die hellen reflektierenden Markierungen abgetastet werden, wobei Haut und Stoff ignoriert werden.
Der Schwerpunkt des Markers wird als Position innerhalb des aufgenommenen zweidimensionalen Bildes geschätzt. Der Graustufenwert jedes Pixels kann verwendet werden, um eine Subpixelgenauigkeit bereitzustellen, indem der Schwerpunkt des Gaußschen Pixels ermittelt wird.
Ein Objekt mit Markern, die an bekannten Positionen angebracht sind, wird verwendet, um die Kameras zu kalibrieren und ihre Positionen zu erhalten, und die Objektivverzerrung jeder Kamera wird gemessen. Wenn zwei kalibrierte Kameras einen Marker sehen, kann eine dreidimensionale Korrektur erzielt werden. In der Regel besteht ein System aus 2 bis 48 Kameras. Es gibt Systeme mit über dreihundert Kameras, um den Markerwechsel zu reduzieren. Zusätzliche kameras sind erforderlich für volle abdeckung um die erfassen thema und mehrere themen.
Die Hersteller verfügen über eine Beschränkungssoftware, um das Problem des Markerwechsels zu reduzieren, da alle passiven Marker identisch erscheinen. Im Gegensatz zu aktiven Markersystemen und Magnetsystemen müssen passive Systeme keine Drähte oder elektronischen Geräte tragen. Stattdessen werden Hunderte von Gummibällen mit reflektierendem Klebeband befestigt, das regelmäßig ausgetauscht werden muss. Die Marker sind in der Regel direkt an der Haut befestigt (wie in der Biomechanik), oder sie sind Velcroed zu einem Darsteller, der einen Ganzkörper-Spandex / Lycra-Anzug trägt, der speziell für die Bewegungserfassung entwickelt wurde. Diese Art von System kann eine große Anzahl von Markern mit Bildraten erfassen, die normalerweise bei 120 bis 160 fps liegen, obwohl sie durch Verringern der Auflösung und Verfolgen eines kleineren interessierenden Bereichs bis zu 10000 fps verfolgen können.
Active markerEdit
Aktive optische Systeme triangulieren Positionen, indem sie jeweils eine LED sehr schnell oder mehrere LEDs mit Software beleuchten, um sie anhand ihrer relativen Positionen zu identifizieren, ähnlich der Himmelsnavigation. Anstatt das von außen erzeugte Licht zurückzureflektieren, werden die Marker selbst mit Strom versorgt, um ihr eigenes Licht abzugeben. Da das inverse Quadratgesetz ein Viertel der Leistung bei zweifacher Entfernung liefert, kann dies die Entfernungen und das Volumen für die Erfassung erhöhen. Dies ermöglicht auch ein hohes Signal-Rausch-Verhältnis, was zu einem sehr geringen Marker-Jitter und einer daraus resultierenden hohen Messauflösung (oft bis zu 0,1 mm innerhalb des kalibrierten Volumens) führt.Die TV-Serie Stargate SG1 produzierte Episoden mit einem aktiven optischen System für den VFX, das es dem Schauspieler ermöglichte, um Requisiten herumzulaufen, die die Bewegungserfassung für andere nicht aktive optische Systeme erschweren würden.
ILM verwendete aktive Marker in Van Helsing, um Draculas fliegende Bräute auf sehr großen Sets zu erfassen, ähnlich wie Weta aktive Marker in Rise of the Planet of the Apes . Die Leistung für jeden Marker kann sequentiell in Phase bereitgestellt werden, wobei das Erfassungssystem eine eindeutige Identifizierung jedes Markers für einen gegebenen Erfassungsrahmen zu einem Preis für die resultierende Bildrate bereitstellt. Die Fähigkeit, jeden Marker auf diese Weise zu identifizieren, ist in Echtzeitanwendungen nützlich. Die alternative Methode zur Identifizierung von Markern besteht darin, dies algorithmisch zu tun, was eine zusätzliche Verarbeitung der Daten erfordert.
Es gibt auch Möglichkeiten, die Position mithilfe farbiger LED-Marker zu finden. In diesen Systemen wird jede Farbe einem bestimmten Punkt des Körpers zugeordnet.Eines der frühesten aktiven Markersysteme in den 1980er Jahren war ein passiv-aktives Hybrid-Mocap-System mit rotierenden Spiegeln und reflektierenden Markern aus farbigem Glas, das maskierte Lineararray-Detektoren verwendete.
Zeitmoduliertes aktives markerEdit
Aktiver Marker systeme können weiter verfeinert werden, indem jeweils ein Marker angesteuert wird oder mehrere Marker im Laufe der Zeit verfolgt und die Amplitude oder Pulsbreite moduliert werden, um eine Marker-ID bereitzustellen. Modulierte Systeme mit 12 Megapixel räumlicher Auflösung zeigen subtilere Bewegungen als optische Systeme mit 4 Megapixel, da sie sowohl eine höhere räumliche als auch eine zeitliche Auflösung aufweisen. Regisseure können die Leistung der Schauspieler in Echtzeit sehen und die Ergebnisse des Motion-Capture-gesteuerten CG-Charakters beobachten. Die eindeutigen Marker-IDs reduzieren den Turnaround, indem sie das Austauschen von Markern eliminieren und viel sauberere Daten als andere Technologien bereitstellen. LEDs mit integrierter Verarbeitung und einer Funksynchronisation ermöglichen die Bewegungserfassung im Freien bei direkter Sonneneinstrahlung und die Aufnahme mit 120 bis 960 Bildern pro Sekunde aufgrund eines elektronischen Hochgeschwindigkeitsverschlusses. Die Computerverarbeitung modulierter IDs ermöglicht weniger manuelle Bereinigung oder gefilterte Ergebnisse für geringere Betriebskosten. Diese höhere Genauigkeit und Auflösung erfordert mehr Verarbeitung als passive Technologien, aber die zusätzliche Verarbeitung erfolgt an der Kamera, um die Auflösung über eine Subpixel- oder Schwerpunktverarbeitung zu verbessern, die sowohl eine hohe Auflösung als auch eine hohe Geschwindigkeit bietet. Diese Motion-Capture-Systeme sind in der Regel $ 20.000 für ein Acht-Kamera, 12 Megapixel räumliche Auflösung 120 Hertz-System mit einem Akteur.
Semi-passive unmerkliche markerEdit
Man kann den traditionellen Ansatz, der auf Hochgeschwindigkeitskameras basiert, umkehren. Systeme wie Prakash verwenden kostengünstige Multi-LED-Hochgeschwindigkeitsprojektoren. Die speziell gebauten Multi-LED-IR-Projektoren kodieren den Raum optisch. Anstelle von retroreflektierenden oder aktiven Leuchtdioden (LED) -Markern verwendet das System lichtempfindliche Marker-Tags, um die optischen Signale zu dekodieren. Durch Anbringen von Tags mit Fotosensoren an Szenenpunkten können die Tags nicht nur ihre eigenen Positionen jedes Punkts berechnen, sondern auch ihre eigene Ausrichtung, einfallende Beleuchtung und Reflexion.
Diese Tracking-Tags funktionieren bei natürlichen Lichtverhältnissen und können unmerklich in Kleidung oder andere Objekte eingebettet werden. Das System unterstützt eine unbegrenzte Anzahl von Tags in einer Szene, wobei jedes Tag eindeutig identifiziert wird, um Probleme mit der Markerreakquisition zu vermeiden. Da das System eine Hochgeschwindigkeitskamera und den entsprechenden Hochgeschwindigkeitsbildstrom eliminiert, benötigt es eine deutlich geringere Datenbandbreite. Die Tags liefern auch einfallende Beleuchtungsdaten, die verwendet werden können, um die Szenenbeleuchtung beim Einfügen synthetischer Elemente anzupassen. Die Technik scheint ideal für die Bewegungserfassung am Set oder die Echtzeitübertragung virtueller Sets zu sein, muss jedoch noch bewiesen werden.
Unterwasser-Motion-Capture-SystemBearbeiten
Die Motion-Capture-Technologie steht Forschern und Wissenschaftlern seit einigen Jahrzehnten zur Verfügung und hat neue Einblicke in viele Bereiche gegeben.
Unterwasserkamerasedit
Der wesentliche Teil des Systems, die Unterwasserkamera, hat ein wasserdichtes Gehäuse. Das Gehäuse hat eine Oberfläche, die Korrosion und Chlor widersteht, was es perfekt für den Einsatz in Becken und Schwimmbädern macht. Es gibt zwei Arten von Kameras. Industrielle Hochgeschwindigkeitskameras können auch als Infrarotkameras eingesetzt werden. Die Infrarot-Unterwasserkameras kommen mit einem Cyan-Licht Strobe anstelle des typischen IR-Licht-für minimalen Abfall unter Wasser und die High-Speed-Kameras Kegel mit einem LED-Licht oder mit der Möglichkeit der Verwendung von Bildverarbeitung.
Messvolumenbearbeiten
Eine Unterwasserkamera ist in der Regel in der Lage, 15-20 Meter zu messen, abhängig von der Wasserqualität, der Kamera und der Art des verwendeten Markers. Es überrascht nicht, dass die beste Reichweite erreicht wird, wenn das Wasser klar ist, und wie immer hängt das Messvolumen auch von der Anzahl der Kameras ab. Eine Reihe von Unterwasser-Marker sind für verschiedene Umstände zur Verfügung.
TailoredEdit
Verschiedene Pools erfordern unterschiedliche Halterungen und Befestigungen. Deshalb werden alle Unterwasserbewegungserfassungssysteme einzigartig hergestellt, um jeder spezifischen Poolrate zu entsprechen. Für Kameras in der Mitte des Pools sind speziell entwickelte Stative mit Saugnäpfen vorgesehen.
MarkerlessEdit
Neue Techniken und Forschungen im Bereich der Computer Vision führen zu einer rasanten Entwicklung des markerlosen Ansatzes zur Bewegungserfassung. Markerlose Systeme, wie sie an der Stanford University, der University of Maryland, dem MIT und dem Max-Planck-Institut entwickelt wurden, erfordern keine spezielle Ausrüstung für die Verfolgung. Spezielle Computeralgorithmen sollen es dem System ermöglichen, mehrere Ströme optischer Eingaben zu analysieren und menschliche Formen zu identifizieren, die zur Verfolgung in Bestandteile zerlegt werden. ESC Entertainment, eine Tochtergesellschaft von Warner Brothers Pictures, die speziell für die virtuelle Kinematografie entwickelt wurde, einschließlich fotorealistischer digitaler Doppelgänger für die Dreharbeiten zu The Matrix Reloaded- und The Matrix Revolutions-Filmen, verwendete eine Technik namens Universal Capture, die das 7-Kamera-Setup und die Verfolgung verwendete Der optische Fluss aller Pixel über alle 2D-Ebenen der Kameras zur Erfassung von Bewegungen, Gesten und Gesichtsausdrücken, was zu fotorealistischen Ergebnissen führt.
Traditionelle Systemebearbeiten
Traditionell wird die markerlose optische Bewegungsverfolgung verwendet, um verschiedene Objekte, einschließlich Flugzeuge, Trägerraketen, Raketen und Satelliten, im Auge zu behalten. Viele dieser optischen Bewegungsverfolgungsanwendungen finden im Freien statt und erfordern unterschiedliche Objektiv- und Kamerakonfigurationen. Hochauflösende Bilder des verfolgten Ziels können dadurch mehr Informationen als nur Bewegungsdaten liefern. Das Bild, das vom Langstrecken-Tracking-System der NASA beim tödlichen Start der Raumfähre Challenger aufgenommen wurde, lieferte entscheidende Hinweise auf die Ursache des Unfalls. Optische Tracking-Systeme werden auch verwendet, um bekannte Raumfahrzeuge und Weltraummüll zu identifizieren, obwohl sie gegenüber Radar den Nachteil haben, dass die Objekte ausreichend Licht reflektieren oder emittieren müssen.Ein optisches Tracking-System besteht typischerweise aus drei Subsystemen: dem optischen Abbildungssystem, der mechanischen Tracking-Plattform und dem Tracking-Computer.
Das optische Abbildungssystem ist dafür verantwortlich, das Licht aus dem Zielbereich in ein digitales Bild umzuwandeln, das der Tracking-Computer verarbeiten kann. Abhängig von der Konstruktion des optischen Tracking-Systems kann das optische Abbildungssystem von so einfach wie eine Standard-Digitalkamera bis zu so spezialisiert wie ein astronomisches Teleskop auf dem Gipfel eines Berges variieren. Die Spezifikation des optischen Abbildungssystems bestimmt die obere Grenze der effektiven Reichweite des Tracking-Systems.
Die mechanische Tracking-Plattform hält das optische Abbildungssystem und ist dafür verantwortlich, das optische Abbildungssystem so zu manipulieren, dass es immer auf das zu verfolgende Ziel zeigt. Die Dynamik der mechanischen Tracking-Plattform in Kombination mit dem optischen Abbildungssystem bestimmt die Fähigkeit des Tracking-Systems, die Sperre auf einem Ziel zu halten, das die Geschwindigkeit schnell ändert.
Der Tracking-Computer ist dafür verantwortlich, die Bilder vom optischen Bildgebungssystem aufzunehmen, das Bild zu analysieren, um die Zielposition zu extrahieren, und die mechanische Tracking-Plattform zu steuern, um dem Ziel zu folgen. Es gibt mehrere Herausforderungen. Zunächst muss der Tracking-Computer in der Lage sein, das Bild mit einer relativ hohen Bildrate aufzunehmen. Dies stellt eine Anforderung an die Bandbreite der Bildaufnahmehardware. Die zweite Herausforderung besteht darin, dass die Bildverarbeitungssoftware in der Lage sein muss, das Zielbild aus seinem Hintergrund zu extrahieren und seine Position zu berechnen. Mehrere Lehrbuchbildverarbeitungsalgorithmen sind für diese Aufgabe ausgelegt. Dieses Problem kann vereinfacht werden, wenn das Tracking-System bestimmte Eigenschaften erwarten kann, die allen Zielen gemeinsam sind, die es verfolgen wird. Das nächste Problem auf der ganzen Linie besteht darin, die Tracking-Plattform so zu steuern, dass sie dem Ziel folgt. Dies ist eher ein typisches Designproblem für Steuerungssysteme als eine Herausforderung, bei der die Systemdynamik modelliert und Steuerungen zur Steuerung entworfen werden. Dies wird jedoch zu einer Herausforderung, wenn die Tracking-Plattform, mit der das System arbeiten muss, nicht für Echtzeit ausgelegt ist.
Die Software, die solche Systeme betreibt, ist auch für die entsprechenden Hardwarekomponenten angepasst. Ein Beispiel für eine solche Software ist OpticTracker, die computergesteuerte Teleskope steuert, um sich bewegende Objekte in großen Entfernungen wie Flugzeuge und Satelliten zu verfolgen. Eine weitere Option ist die Software SimiShape, die auch hybrid in Kombination mit Markern eingesetzt werden kann.