17.
Jan
Autor:
Kategorie: Augmented Reality

RE’FLEKT Labs: Sensor-Fusion-Tracking für Augmented Reality

Unsere Smartphones bieten noch viele ungenutzte Möglichkeiten – insbesondere für Augmented Reality. Wer ahnt schon was Inertialsensoren, Gyroskop und Accelerometer alles können?  Der Sensor-Fusion-Ansatz von Felix Löhr beschreibt, wie unterschiedliche Tracking-Verfahren fusioniert werden können. Der Nutzen daraus soll ein performantes und stabiles Tracking-System sein, das zu jeder Zeit eine stabile Posebestimmng auf mobilen Geräten erlaubt.

Das Tracking – also die initiale Erkennung eines Objekts und dessen Bewegungserfassung im Raum – ist das Herzstück eines Augmented-Reality-Systems. Objekte können Marker, Bilder oder auch reale dreidimensionale Gegenstände sein. Entscheidend für ein überzeugendes Tracking ist, dass Objekte schnell erkannt werden und das Tracking bei jeder Bewegung stabil bleibt.

Wesentliche Tracking-Verfahren im Überblick

Für Sensor Fusion sind die optischen Tracking-Verfahren interessant. Mechanisches Tracking, beispielsweise mit einem Roboterarm, wurde bei der hier dargstellten Sensorkombination nicht berücksichtigt. Optisches Tracking kann im Wesentlichen auf drei Arten erfolgen:

  • 2D-Marker-basiert
  • Multi-Marker-basiert
  • Markerlos

Beim 2D-Marker wird am Objekt ein Bit-Code-Marker  (Muster schwarz-weiß) angebracht. Damit kann ein AR-Ssystem die Position des Objekts feststellen – aufgrund der Größe und Perspektive des Markers. Kommen mehrere Marker zusammen, deren Abstände zueinander bekannt sind, spricht man von Multi-Marker-basiertem Tracking.

Die „Königsdisziplin“ der Tracking-Systeme ist das markerlose Verfahren. Hierbei kommen keine Marker zum Einsatz. Zur Erkennung kommen Bilder (Image-Tracking) oder reale Objekte (3D-Tracking) zum Einsatz. Das AR-System erkennt beispielsweise die natürliche Struktur des Bildes oder die Beschaffenheit und Form des Objekts – ganz einfach beschrieben.

Sensoren machen den Unterschied

Manche Sensoren kennt kaum ein Smart-Device-Nutzer. Andere sind frustriert, dass sie nicht mitspielen dürfen. Die Kamera kann Bilder und Videos aufnehmen. Damit nicht genug. Es lassen sich auch Gesichter erkennen und gezielt zur Steuerung des Geräts nutzen. Samsung beispielsweise bietet das bereits für verschiedene Gesten, wie Scrollen im Lesemodus oder Screenshots anfertigen.

Das Gyroskop kennt jeder, der eine der zahlreichen Wasserwaagen-Apps nutzt. Durch Messung der Lageveränderungen kann die Orientierung des Mobilgeräts bestimmt werden. Gemeint ist damit, ob sich das Gerät im Porträt oder im Landscape-Modus befindet, bzw. in welcher Lage es auf dem Tisch liegt. Bei der Nintendo Wii registriert das Gyroskop als „Motion Plus“ die Drehbewegungen der Hand.

Geht es um Beschleunigung, dann kommt der Accelerometer ins Spiel. Die Schüttel-Gesten beispielsweise, um Funktionen auszulösen. Hieraus lässt sich erkennen, in welche Richtung das Smart Device bewegt wird. So lassen sich Rennspiele durch die Neigung und Rotation der Hände steuern (Abb. unten). Auch dies geschieht mit Accelerometer und Gyroskop.

Racing Simulation Controller

Damit der Anwender die korrekte geographische Orientierung erhält, sorgt der magnetische Kompass. Nur mit dem Kompass als Sensor weiß die App, wo Norden ist. Zur Standortbestimmung nutzt das Mobile Device die GPS-Funktion. Zusammen mit dem Kompass entsteht eine zuverlässige Navigation. In Fällen, in denen kein GPS-Signal verfügbar ist, kann auch das WLAN eine Positionsbestimmung vornehmen. Durch Triangulation anhand verschiedener WLAN-Punkte bestimmt das Gerät seinen ungefähren Standort.

Mit GPS und Gyroskop entsteht eine weitere Trackingvariante: die Location-based Services. Der Nutzer erhält Informationen aufgrund seines Standorts und der Blickrichtung seines Smart Devices.

Herausforderungen beim Tracking für Augmented Reality

In der Idealwelt erfolgt die Erkennung schnell. Sobald der Nutzer sein Device auf Marker oder Objekt richtet, werden die Augmented-Reality-Inhalte eingeblendet. Die Kamera scannt den Marker oder ein 3D-Objekt während die Software nach gespeicherten Mustern sucht. Ein Beispiel der optischen Markierungen beim Tracking zeigt das Muster in der Abbildung unten. Je besser das Tracking ist, desto weniger müssen sich Anwender um die korrekte Ausrichtung der Kamera kümmern. Ist das Objekt oder Bild initialisiert, so ist für ein effektives Arbeiten und die User Experience bedeutend, dass das Tracking stabil ist. Also bei Bewegungen des Nutzers mit seinem iPad nicht die Verbindung verliert.

Tracking

Der Sensor-Fusion-Ansatz

In vielen Anwendungsfällen ist es erforderlich Sensoren zu kombinieren, um gewünschte Funktionen zu erreichen. Gyroskop und Accelerometer oder GPS und Kompass als Beispiel. Felix Löhr untersuchte für Sensor Fusion, ob der kombinierte Einsatz zu besseren Trackingverfahren führt. „Der Ansatz ist, dass wenig genutzte Sensoren im Smartphone oder Tablet das optische Tracking verbessern und bei Instabilitäten kurzfristig überbrücken“, beschreibt der Informatiker die Sensor-Fusionierung. Setzt beispielsweise das optische Tracking aus, dann sieht Löhr den vorübergehenden Ausgleich durch einen anderen Sensor als die Lösung an.

Sensor Fusion nutzt gezielt die schlummernden Potenziale der Sensoren. So lässt sich durch Filterung der Daten von Accelerometer und Gyroskop eine Aussage zur Positionsbestimmung treffen und mit den Daten des optischen Trackings vergleichen. Der Nutzer merkt hiervon nichts – außer einer stabileren Performance der Anwendung. Für die Überprüfung des Zusammenspiels verschiedener Sensoren hat Löhr eigens ein Marker- und Sensor-Tracking-System entwickelt. Dieses Verfahren nutzt ein Beispiel-Tracking als Basis und vergleicht dies mit den Ergebnissen aus der Fusion. Der Vorteil besteht unter anderem in einer exakten Bestimmung, an welcher Stelle das Tracking abgerissen ist. Ein weiterer wichtiger Aspekt des Referenzsystem besteht darin, dass die Daten nicht jedes Mal von Neuem aufgezeichnet werden müssen. Da die Messdaten starkes Rauschen enthalten, nutzte Felix Löhr ein Kalman-Filter. Damit fand auch die Kombination der Sensoren statt.

Nutzen für die Praxis

Wer AR nutzt, der weiss: Wenn die Erkennung nicht funktioniert, ist die Frustration groß. Die Menschen, die AR einsetzen, wollen die Vorteile erleben. Dabei stört es, wenn die erste Initialisierung zu lange dauert oder das Tracking permanent abbricht. Die Anwender möchten sich auch nicht mit der optimalen Position des Geräts befassen oder technische Hintergründe lernen, sondern einfach den Content abrufen. Hier spielt der Sensor-Fusion-Ansatz von Felix Löhr seine Vorteile aus. Sensor Fusion gleicht die Schwächen der einzelnen Sensoren aus, ergänzt die vorhandenen Informationen und vernetzt sie zu einem besseren Gesamtergebnis. 

Ausblick

Die Sensoren in den Smart Devices sind Cent-Artikel und entsprechend war bisher auch ihre Qualität. Auf die Frage, ob die heute verbauten Sensoren für AR ausreichend sind, sagt der Informatiker Felix Löhr: „Leider legen die Hersteller keinen Wert auf die Sensoren, weil bei Apple, Samsung und Co. Augmented Reality nicht im Fokus steht. Es sind aber gerade die Sensoren, welche für das Tracking und die AR-Anwendung erforderlich sind“. Wir können davon ausgehen, dass die Sensoren künftig stärker eingesetzt und besser kombiniert werden. Es besteht auch Hoffnung, dass sich die Qualität der Sensoren verbessern wird.

Weiterführende Links

RE’FLEKT Labs: Was ist Augmented Reality?

Bildquellen

Redmondmag

PARP Research Group


1.703