16.
Jul
Autor:
Kategorie: Allgemein

360 Grad Video: Hinter den Kulissen

Trina Solar Virtual Tour

Drei Männer mit Sonnenbrillen und schwarzen Transport-boxen laufen über den Münchner Flughafen. Ihr Ziel: Changzhou, China. Ihre Mission: der Dreh der ersten 360 Grad 3D-Führung durch eine Solarmodulfabrik. Über das Ergebnis – die virtuelle Tour durch die Fertigungshallen – haben wir bereits berichtet.  Jetzt werfen wir einen Blick hinter die Kulissen: Wie entsteht ein interaktiver 360-Grad-Rundgang?

WAS IST EIN INTERAKTIVES 360 GRAD VIDEO?

Eines hat sich mittlerweile herumgesprochen: Virtual Reality ist nicht nur etwas für Games, sondern vor allem für interaktives Storytelling. Die Stärke von VR liegt in der menschlichen, persönlichen Verbindung zu dem, was um den Zuschauer herum geschieht. VR hat eine Unmittelbarkeit und Direktheit, mit der kein anderes Medium mithalten kann und ermöglicht so ganz besondere Einblicke. Genau diese Einblicke und die Transparenz waren es, die Trina Solar seinen Kunden auf der ganze Welt ermöglichen wollte – mit einer interaktiven 360 Grad 3D-Tour durch ihren Hauptsitz in Changzhou.

Virtual Tour

Das Konzept war schnell klar: die Tour sollte kein klassisches Publicity-Video mit Makroaufnahmen von fleißig arbeitenden Robotern und einer klangvollen Stimme aus dem Off sein, sondern dem Zuschauer einen Eindruck aus erster Hand liefern. Etwa mit einer persönlichen Begrüßung durch den Trina-CEO Jifang Gao in seinem Büro. Zahlreiche Stationen warten auf den virtuellen Besucher – vom Siliziumguss bis zur Qualitätskontrolle der Module – immer mitten im Geschehen und mit persönlichem Guide. Weiteres Highlight der Tour: ein Besuch in den Reinräumen der Forschung und Entwicklung mit Chefwissenschaftler Pierre Verlinden. Eine so ausführliche Tour bekommen normalerweise nicht einmal die Besucher vor Ort.

Als Sahnehäubchen haben wir ein paar Augmented-Reality-Elemente in die virtuelle Welt gepackt. Ja, das geht.  Mit den AR-Funktionen kann der Zuschauer zusätzliche Informationen abrufen – ganz einfach durch einen Blick auf das digitale Element.

AUS ZWÖLF MACH EINS

Zwölf GoPro-Kameras, ein Kamera-Rig aus dem 3D-Drucker, fünf Richtmikrofone, ein High-end Laptop, eine Oculus Rift und ein Klicker. Wir haben es geschafft, das alles nach China zu bringen. Zuerst ein Blick auf die Grundlagen: Wie wird aus einzelnen Videos ein 360-Grad-Film? Unser „How to“-Video gibt Euch die Antwort darauf.

Fünf der zwölf Kameras im Rig – horizontal angeordnet – nehmen einen Bildausschnitt von etwas unter 75 Grad auf, was dann in der Summe 360 Grad ergibt. Je eine Kamera oben und unten ist für Himmel und Untergrund zuständig. Die einzelnen Bilder werden dann über Algorithmen zu einem großen Video „zusammengeklebt“: das sogenannte Stitching.

Wer mitgezählt hat, wird gemerkt haben: wir haben noch fünf Kameras übrig. Hier wird es tricky: diese fünf Kameras nehmen ebenfalls ein 360-Grad-Panorama auf. Diese Version ist um genau 64 Millimeter verschoben. Das ist der durchschnittliche, menschliche Augenabstand. Auf diese Weise erhalten wir zwei vollständige 360-Grad-Stereopanoramas – eines für jedes Auge. Auf diese Art wird stereoskopisches Sehen ermöglicht.

VERSTECKT HINTER ROBOTERN

Soweit zur Theorie, jetzt aber zur Praxis. Vieles ist bei 360-Grad-Aufnahmen anders als bei klassischer Filmproduktion. Wo sonst Equipment und Regisseure „hinter der Kamera“ sind gibt es bei 360 Grad kein „dahinter“ sondern nur mittendrin. Eine Tatsache, die uns im Laufe des Filmdrehs zu Meistern im Versteckspiel werden ließ. Auch ist ein 360-Set natürlich viel schwieriger zu kontrollieren als ein einzelner Bildausschnitt. Ein Umstand, der nicht unbedingt einfacher wird, wenn alle Komparsen ausschließlich chinesisch sprechen und das Filmteam gerade diese Sprache nicht beherrscht. Aber gerade das kann auch eine Stärke sein: anstatt gestellter, künstlich wirkender Szenen nimmt man reale Situationen auf. Die meisten Beteiligten nahmen das seltsam blinkende Licht unseres Kamera-Rigs nicht mal als Kamera wahr und würdigten es nur eines beiläufigen Blicks.

Camera Rig 360 Video

Doch nicht nur bei den Sets gab es neuartige Herausforderungen. Da 360-Grad-Filmaufnahmen noch ein recht junges Genre sind gibt es keine fertigen, professionellen Hardwarelösungen. Jeder Handgriff muss an jeder der zwölf GPro Hero 4 Blacks ausgeführt werden. Alleine schon alle Kameras zu starten wird dabei zur Herausforderung. Einen Sucher gibt es nicht, wir haben uns eine eigene Lösung gebastelt. Die sonst standardmäßige Übertragung auf einen externen Monitor für den Direktor fällt flach, dafür reicht bei den generierten Datenmengen schlichtweg die Bandbreite nicht. Es erinnert ein wenig an Analogfotografie: erst beim Betrachten der ersten Test-Stitchings in der Oculus Rift am Abend im Hotelzimmer kann man abschätzen, ob die Aufnahmen etwas geworden sind.

Virtual Reality Production  

Gerade dieses fehlende Feedback, direkt bei der Produktion, fordert ein gutes Verständnis des Mediums VR und der Möglichkeiten und Limitierungen der verwendeten Technologie: Wo ist der 3D-Eindruck besonders gut? Wie hoch soll die Kamera stehen? Wie weit kann sich der Zuschauer später bequem umschauen?

360 3D Samsung Gear VR

Zehn Tage vergingen wie im Flug. Schneller als wir Glückskeks auf Chinesisch sagen konnten, saßen wir wieder im Flieger nach München. Im Gepäck: mehr als ein Terrabyte an Videodaten oder anders ausgedrückt 45 Stunden Filmmaterial.

ALGORITHMEN UND HANDARBEIT

Ähnlich dünn wie bei der Hardware sieht es auch im Bereich Post Processing aus. Durchgängige Workflows für 360-Grad-Footage gibt es nicht, stattdessen ist „Do it yourself“ angesagt. Kameras kalibrieren, Stitching-Schablonen erstellen, Videomaterial rendern, anschauen und zurück zur nächsten Iterationsschleife. Wo anderswo bereits Algorithmen die Aufgaben automatisieren gilt bei 360 VR: um erstklassige Ergebnisse zu erzielen ist nach wie vor viel Handarbeit und ein gutes Auge nötig. Wir sind schon gespannt, ob Google mit seinem kürzlich vorgestellten Projekt Google Jump etwas verändern wird. In der Post Production schlug übrigens auch die große Stunde des Klickers: bei der Aufnahme jeder Szene wurde dieser einmal laut und deutlich geklickt, jetzt konnten anhand dieses Klicks die verschiedenen Videospuren per Algorithmus zeitlich exakt synchronisiert werden.

360 3D VIDEO MIT DER SAMSUNG GEAR VR

Ursprünglich war die Virtual Tour für die Oculus Rift geplant. Doch dann flatterte die erste Samsung Gear VR rein und uns war schnell klar: die Anwendung ist wie geschaffen für die Gear VR. Doch zuvor musste eine weitere Herausforderung überwunden werden: beim Abspielen von 4K-Videos, 3D-Sound und interaktivem Content durften wir nicht unter die für komfortable VR essentiellen 60 Frames pro Sekunde fallen. Gar nicht so leicht, wenn das mit der begrenzten Rechenleistung eines Mobiltelefons geschehen soll. Mit der Hilfe von Code Snippets – geschrieben von Oculus-Ikone John Carmack persönlich – gelang es uns schließlich, einen interaktiven 360-Grad-Player zu realisieren.

Unser Framework konnten wir dann auch nutzen, um die digitalen Elemente mit Zusatzinformationen innerhalb der 360-Grad-Tour zu platzieren, sowie um passende Untertitel zu realisieren. Erste Tests zeigten schnell, dass klassische, fix verankerte Untertitel für Virtual Reality keinen Sinn machen. Zu sehr klebt der Blick des Nutzers an der Schrift. Stadtdessen befestigten wir den Untertitel als digitales Element – ähnlich einem Head-up Display im Blickfeld des Zuschauers. Damit können sich die Zuschauer auf die Umgebung konzentrieren ohne ein Wort zu verpassen. Stört der Untertitel dennoch, dann kann ihn der Zuschauer mittels Tap auf das Touchpad ein- und ausblenden.

Die nächste 360-Grad-Tour ist bereits im Kasten und wir verraten nur so viel: ein deutscher Sportwagenbauer auf der Rennstrecke. Wir nehmen Euch mit auf den Track – hier auf WeAreAR.

 

 

 


Comments are closed.

2.332