Die letzten Monate waren äußerst aufregend für das Projekt-Team von Virtual LiVe. In allen Bereichen wurde auf Hochtouren gearbeitet, um einen reibungslosen und technisch korrekten Workflow zu gewährleisten. Wie hat alles angefangen? Im ersten Quartal dieses Jahres machten sich die Projektpartner Fraunhofer FOKUS, Fraunhofer HHI und Fraunhofer IIS auf den Weg, um hybride Live-Events mit modernsten immersiven Technologien zu erweitern und aufzuwerten. Ziel war es, die Grenzen zwischen physischer und digitaler Wahrnehmung zu verwischen. Dafür sollten High-End-Technologien von Fraunhofer eingesetzt und miteinander verknüpft werden, um so die Digitalisierung klassischer Veranstaltungsformate zu optimieren.

Gemeinsam luden die Projektpartner zu Beginn des Projekts alle Stakeholder ein, analysierten Dutzende von Fragebögen und führten Workshops und Kolloquien durch, um die genauen Bedürfnisse der Branche zu ermitteln. Die Ergebnisse führten zur Realisierung des ersten hybriden Live-Events des Projekts: In Zusammenarbeit mit dem Künstler The Dark Tenor fand die Veranstaltung schließlich im Kesselhaus der Kulturbrauerei Berlin, im Planetarium Bochum, im digitalen Kino des Fraunhofer IIS und online statt.

Der gesamte Aufbau des Konzerts war einmalig und wurde von den verschiedenen Teilnehmerinnen und Teilnehmern an den verschiedenen Orten mit überwältigender Begeisterung aufgenommen.

Kesselhaus in der Kulturbrauerei - Location vor Ort mit digitalem Twist

Der Künstler Billy Andrews – The Dark Tenor – gab das Premierenkonzert seiner Classic Roxx Tour im Kesselhaus in Berlin. Rund 150 Gäste genossen die Show vor Ort mit der kompletten Bandbesetzung von The Dark Tenor – eine Premiere seit Beginn der Pandemie. Das besondere Novum: Begleitet wurde er von den Künstlerinnen Queenz of Piano, die aus dem Studio Mixberlin, einer anderen Location in Berlin, spielten. Sie wurden über eine Ultra-Low-Latency-Audioverbindung durch die Digital Stage Plattform in das Konzert eingebunden. Dies ermöglichte es den Künstlerinnen und Künstlern, gemeinsam live »auf der Bühne« zu musizieren, obwohl sie sich nicht am selben Ort befanden. Die Queenz of Piano wurden zusätzlich aus ihrem Studio auf eine Leinwand im Kesselhaus projiziert. Das musikalische und visuelle Zusammenspiel sorgte für ein wahrhaft immersives, hybrides Erlebnis.

»Die Classic RoXX Tour-Premiere war ein voller Erfolg und hat in Zusammenarbeit mit den Fraunhofer-Instituten neue Möglichkeiten geschaffen, wie Musik und Kunst trotz räumlicher Distanz über das Internet koexistieren können. Ich bin begeistert, dass die Technologie den Künstlerinnen und Künstlern bei der Interaktion hilft. Irgendwann wird sie definitiv ein integraler Bestandteil unserer Arbeit sein!« (Billy Andrews, The Dark Tenor)

»Das war sicherlich selbst für das Kesselhaus etwas ganz Besonderes. Erstmalig haben Musiker von verschiedenen Orten hier gleichzeitig gemeinsam musiziert, als wenn sie auf der gleichen Bühne stehen würden. Dies haben sich neben den hier anwesenden Zuschauern, noch Hunderte online angeschaut und kräftig mitgemacht. Ein tolles Erlebnis!« (Sören Birke, Kesselhaus Berlin)

»Mit dem Einsatz von Fraunhofer-Technologien und denen der Partner ist es uns gelungen, ein ganz besonderes Konzerterlebnis zu schaffen – einzigartig und erstmalig in seiner Art. Wir sind stolz, dieses Projekt mit den Partnern realisiert zu haben und freuen uns sehr über das tolle Feedback von Expertinnen und Experten, Künstlerinnen und Künsterln, aber auch von den eigentlichen Fans.« (Stephan Steglich, Fraunhofer FOKUS)

Die Veranstaltung im Berliner Kesselhaus wurde mit der Panoramakamera OmniCam aufgezeichnet, einem skalierbaren, spiegelbasierten Multikamerasystem, das zusammen mit seiner Real Time Stitching Engine (RTSE) in der Lage ist, einen hochauflösenden 360°-Videostream aufzunehmen und in Echtzeit zu übertragen.

Im Planetarium Bochum wurden die Videobilder der 4K-Nahaufnahmekameras mit denen der 360°-Kamera mittels eines speziellen DomePlayers kombiniert und in Echtzeit geometrisch an die Kuppelform angepasst, um dann in der 6Kx6K-Kuppelprojektion des Planetariums mit den 11 vorhandenen hochauflösenden Projektoren dargestellt zu werden. Je nach Song wurde diese Projektion mit planetariumspezifischen Inhalten wie Kuppelbeleuchtungseffekten oder dem gestochen scharfen Sternenhimmel des Zeiss-Sternenprojektors angereichert. Alle auf der Projektion dargestellten Videomedien wurden in ihren Eigenschaften wie Position, Rotation, Größe, Zoom oder Transparenz interaktiv und in Echtzeit animiert. Je nach Situation und Liedstimmung sorgte dieser Ansatz für ein passendes und abwechslungsreiches Bild, das das Erlebnis vor Ort visuell noch übertreffen konnte.

Um das immersive Erlebnis zu vervollständigen, wurde der Konzertsound mit MPEG-H Audio produziert. Ein 3D-Audiomix wurde in Echtzeit erstellt. Mit Hilfe eines Spatial Audio Designers wurde eine MPEG-H-Szene erstellt, anschließend kodiert und in die Cloud übertragen. Der Audio- und Videostream wurde im Planetarium dekodiert und dann auf mehr als 60 Lautsprecher in der gesamten Planetariumskuppel verteilt. Die verschiedenen Video- und Audioströme wurden frame-genau synchronisiert, um ein perfektes audiovisuelles Erlebnis zu gewährleisten.

»Das 360°-Live-Konzert war beeindruckend – als Zuschauer*in im Planetarium Bochum bekam man einen sehr direkten Eindruck von der Atmosphäre im ›Kesselhaus‹! Das Zusammenspiel von 360°-Video und 3D-Audio erzeugte ein sehr immersives Gefühl in der Kuppel. Das bestätigte auch unser Publikum, das sich weitere Veranstaltungen dieser Art wünschte. Die Zusammenarbeit mit den Fraunhofer-Instituten in diesem experimentellen Konzertsetting war durchweg sympathisch, kreativ und technisch beeindruckend.« (Susanne Hüttemeister, Planetarium Bochum)

»Immersive Räume wie Planetarien sind hervorragende Plattformen, um das Gefühl zu erzeugen, sich am Ort des Geschehens zu befinden, da wir die Möglichkeit haben, dem Publikum immersives Video und 3D-Audio in höchster Qualität zu präsentieren. Ein solches hybrides gesellschaftliches Ereignis, bei dem die Grenze zwischen der realen Veranstaltung und dem entfernten Publikum verschwimmt, könnte eine Lösung für die ›neue Normalität‹ sein und dazu beitragen, die Beschränkungen von Pandemiebedingungen zu überwinden oder einfach mehr Teilnahme ermöglichen, wenn die reale Veranstaltung ausgebucht ist. Mehr noch, es verändert unsere Wahrnehmung von Live-Events.« (Christian Weißig, Fraunhofer HHI)

»Es war für uns alle eine große Herausforderung, dieses hochkarätige Erlebnis zu ermöglichen, denn es war weltweit das erste Mal, dass ein Konzert live gestreamt und in 360° auf einer Kuppel mit dieser Funktionsvielfalt und erstklassiger Audio-Video-Qualität gezeigt wurde! Umso mehr freuen wir uns, dass alles wie geplant geklappt hat und das Feedback des Publikums so überwältigend positiv war!« (Manuel Schiewe, Fraunhofer FOKUS)

»Ein Live-Konzert passt perfekt zu einer 3D-Audio-Produktion. Die Teilnehmerinnen und Teilnehmern, die 3D-Audio wiedergeben können – was so einfach sein kann wie das Benutzen von Kopfhörern – sind in der Lage, die Atmosphäre des Konzertsaals und den Lärm der Menge zu genießen. Der Dark Tenor heizte seinem Publikum ein und motivierte es zum Mitsingen. Dieses Hörerlebnis hat sich erfolgreich auf das Publikum an den verschiedenen anderen Standorten übertragen.« (Ulli Scuda, Fraunhofer IIS)

Interaktives Konzert-Streaming an entfernte Orte

Mehr als 600 Teilnehmerinnen und Teilnehmern aus 16 Ländern verfolgten das Konzert virtuell über das Internet. Für ein wirklich hybrides Erlebnis war es wichtig, den Zuschauerinnen und Zuschauern zu Hause die Möglichkeit zu geben, das Konzert auf eine Weise zu genießen, die einem Live-Erlebnis so nahe wie möglich kommt. Die hier eingesetzte FAMIUM-DASH-Lösung ermöglichte die Übertragung von Videoströmen mit niedriger Latenz und adaptiver Qualität, einschließlich akustischem oder visuellem Feedback. So konnte das entfernte Publikum das Konzert nicht nur mit einer geringen Verzögerung von wenigen Sekunden online verfolgen, sondern auch seinen Applaus in Echtzeit über digitale Emojis und Videochats an das Kesselhaus senden. Ein Public Fan Channel, der während des Konzerts auf einer Großleinwand im Kesselhaus zu sehen war, unterstrich die Vernetzung der verschiedenen Publikumsgruppen. Darüber hinaus konnten die Zuschauenden ihre eigenen privaten Video-Chaträume einrichten und ihre Freunde einladen, das Konzert gemeinsam zu verfolgen. Die FAMIUM SAND-Lösung bietet fortschrittliche Streaming-Analysen und Videoplayer-Koordination und sorgte für eine reibungslose Wiedergabe des Videostreams mit niedriger Latenzzeit im Rahmen dieser Hybrid-Veranstaltung.

Zusätzlich wurde der 360-Grad-Panorama-Livestream der OmniCam, der zum Planetarium übertragen wurde, auch online für die Zuschauer zu Hause in einer Auflösung von bis zu 4K bereitgestellt. Mit diesem zusätzlichen Stream konnten die Zuschauer zu Hause im Panorama des Live-Konzerts im Kesselhaus navigieren und in die Show eintauchen.

Die MPEG-H-Audioproduktion kann von einer Vielzahl von Abspielgeräten wiedergegeben werden, sobald ein Audiomix erstellt wurde. Für das Monitoring des kodierten Signals vor Ort wurde ein Tablet eingesetzt, das den Stream aus dem Internet empfängt und für die binaurale Kopfhörerwiedergabe dekodiert. Gleichzeitig wurde derselbe Bitstrom an ein digitales Kino in Erlangen gesendet, wo Projektpartner die Show mit 3D-Sound verfolgten. Das Laborkonzert demonstrierte, inwieweit ein Produktionsworkflow, der Spitzentechnologien einsetzt, in der Lage ist, dem Publikum vor Ort, an entfernten Veranstaltungsorten wie Planetarien oder Kinos und zu Hause einen wirklich immersiven Echtzeitinhalt zu bieten.

»Kurz nachdem wir mit der Live-Übertragung des Konzertstreams begonnen hatten, begannen die Zuschauerinnen und Zuschauern sofort damit, Feedback zu geben, indem sie auf die verschiedenen Feedback-Buttons klickten und darum baten, unseren moderierten öffentlichen Fan-Kanal zu betreten, um auf der Bühne im Kesselhaus zu erscheinen. Sie konnten eine reibungslose, latenzarme Videowiedergabe des Live-Konzerts auf der Abspielplattform ihrer Wahl erleben, einschließlich Web-Browsern auf mobilen und Desktop-Geräten, Setop-Boxen, Fernsehern über HbbTV und sogar der Kuppel im Planetarium in Bochum.« (Louay Bassbouss, Fraunhofer FOKUS)

»Mit unserem kollaborativen Laborkonzert haben wir bewiesen, dass hybride Live-Events technisch machbar sind. Nun gilt es, gemeinsam mit unseren Partnern die technische Komplexität solcher Veranstaltungen in leicht handhabbare und skalierbare Lösungen zu überführen, um Künstlerinnen und Künstlern und Veranstalterinnen und Veranstaltern ein Werkzeug für zukünftige und kommerziell erfolgreiche Hybrid-Produktionen an die Hand zu geben.« (Robert Seeliger, Fraunhofer FOKUS)

»Wir planen bereits, technologische Vorreiterkonfigurationen mit ausgefallenen Ideen wie volumetrisches Recording bei Konzerten und Messen weiter zu erforschen. Dabei können sich die Teilnehmer*innen, ausgestattet mit Head Mounted Displays, virtuell im Raum bewegen. Diese können individuell entscheiden, aus welcher Richtung sie das Konzert oder die Show erleben. Wir freuen uns darauf, unsere Erkenntnisse mit Ihnen zu teilen!« (Siegfried Fößel, Fraunhofer IIS)

Haben Sie das Konzert oder den Livestream verpasst? Sehen Sie sich hier das Ankündigungsvideo der Veranstaltung an und bleiben Sie dran für das Video des Live-Events!

Über Virtual LiVe

Das Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS, das Fraunhofer-Institut für Nachrichtentechnik – Heinrich-Hertz-Institut HHI und das Fraunhofer-Institut für Integrierte Schaltungen IIS arbeiten gemeinsam an dem Projekt Virtual LiVe – Virtualisierung von Live-Events durch audiovisuelle Immersion. Das Projekt wird vom 3IT – Innovation Center for Immersive Imaging Technologies – betreut und durch das Programm »KMU-akut« der Fraunhofer-Gesellschaft gefördert. Ziel des Projekts ist es, klassische Veranstaltungsformate durch den Einsatz neuer immersiver Medientechnologien (z.B. 3D-Audio, 360°-Video-Streaming, interaktives low-latency streaming und advanced stream analytics) digital zu ergänzen und einen Mehrwert gegenüber herkömmlichen Videostreams über das Internet zu schaffen.