Live-Events haben einen festen Platz in unserer Gesellschaft. Vom klassischen Konzert bis zum Festival wollen Menschen mit ihren eigenen Sinnen Eindrücke sammeln. Nicht nur die aktuelle COVID-19-Pandemie, sondern auch ökologische und lebenspraktische Faktoren, wie eine zu weite Anreise oder etwa der Mangel an abendlicher Kinderbetreuung, führen dazu, dass viele Personen Veranstaltungen fernbleiben müssen. Genau hier setzen technische Lösungen an, die durch audiovisuelle Immersion ein Publikumserlebnis möglich machen, das dem »live-dabei-sein« viel näher kommt als bisher gängige Formate.

Die rasante Entwicklung digitaler Medienformate und -angebote in Kombination mit immer leistungsfähigeren Wiedergabegeräten wie Smartphones oder Tablets bietet vielfältige Chancen für die digitale Ergänzung klassischer Aufführungspraxis, etwa bei Konzerten, Theaterstücken oder anderen Eventformaten wie zum Beispiel Kongressen oder Messen. Darüber hinaus bietet die Digitalisierung umfassende Möglichkeiten zur Entwicklung eigenständiger Formate und der Adressierung neuer Zielgruppen.

Die Komplexität neuer Technologien und die häufig damit verbundenen hohen Implementierungskosten für eigene Online-Plattformen, erschweren Kulturschaffenden ihre Angebote auf dem aktuellen Stand der Technik anzubieten. Die drei Institute Fraunhofer FOKUS, Fraunhofer HHI und Fraunhofer IIS haben daher das Projekt Virtual LiVe gestartet. Virtual LiVe strebt in diesem Zusammenhang die Entwicklung einer Plattform an, die in Form eines Baukastensystems anwendbare und skalierbare High-End-Lösungen für die Event-Streaming-Bedürfnisse unterschiedlicher Branchen bietet. Aus diesem Baukastensystem können sich KMUs ein maßgeschneidertes Programm für ihre jeweiligen Veranstaltungsbedürfnisse zusammenstellen und erhalten so eine technologiebasierte Lösung für die Realisierung ihrer Formate. Bestehende Angebote sollen dadurch hinsichtlich Qualität, Barrierefreiheit (Bezahlschranken, Hardwareeinbindung, Voraussetzung hoher Internetgeschwindigkeit etc.) und rechtlicher Aspekte (besonders bei den Themen Datensouveränität und EU-Datenschutzrichtlinien) deutlich übertroffen werden.

Innovative Medientechnologien von Fraunhofer FOKUS ermöglichen Streaming mit geringer Latenz über Content Delivery Netzworks unter Verwendung von Streamingstandards wie MPEG-DASH und CMAF. Die Standard-konforme MPEG-DASH Ende-zu-Ende-Lösung FAMIUM DASH ist auf unterschiedlichen Plattformen, wie z. B. Mobilgeräten, Web, TV oder Virtual-Reality-Geräten, einsetzbar. Der von Fraunhofer FOKUS federführend mitentwickelte Open Source Player »dash.js« kann auf allen webbasierten Plattformen genutzt werden. Der low-latency Modus des Players ermöglicht während einer Live-Übertragung eine nahtlose Interaktion mit dem Publikum, wodurch z. B. Feedback der Teilnehmer zur Veranstaltung eingeholt werden kann. Darüber hinaus wird das Metrik-Reporting- und Streaming-Analysetool FAMIUM SAND in die Virtual-Live-Plattform integriert, um die Streaming-Performance und das Niveau der Kundenzufriedenheit (QoE) zu überwachen.

Außerdem arbeiteten Forschende von Fraunhofer FOKUS im Projekt an der immersiven Visualisierung der neuartigen Medienformate in Rundum-Projektionen, mit Hilfe von VR/AR-Brillen oder auf Mobilgeräten. Auf diese Weise können Konzerte als 360°-Live-Stream in Planetarien übertragen werden. Nicht vor Ort anwesende Zuschauer haben die Möglichkeit, interaktiv 360°-Kameras an Kamera-Kränen zu steuern und zu bewegen. So kann der Betrachtungswinkel durch den Zuschauer selbst gewählt werden.

Zuschauer, die mit einer VR-Brille ausgestattet sind, können während eines Live-Konzerts »virtuell« mitten ins Geschehen eintauchen und so z. B. mitten auf der Bühne am Konzert teilnehmen. Durch eine 3D-360°-Kamera auf der Bühne erhalten sie in Echtzeit die Rundum-Sicht zu Hause in die VR-Brille gestreamt. Sie haben das Gefühl, tatsächlich auf der Bühne zu stehen. Durch eine Webcam oder die Sensoren der VR-Brille und einen VR-Controller können die Bewegungen und Gesten vom Zuschauer Zuhause an die Bühne übertragen werden, sodass der Zuschauer auf einem Monitor auf der Bühne visualisiert (per Live-Video oder 3D-Avatar) wird. Auf diese Weise kann er mittanzen oder mitmusizieren (z. B. virtuelles Schlagzeug, (Luft-)Gitarre, etc.) und mit den Musikern direkt interagieren (z. B. headbangen, High-Five, etc.).

Virtual LiVe wird im Innovationszentrum 3IT gehostet und im Rahmen des »KMU-akut«-Programms »Forschung für den Mittelstand« der Fraunhofer-Gesellschaft gefördert.