Virtual LiVe

Die Komplexität neuer Technologien und die häufig damit verbundenen hohen Implementierungskosten für eigene Online-Plattformen, erschweren Kulturschaffenden ihre Angebote auf dem aktuellen Stand der Technik anzubieten. Die drei Institute Fraunhofer FOKUS, Fraunhofer HHI und Fraunhofer IIS haben daher das Projekt Virtual LiVe gestartet. Virtual LiVe strebt in diesem Zusammenhang die Entwicklung einer Plattform an, die in Form eines Baukastensystems anwendbare und skalierbare High-End-Lösungen für die Event-Streaming-Bedürfnisse unterschiedlicher Branchen bietet. Aus diesem Baukastensystem können sich KMUs ein maßgeschneidertes Programm für ihre jeweiligen Veranstaltungsbedürfnisse zusammenstellen und erhalten so eine technologiebasierte Lösung für die Realisierung ihrer Formate. Bestehende Angebote sollen dadurch hinsichtlich Qualität, Barrierefreiheit (Bezahlschranken, Hardwareeinbindung, Voraussetzung hoher Internetgeschwindigkeit etc.) und rechtlicher Aspekte (besonders bei den Themen Datensouveränität und EU-Datenschutzrichtlinien) deutlich übertroffen werden.

Innovative Medientechnologien von Fraunhofer FOKUS ermöglichen Streaming mit geringer Latenz über Content Delivery Netzworks unter Verwendung von Streamingstandards wie MPEG-DASH und CMAF. Die Standard-konforme MPEG-DASH Ende-zu-Ende-Lösung FAMIUM DASH ist auf unterschiedlichen Plattformen, wie z. B. Mobilgeräten, Web, TV oder Virtual-Reality-Geräten, einsetzbar. Der von Fraunhofer FOKUS federführend mitentwickelte Open Source Player »dash.js« kann auf allen webbasierten Plattformen genutzt werden. Der low-latency Modus des Players ermöglicht während einer Live-Übertragung eine nahtlose Interaktion mit dem Publikum, wodurch z. B. Feedback der Teilnehmer zur Veranstaltung eingeholt werden kann. Darüber hinaus wird das Metrik-Reporting- und Streaming-Analysetool FAMIUM SAND in die Virtual-Live-Plattform integriert, um die Streaming-Performance und das Niveau der Kundenzufriedenheit (QoE) zu überwachen.

Außerdem arbeiteten Forschende von Fraunhofer FOKUS im Projekt an der immersiven Visualisierung der neuartigen Medienformate in Rundum-Projektionen, mit Hilfe von VR/AR-Brillen oder auf Mobilgeräten. Auf diese Weise können Konzerte als 360°-Live-Stream in Planetarien übertragen werden. Nicht vor Ort anwesende Zuschauer haben die Möglichkeit, interaktiv 360°-Kameras an Kamera-Kränen zu steuern und zu bewegen. So kann der Betrachtungswinkel durch den Zuschauer selbst gewählt werden.

Zuschauer, die mit einer VR-Brille ausgestattet sind, können während eines Live-Konzerts »virtuell« mitten ins Geschehen eintauchen und so z. B. mitten auf der Bühne am Konzert teilnehmen. Durch eine 3D-360°-Kamera auf der Bühne erhalten sie in Echtzeit die Rundum-Sicht zu Hause in die VR-Brille gestreamt. Sie haben das Gefühl, tatsächlich auf der Bühne zu stehen. Durch eine Webcam oder die Sensoren der VR-Brille und einen VR-Controller können die Bewegungen und Gesten vom Zuschauer Zuhause an die Bühne übertragen werden, sodass der Zuschauer auf einem Monitor auf der Bühne visualisiert (per Live-Video oder 3D-Avatar) wird. Auf diese Weise kann er mittanzen oder mitmusizieren (z. B. virtuelles Schlagzeug, (Luft-)Gitarre, etc.) und mit den Musikern direkt interagieren (z. B. headbangen, High-Five, etc.).

Virtual LiVe wird im Innovationszentrum 3IT gehostet und im Rahmen des »KMU-akut«-Programms »Forschung für den Mittelstand« der Fraunhofer-Gesellschaft gefördert.

Über 3IT

Das 3IT – Innovation Center for Immersive Imaging Technologies wurde vom Fraunhofer Heinrich Hertz-Institut gegründet und wird von ihm betrieben. Es ist Partnernetzwerk, Forschungseinrichtung, Entwicklungslabor und Showroom. Der Schwerpunkt liegt dabei auf Technologien wie 3D, UHD, HFR und HDR sowie Bild- und Videoanwendungen für den medizinischen und industriellen Bereich.

Das 3it bietet seinen Partnern die einzigartige Gelegenheit, gemeinsam immersive Bildgebungsverfahren in einem vorwettbewerblichen Umfeld weiterzuentwickeln. Mit seinen 600 Quadratmetern bietet das 3IT nicht nur ein virtuelles Netzwerk, sondern ist auch Präsentationsplattform und Veranstaltungsort. Das 3IT setzt Impulse für neue Synergien bei Produktentwicklung, Marketing und Vertrieb.