Immersive Visualisierung

Bei der Projektion von Inhalten auf gebogene Leinwände, wie Panorama- oder Kuppelprojektionen, ist in vielen Fällen ein Multi-Projektor-System notwendig. Die Herausforderung besteht darin, die Projektoren mit vertretbarem Zeitaufwand so aufeinander abzustimmen, dass ein homogenes Bild entsteht.

Fraunhofer FOKUS hat dafür ein kamerabasiertes Verfahren zur automatischen Projektorkalibrierung entwickelt, das sich durch hohe Flexibilität und Geschwindigkeit auszeichnet. Mit Digitalkameras werden zunächst Testbilder aufgenommen, die auf den Screen projiziert werden. Mit Bildverarbeitungsalgorithmen werden die Teilbilder nun so verzerrt und an die Projektionsfläche angepasst, dass sich ein hoch aufgelöstes, nahtloses Gesamtbild ergibt. An den Stellen, wo sich die Teilbilder der Projektoren überlappen, werden sie automatisch exakt aneinander angepasst.

Verändert sich die Position und damit auch das Bild eines Projektors, startet man den Kalibrierungsvorgang erneut und das Bild wird automatisch wieder in die Gesamtprojektion eingepasst. Die Projektions-Leinwand kann dabei jede beliebige Form haben: Kuppeln, Kugeln, Zylinder und gebogene Screens sind nur einige Beispiele.

Das System deckt somit alle nötigen Funktionen für eine automatische Multi-Projektor-Kalibrierung ab: Geometriekorrektur (Warping), automatische Helligkeitskorrektur (Softedge-Blending) und Projektor-Autoalignment. Fraunhofer FOKUS hält mehrere Patente auf ihre kamera-basierte Projektor-Autokalibrierung. Neben Projektor-Clustern können mit dem Verfahren auch Kamera-Cluster kalibriert werden.

Fraunhofer FOKUS lizenziert die Software (Warping, Blending und Autokalibrierung) und integriert sie in bestehende Systeme, wie Medienserver, Warping-Boxen und Projektoren.

In den letzten zehn Jahren wurden mehr als 130 Multi-Projektor-Installationen mit mehr als 600 Projektoren in 13 Ländern weltweit mit der Fraunhofer FOKUS Software für Projektor-Autoalignment, Warping und Edgeblending realisiert. Die meisten der Installationen sind Planetariums-Kuppeln, Vergnügungsparks, Flugsimulatoren und 3D Dome-Kinos.

Im Jahre 2013 veröffentlichte Fraunhofer FOKUS Details ihrer automatischen Projektorkalibrierung im Buch »Fullspace-Projektion. Mit dem 360°Lab zum Holodeck«, das beim Springer Verlag erschien.

Der Screen-Configurator ist das Planungstool. Mit ihm definiert man im Voraus die Projektionsgeometrie und erstellt ein geeignetes Projektor-Setting, das den jeweiligen Projektortyp berücksichtigt und die Projektorenanzahl, -position und -orientierung festlegt. Er ist für die Autokalibrierung verantwortlich und berechnet die Verzerrungsvorschriften, die der Player benötigt, um ein nahtloses Gesamtbild hinsichtlich Geometrie, Helligkeit und Farbe aus den Projektorteilbildern zusammenzusetzen.

Mit dem Showplayer werden verschiedene Medientypen zu Shows kombiniert und in Echtzeit mit einer Auflösung von 8k x 8k abgespielt. Ähnlich wie mit einem Videoschnittprogramm können verschiedene Medientypen, z. B. Filme und Standbilder kombiniert sowie externe Geräte integriert werden. Auch Gamepads oder Joysticks können für eine immersive Spieleanwendung an das System angeschlossen werden. Darüber hinaus ist auch eine gerätelose Steuerung der Multi-Media-Inhalte durch Gesten möglich. Durch die Möglichkeit, verschiedene Medien in Echtzeit zu kombinieren (Realtime Compositing), kann Live-Input problemlos eingebunden werden.

Die Technologie ist für Aktiv- und Passiv-Stereoprojektionen geeignet.

Die Software kann auf zweierlei Arten lizenziert werden: Als Stand-Alone-Lösung kann die Software Multiprojektorsysteme unmittelbar steuern. Alternativ können einzelne Bestandteile des Systems in vorhandene Visualisierungssysteme integriert werden. Für eine Weiterentwicklung des Systems steht Fraunhofer FOKUS seinen Lizenznehmern als kompetenter Partner zur Verfügung. Carl Zeiss verwendet das System als Basis für das PowerDome-System (digitales Planetarium).

Je nach Anwendungsfall laufen die Anwendungen auf verschiedenen Smartphones, Tablets, AR-Brillen (z. B. Microsoft HoloLens, Meta2) oder VR-Brillen (z. B. Oculus Rift, HTC Vive).

Durch Projektionen kann AR sogar ganz ohne ein zusätzliches Gerät des Nutzers umgesetzt werden. Die Technologie wurde bereits in verschiedenen Projekten eingesetzt:

• ARMARE – Augmented Reality-Telepräsenz-System für die Tiefsee
• Visualisierung von komplexen Graphenstrukturen mithilfe von VR-Technologien

Die Forschenden bei Fraunhofer FOKUS arbeiten darüber hinaus an Technologien für Augmented-, Mixed- und Virtual-Reality-Anwendungen. Diese werden unter dem Begriff Extended-Reality (XR) zusammengefasst. Ihre Kunden beraten sie zu aktuellen Technologien (VR, AR und MR) sowie passenden Geräten für die kundenspezifischen Anwendungen. Darüber hinaus entwickeln und implementieren sie Prototypen sowie Apps und Programme zur Steuerung von VR-, AR- und MR-Technologien. Mit ihrem Angebot decken sie den gesamten Wertschöpfungsprozess ab.

Gestochen scharfe Bilder, Surround-Sound in höchster Qualität, 3D-Filme, der Zuschauer hautnah dabei: So könnte das Kino der Zukunft aussehen. Vorreiter sind 3D- und Imax-Kinos. Zwar arbeiten diese noch mit herkömmlichem Filmmaterial, aber sie projizieren Bilder in hoher Qualität an eine gekrümmte Projektionsfläche, so dass der Zuschauer das Gefühl hat, mitten drin zu sein. Dieses Vergnügen hat seinen Preis. Tonnenschwere Spezialprojektoren sind das Herzstück solcher Kinos. Für Aufnahme und Vorführung müssen aufwändige und teure Dreh- und Abspieltechniken eingesetzt werden. Die Filme sind deshalb meist kurz, das Angebot ist beschränkt und auch die Zahl der »Kuppel-Kinos« überschaubar. Durchgesetzt hat sich die digitale Ganzkuppelprojektion bisher nur in Planetarien. Dafür werden seit einigen Jahren unterschiedliche Technologien angeboten.

Eine neue Lösung für eine digitale Kuppelprojektion hat Fraunhofer FOKUS in enger Zusammenarbeit mit Carl Zeiss entwickelt. Sie ermöglicht die Darstellung digitaler Bilder und Videos auf einer Halbkugel auf der Basis von Standard-Projektoren und Standard-PCs – selbst bei hochaufgelösten Bildern ohne Qualitätsverlust. Die Entzerrung der Bilder, Überblendung und die Synchronisation der einzelnen Komponenten an der Kuppel erfolgen dabei in Echtzeit.

Bildentzerrung in Echtzeit

Wer heute digitale Filme auf gekrümmten Flächen zeigen will, hat bereits viel Arbeit hinter sich: Ehe die Vorführung startet, werden am Rechner die einzelnen Szenen mit einem Video-Schnittprogramm zusammengestellt und das komplette Video berechnet. Dabei werden die Teilbilder so verzerrt, dass sie sich der gekrümmten Projektionsfläche anpassen und dort einen realitätsnahen Eindruck erzeugen. Ein Film passt jedoch nur so lange zur Leinwand, bis sich etwas an der Position des Projektors oder der Struktur der Projektionsfläche verändert. Dann sind aufwändige Justierungen erforderlich – oder aber das Video muss, entsprechend den veränderten Gegebenheiten, neu berechnet werden. 

Die von Fraunhofer FOKUS entwickelte digitale Kuppelprojektion setzt auf ein so genanntes autokalibrierendes Display, das die Bilder in Echtzeit, entsprechend den aktuellen technischen Gegebenheiten in der Kuppel, entzerrt, und so die oben erwähnten Justierungen überflüssig macht. Dabei wird mit Hilfe einer Kamera und Kalibrierungsbildern die Abbildung auf die Projektionsfläche abgestimmt. So können auch kleinste Ungenauigkeiten in der Entzerrung online berichtigt werden.

Technologie

Grundsätzlich ist die Größe der Kuppel, an die mit dem digitalen System von Fraunhofer FOKUS projiziert wird, beliebig skalierbar. Die Hardware besteht aus sieben handelsüblichen Rechnern und sechs Standard-Projektoren. Diese erzeugen sechs Teilbilder, fünf im Außenbereich und ein Bild in der Mitte der Kuppel. Die Entzerrung des Bildes wird mit der von Fraunhofer FOKUS entwickelten autokalibrierenden Software in Echtzeit durchgeführt. Diese Software sorgt gleichzeitig für ein nahtloses Blending. Die Teilbilder liegen also passgenau und ohne sichtbare Naht aneinander. Die von einem solchen Kuppelvideo abspielbare Auflösung beträgt 4000 × 4000 Pixel und höher und liegt damit über dem Wert des digitalen Kinos von 2048 × 4096 Pixel. Die Projektoren werden von einem PC-Cluster gesteuert, der aus einem Server und sechs Grafik-Clients besteht. Der Server übernimmt neben der Steuerung, Verteilung und Synchronisierung der Szene auch die Systemkalibrierung, Geometrieerkennung und Parameterbestimmung für die Geometrieverzerrung. Die eigentliche Bildvorverzerrung erfolgt für jedes projizierte Bild in Echtzeit auf den Clients. Zum Erstellen und Abspielen der Projektionsinhalte steht ein verteilter Show-Player zur Verfügung, der auf allen Rechnern parallel läuft. Ähnlich wie ein Video-Schnittprogramm ermöglicht er die Zusammenstellung einzelner Bestandteile, wie etwa Grafiken, Texte, Filme und Ton – allerdings ohne aufwändiges Erzeugen eines hochaufgelösten Videos, wie es bei einem Video-Schnittprogramm notwendig ist. Er steuert auch das synchrone Abspielen aller Einzelkomponenten, so dass das vollständige Berechnen des kompletten Videos vor der Vorführung entfällt.

Anwendungsbereiche

Die digitale Kuppelprojektion kann immer dann eingesetzt werden, wenn es darum geht, den Zuschauer mitten ins Geschehen zu bringen oder ihm eine »Rundumsicht« auf die dargestellten Dinge zu ermöglichen. Grundsätzlich ist diese Player- und Autokalibrierungstechnologie für beliebig geformte Projektionsflächen und vielfältige Kombinationen von Projektoren nutzbar. Neben einem Einsatz in digitalen Kinos oder bei Produktpräsentationen ist auch die Anwendung im Planetarium möglich.

Partner

Carl Zeiss