Fraunhofer-Institut für Offene KommunikationssystemeFraunhofer FOKUS stellt Assistenzsysteme und Nutzerschnittstellen zur Verfügung, die Benutzer möglichst intuitiv bei seiner Tätigkeit unterstützen. Dafür entwickelt das Forschungsteam echtzeitfähige Algorithmen für Visualisierung, Tracking, Datenfusion und Interaktion. Unsere Technologien kommen bei der Autokalibrierung von Projektionssystemen, bei der Anreicherung von bildgebenden Verfahren mit Zusatzinformationen, der Positionsbestimmung und Verfolgung von Bewegungen für Assistenzsysteme ebenso zum Einsatz wie bei der Entwicklung von Simulatoren.
Immersive Visualisierung
Reiternavigation
Projektor-Autoalignment
Projektor-Autoalignment für beliebig geformte Leinwände
Bei der Projektion von Inhalten auf gebogene Leinwände, wie Panorama- oder Kuppelprojektionen, ist in vielen Fällen ein Multi-Projektor-System notwendig. Die Herausforderung besteht darin, die Projektoren mit vertretbarem Zeitaufwand so aufeinander abzustimmen, dass ein homogenes Bild entsteht.
Fraunhofer FOKUS hat dafür ein kamerabasiertes Verfahren zur automatischen Projektorkalibrierung entwickelt, das sich durch hohe Flexibilität und Geschwindigkeit auszeichnet. Mit Digitalkameras werden zunächst Testbilder aufgenommen, die auf den Screen projiziert werden. Mit Bildverarbeitungsalgorithmen werden die Teilbilder nun so verzerrt und an die Projektionsfläche angepasst, dass sich ein hoch aufgelöstes, nahtloses Gesamtbild ergibt. An den Stellen, wo sich die Teilbilder der Projektoren überlappen, werden sie automatisch exakt aneinander angepasst.
Verändert sich die Position und damit auch das Bild eines Projektors, startet man den Kalibrierungsvorgang erneut und das Bild wird automatisch wieder in die Gesamtprojektion eingepasst. Die Projektions-Leinwand kann dabei jede beliebige Form haben: Kuppeln, Kugeln, Zylinder und gebogene Screens sind nur einige Beispiele.
Das System deckt somit alle nötigen Funktionen für eine automatische Multi-Projektor-Kalibrierung ab: Geometriekorrektur (Warping), automatische Helligkeitskorrektur (Softedge-Blending) und Projektor-Autoalignment. Fraunhofer FOKUS hält mehrere Patente auf ihre kamera-basierte Projektor-Autokalibrierung. Neben Projektor-Clustern können mit dem Verfahren auch Kamera-Cluster kalibriert werden.
Datenschutz und Datenverarbeitung
Wir setzen zum Einbinden von Videos den Anbieter YouTube ein. Wie die meisten Websites verwendet YouTube Cookies, um Informationen über die Besucher ihrer Internetseite zu sammeln. Wenn Sie das Video starten, könnte dies Datenverarbeitungsvorgänge auslösen. Darauf haben wir keinen Einfluss. Weitere Informationen über Datenschutz bei YouTube finden Sie in deren Datenschutzerklärung unter: https://policies.google.com/privacySurround Vision – Perfekt synchronisierte Projektionen auf Oberflächen jeder Form
Fraunhofer FOKUS lizenziert die Software (Warping, Blending und Autokalibrierung) und integriert sie in bestehende Systeme, wie Medienserver, Warping-Boxen und Projektoren.
In den letzten zehn Jahren wurden mehr als 130 Multi-Projektor-Installationen mit mehr als 600 Projektoren in 13 Ländern weltweit mit der Fraunhofer FOKUS Software für Projektor-Autoalignment, Warping und Edgeblending realisiert. Die meisten der Installationen sind Planetariums-Kuppeln, Vergnügungsparks, Flugsimulatoren und 3D Dome-Kinos.
Im Jahre 2013 veröffentlichte Fraunhofer FOKUS Details ihrer automatischen Projektorkalibrierung im Buch »Fullspace-Projektion. Mit dem 360°Lab zum Holodeck«, das beim Springer Verlag erschien.
Warping und Blending
Warping und Blending für jede Anwendung
Gebündelte Informationen im Multimedia-Kontrollraum
Zusammen mit dem Grafikchip-Hersteller NVIDIA haben Forschende von Fraunhofer FOKUS einen Prozess für das Desktop Warping entwickelt. Durch die Implementierung auf der Ebene des Grafiktreibers wird das Warping und Blending für alle Anwendungen nutzbar. Der Prozess kommt bereits erfolgreich in Multimediakontrollräumen zum Einsatz.
Mediaserver für Multi-Projektorsysteme
Medienserver für Multi-Projektorsysteme
Großformatige oder weitwinklige Projektionen sind ohne Spezialgeräte nur zu realisieren, indem das Bild auf mehrere Projektoren verteilt wird. Der Medienserver von Fraunhofer FOKUS, der in enger Kooperation mit Carl Zeiss entwickelt wurde, sorgt für eine autokalibrierende Projektion auf beliebig geformte Flächen und besteht aus dem Showplayer, Screen-Configurator und dem Showmanager.
Der Player stellt die Medien (z. B. Filme, Videos, Sounds und Text) dar und versorgt jeden Projektor mit seinem (Teil-) Bild. Die Bildberechnungen erfolgen auf gewöhnlichen PCs, so dass keine Spezialhardware notwendig ist.
Der Screen-Configurator ist das Planungstool. Mit ihm definiert man im Voraus die Projektionsgeometrie und erstellt ein geeignetes Projektor-Setting, das den jeweiligen Projektortyp berücksichtigt und die Projektorenanzahl, -position und -orientierung festlegt. Er ist für die Autokalibrierung verantwortlich und berechnet die Verzerrungsvorschriften, die der Player benötigt, um ein nahtloses Gesamtbild hinsichtlich Geometrie, Helligkeit und Farbe aus den Projektorteilbildern zusammenzusetzen.
Mit dem Showplayer werden verschiedene Medientypen zu Shows kombiniert und in Echtzeit mit einer Auflösung von 8k x 8k abgespielt. Ähnlich wie mit einem Videoschnittprogramm können verschiedene Medientypen, z. B. Filme und Standbilder kombiniert sowie externe Geräte integriert werden. Auch Gamepads oder Joysticks können für eine immersive Spieleanwendung an das System angeschlossen werden. Darüber hinaus ist auch eine gerätelose Steuerung der Multi-Media-Inhalte durch Gesten möglich. Durch die Möglichkeit, verschiedene Medien in Echtzeit zu kombinieren (Realtime Compositing), kann Live-Input problemlos eingebunden werden.
Die Technologie ist für Aktiv- und Passiv-Stereoprojektionen geeignet.
Die Software kann auf zweierlei Arten lizenziert werden: Als Stand-Alone-Lösung kann die Software Multiprojektorsysteme unmittelbar steuern. Alternativ können einzelne Bestandteile des Systems in vorhandene Visualisierungssysteme integriert werden. Für eine Weiterentwicklung des Systems steht Fraunhofer FOKUS seinen Lizenznehmern als kompetenter Partner zur Verfügung. Carl Zeiss verwendet das System als Basis für das PowerDome-System (digitales Planetarium).
XR-Technologien
Extended-Reality (XR)-Technologien
Computergestützte Erweiterungen greifen heute immer stärker in unsere Wahrnehmung der Umwelt ein. So ermöglichen Augmented-Reality (AR)- und Mixed-Reality-Anwendungen die Einbindung von Zusatzinformationen in ein Bild der Umgebung. Eingesetzt werden sie z. B. in Apps für die Navigation oder die Besichtigung von historischen Orten. Die so erzeugten Bilder können den Nutzer in längst vergangene Zeiten zurückversetzen und mit Zusatzinformationen versorgen. Auch bei der Erforschung von unzugänglichen Orten oder bei Produktionsprozessen in der Fabrik kommen Augmented-Reality-Technologien zum Einsatz.
Dahingegen erschaffen Virtual-Reality (VR)-Anwendungen komplett virtuell generierte Umgebungen in die der Betrachter mithilfe von speziellen Brillen eintauchen kann. Sie ermöglichen z. B. die Darstellung und Erforschung von komplexen Strukturen oder Objekten in 3D. Der Nutzer kann solche Objekte von allen Seiten betrachten und sich in virtuellen Umgebungen frei bewegen.
Je nach Anwendungsfall laufen die Anwendungen auf verschiedenen Smartphones, Tablets, AR-Brillen (z. B. Microsoft HoloLens, Meta2) oder VR-Brillen (z. B. Oculus Rift, HTC Vive).
Durch Projektionen kann AR sogar ganz ohne ein zusätzliches Gerät des Nutzers umgesetzt werden. Die Technologie wurde bereits in verschiedenen Projekten eingesetzt:
- ARMARE – Augmented Reality-Telepräsenz-System für die Tiefsee
- Visualisierung von komplexen Graphenstrukturen mithilfe von VR-Technologien
Die Forschenden bei Fraunhofer FOKUS arbeiten darüber hinaus an Technologien für Augmented-, Mixed- und Virtual-Reality-Anwendungen. Diese werden unter dem Begriff Extended-Reality (XR) zusammengefasst. Ihre Kunden beraten sie zu aktuellen Technologien (VR, AR und MR) sowie passenden Geräten für die kundenspezifischen Anwendungen. Darüber hinaus entwickeln und implementieren sie Prototypen sowie Apps und Programme zur Steuerung von VR-, AR- und MR-Technologien. Mit ihrem Angebot decken sie den gesamten Wertschöpfungsprozess ab.