In diesem Beitrag stellen wir eine Lösung vor, um größere virtuelle Umgebungen in einem begrenzten physischen Raum mit Mixed Reality zu erkunden.
Anwendungsfälle
Typische Anwendungsfälle für das Erkunden größerer Umgebungen sind:
- Architekturvisualisierung – Wie würde mein neues Haus aussehen? Wie ist der Grundriss, und wie groß sind die Räume?
- Orte mit eingeschränktem Zugang erleben – Wie groß (oder klein) ist die Internationale Raumstation wirklich? Wie riesig sind diese gewaltigen Mining-Lkw?
- Orte der Vergangenheit erkunden – Wie wäre es, in der alten Wikinger-Hauptstadt Schwedens zu spazieren, die heute nicht mehr existiert?
Beim Beispiel der Architekturvisualisierung stelle dir eine virtuelle Darstellung eines neuen oder bestehenden Gebäudes vor, das du betrachten und umrunden kannst. Dafür definieren wir mehrere Positionen in und um das Gebäude, in denen du dich bewegen kannst. Du kannst zwischen diesen Positionen teleportieren, zum Beispiel per Controller-Eingabe oder indem du in Richtung einer anderen Position blickst und eine bestimmte Handbewegung ausführst.
Das ist eine hervorragende Möglichkeit, ein Gebäude zu erleben und ein echtes Gefühl für Größe und Grundriss zu bekommen – und deutlich immersiver als ein Grundriss oder sogar ein Video auf einem Flachbildschirm desselben Gebäudes.
Teleportation ist ein wichtiges Feature, damit Nutzerinnen und Nutzer eine Umgebung erleben können, die viel größer ist als der verfügbare physische Raum in der realen Welt um sie herum. Andernfalls könnten sie nur einen sehr begrenzten Bereich der Umgebung aus der Nähe erkunden – oder sie bräuchten einen sehr großen freien physischen Raum, was recht unpraktisch und teuer ist.
Unten siehst du ein Beispiel einer virtuellen Umgebung mit drei separaten „Origins“, zwischen denen der Nutzer teleportieren kann.

In der Experience sieht es wie in den Bildern unten aus.



In jedem der Origins kann der Nutzer bis zu den Grenzen des physischen Raums in der realen Welt laufen.
Das Teleportieren zwischen verschiedenen Origins ist nahezu sofort, um Störungen zu minimieren. Wir haben einen kurzen Bildschirm-Fade-Effekt hinzugefügt, um die Teleportation klar anzuzeigen, wie im Video unten zu sehen ist.

Wenn du auf den Play-Button klickst, wird der YouTube-Player eingebettet und Cookies von Drittanbietern gesetzt und Daten von YouTube gesammelt.
Mixed Reality vs. Free Roam
Eine naheliegende Frage wäre: Warum nicht einfach ein Full-VR-Free-Roam-Setup verwenden, das viel einfacher zu bauen ist?
Bei einem Full-VR-Free-Roam-Setup wie unserem Mission: Vertical braucht man normalerweise einen vollständig hindernisfreien physischen Raum mit einer vordefinierten Mindestgröße (z. B. 3×3 Meter) für eine optimale Experience. Und da es in einer reinen VR-Experience keine Passthrough-Option gibt, brauchen Nutzerinnen und Nutzer viel Vertrauen, dass der Raum tatsächlich frei von Hindernissen ist und dass das Positions-Tracking keinen Drift hat. Das kann den Komfort verringern und für manche ein Hindernis sein, die Experience überhaupt zu spielen.
Während ein Full-VR-Free-Roam-Setup also eine ähnliche Experience bieten könnte, bringt das Mixed-Reality-Feature-Set klare Vorteile für den Nutzer:
Room Scanstellt sicher, dass das Raumlayout – einschließlich größerer Hindernisse wie Möbel – der Experience bekannt ist und eingeblendet werden kann, wenn der Nutzer ihnen im physischen Raum nahekommtAdaptive Passthroughermöglicht es, die virtuelle Welt in ausgewählten Situationen mit der realen Welt zu vermischen – zum Beispiel um den Bereich um die Füße des Nutzers für mehr Komfort und Vertrauen immer sichtbar zu machen und wenn die Grenzen des physischen Raums erreicht werdenWorld Lockstellt sicher, dass die virtuelle Welt kontinuierlich mit der realen Welt ausgerichtet bleibt und eine mögliche Diskrepanz zwischen virtueller und realer Orientierung stark reduziert. Auch wenn die Anpassungen typischerweise nur wenige Millimeter pro Frame betragen, stabilisiert es die virtuelle Welt, indem sie an der realen Welt verankert wird – was potenzielle Motion Sickness verringert.
Die Bilder unten zeigen verschiedene Stufen des Passthrough-Fades, indem die Entfernung angepasst wird, ab der Passthrough in der Experience sichtbar ist.



Für mehr Komfort und Vertrauen beim Herumlaufen in der Experience kann der Nutzer seine Füße und Raumgrenzen immer sehen, wenn er nah genug herankommt, wie im Video unten zu sehen ist.

Wenn du auf den Play-Button klickst, wird der YouTube-Player eingebettet und Cookies von Drittanbietern gesetzt und Daten von YouTube gesammelt.
Adaptive Passthrough kann in der Experience angepasst werden, um Störungen zu minimieren, wie im Video unten zu sehen ist.

Wenn du auf den Play-Button klickst, wird der YouTube-Player eingebettet und Cookies von Drittanbietern gesetzt und Daten von YouTube gesammelt.
Tech-Stack
Für diese Exploration nutzen wir folgenden Tech-Stack:
Technische Herausforderungen
Normalerweise wird in einem Mixed-Reality-Setup mit dem MetaXR-Plugin für Unreal Engine der Nutzer immer am virtuellen Weltursprung (0, 0, 0) platziert und kann sich nicht an andere Positionen in der virtuellen Welt bewegen. Die virtuelle Darstellung des realen Raums wird ebenfalls am Weltursprung platziert.
Um dem Nutzer zu erlauben, zu verschiedenen Positionen (und sogar Orientierungen) in der virtuellen Welt zu teleportieren, müssen wir sicherstellen, dass sowohl der Nutzer als auch der Raum korrekt positioniert und orientiert sind und dass das Feature World Lock ordnungsgemäß funktioniert.
Die Standard-World-Lock-Implementierung im MetaXR-Plugin hält den Nutzer sehr nah am Weltursprung – was offensichtlich nicht funktioniert, wenn wir den Nutzer woanders in der virtuellen Welt platzieren wollen. Dafür haben wir die Standardimplementierung deaktiviert und eine eigene Implementierung bereitgestellt, die die aktuelle Position/Orientierung des Nutzers berücksichtigt.
Wir haben folgende alternative Lösungen evaluiert und verworfen, die den Nutzer immer am Weltursprung belassen hätten:
- Die gesamte virtuelle Welt zum Nutzer bewegen, statt den Nutzer zu bewegen. Das wurde verworfen, weil dafür alle Geometrie als
Movablegesetzt werden müsste – was wiederum vollständig dynamisches Lighting erfordern würde, was auf einem VR-Headset nicht praktikabel ist. - Die virtuelle Welt in ein Sublevel legen und das Sublevel an einer bestimmten Position/Orientierung laden, wenn der Nutzer zu einer anderen Position teleportiert. Das wurde verworfen, weil die Teleportation sehr umständlich wäre: virtuelle Welt ausblenden, Sublevel vollständig entladen, Sublevel an anderer Position/Orientierung laden und virtuelle Welt wieder einblenden. Besonders bei einer größeren virtuellen Welt könnte das viel Zeit in Anspruch nehmen und für den Nutzer sehr störend sein.
Fazit
Ein Mixed-Reality-Setup zum Erkunden größerer virtueller Umgebungen bietet klare Vorteile gegenüber Standard-Free-Roam-Lösungen. World Lock stellt sicher, dass die virtuelle Welt kontinuierlich mit der Orientierung des Headsets in der realen Welt ausgerichtet bleibt, und Adaptive Passthrough gibt Nutzern die Gewissheit, immer zu wissen, wo sie in der realen Welt laufen.
Wir bei Immerstory freuen uns darauf, unsere Kundinnen und Kunden bei ihren immersiven Experiences zu unterstützen, und werden bald mehr Fortschritte aus unseren Explorationen teilen.
Welche immersive Experience würdest du gerne sehen? Sag uns Bescheid!
Weitere Ressourcen
Die Dokumentation für das MetaXR-Plugin, insbesondere das Mixed Reality Utility Kit, das für diese Demo verwendet wurde, findest du hier.

