Wir erkunden die Mixed‑Reality‑Fähigkeiten der Meta Quest 3 mit Unreal Engine und dem MetaXR‑Plugin. Dafür erstellen wir eine kleine Demo‑App, in der virtuelle Würfel im realen Raum erscheinen. Mit einer virtuellen Pistole können diese abgeschossen und so zum Verschwinden gebracht werden.
Was ist Mixed Reality?
Im Gegensatz zur Virtual Reality, in der Nutzerinnen und Nutzer eine vollständig virtuelle Welt sehen, kombiniert Mixed Reality die reale Welt mit virtuellen Elementen – und schafft so neue Erfahrungen in bestehenden Umgebungen. Das kann viele Formen annehmen: vom einfachen Platzieren virtueller Objekte im Raum (z. B. ein virtuelles Bild an der Wand), über das Ersetzen realer Flächen durch virtuelle Materialien (z. B. eine andersfarbige Decke), bis hin zur physikalischen Interaktion virtueller Elemente mit der Geometrie des Raums (z. B. ein virtueller Ball, der an Wänden/Boden/Decke abprallt).
Das eröffnet spannende Möglichkeiten, ist aber komplexer als reine Virtual Reality – vor allem wegen der praktisch unbegrenzten Vielfalt an Raum‑Layouts. Sofern man nicht für einen exakt definierten Raum baut, muss die virtuelle Welt im Grunde prozedural erzeugt werden – oder man vertraut darauf, dass Nutzer Objekte passend platzieren.
Tech‑Stack
Für diese Exploration nutzen wir:
Die Demo ausführen
Bevor wir in die technischen Details einsteigen, ein Blick darauf, was die Demo macht. Wir haben einige Varianten erstellt, um zu zeigen, wie sich die virtuelle Welt mit der realen Umgebung mischt.
Hinweis: Da es sich um einen Devlog/Tech‑Demo handelt, ist die Darstellung bewusst nicht „hübsch/poliert“.
Die erste Variante platziert mehrere virtuelle Objekte im Raum, während der Raum vollständig sichtbar bleibt.
Hier ruht der virtuelle Würfel auf der realen Tischoberfläche, die während des Room‑Scans erkannt wurde und nun auch virtuell repräsentiert ist (diese ist hier unsichtbar, hat aber Kollision, damit virtuelle Objekte nicht „durchfallen“).
Die zweite Variante platziert virtuelle Objekte in einem Raum, in dem einige Teile der realen Welt sichtbar sind, andere hingegen durch virtuelle Meshes/Materialien ersetzt wurden.
Hier wurde der Tisch durch eine virtuelle Repräsentation ersetzt – ebenso der Boden. Man sieht ein paar visuelle Artefakte: Der Lautsprecher auf dem Tisch ist unten „abgeschnitten“, weil der Room‑Scan dafür keine Geometrie hat. Ähnliches passiert links oben, wo das virtuelle Boden‑Mesh in die Tür schneidet.
Die letzte Variante zeigt virtuelle Objekte in einem Raum, in dem außer realen Tür‑/Fensteröffnungen nichts Reales mehr sichtbar ist – alle anderen Flächen wurden virtuell ersetzt.
Die zuvor sichtbaren Fehler sind hier „beseitigt“, indem Lautsprecher/Tür schlicht aus dem Bild entfernt wurden. Natürlich existieren sie in der Realität weiterhin – daher gilt: Vorsicht, um physische Schäden zu vermeiden. Es ist überraschend leicht, den Lautsprecher versehentlich vom Tisch zu stoßen.
Interessantes Detail: Die Türöffnung hat keine Kollision – Projektile fliegen hindurch –, während Wände und Möbel Projektilen im Weg stehen, wie unten gezeigt.
Das Endergebnis – inklusive Abschießen einiger Würfel – ist im folgenden Video zu sehen.
Wenn du auf den Play-Button klickst, wird der YouTube-Player eingebettet und Cookies von Drittanbietern gesetzt und Daten von YouTube gesammelt.
Die Demo aufbauen
Unser Vorgehen sah so aus:
Vorbereitung
- Unreal Engine und MetaXR‑Plugin installieren
- Neues Unreal‑Projekt mit dem VR‑Template erstellen und MetaXR aktivieren
- Auf ein Meta‑Quest‑Gerät bauen/deployen, um die Grundfunktion zu prüfen (Standard‑VR‑Level)
- Leeres Level für Mixed Reality anlegen
Blueprints für die benötigte Funktionalität
Wir haben folgende Blueprints erstellt und dem leeren Level hinzugefügt:
Hinweis: Die Abbildungen zeigen die wichtigsten Teile – nicht immer alle Detail‑Nodes.
- Persistent Passthrough beim Level‑Start aktivieren und beim Verlassen deaktivieren
- Android‑Berechtigung für die Scene (Raumdaten) anfordern
- Raumdaten erstellen oder laden und daraus ein detailliertes Mesh generieren
- Identifizierte Raumelemente (Wände, Boden, Tische, …) als Meshes spawnen und Materialien anwenden
- Würfel, der von einem Projektil getroffen und anschließend entfernt werden kann
- Spawner, der eine Anzahl Würfel an Wänden/Decke/Boden/Möbeln im Raum verteilt
Das sind die wichtigsten Blueprints – die Demo ist nun fast bereit.
Letzte Schritte
Noch ein paar Feinarbeiten für eine runde Experience:
- Locomotion deaktivieren (VRPawn), damit man sich nur physisch bewegt (statt mit Joysticks)
- Pointlight hinzufügen, damit virtuelle Meshes sichtbar sind
- Einen statischen Würfel mit einer virtuellen Pistole (aus dem VR‑Template) platzieren, damit man diese greifen und Würfel abschießen kann
Und das war’s! Jetzt können wir die Demo bauen und auf das Headset deployen.
Fazit
Mixed Reality ist ein spannender Ansatz, reale und virtuelle Welt zu verschmelzen. Die enorme Bandbreite möglicher Raum‑Layouts bringt Herausforderungen mit sich – gelingt die Umsetzung, ist die Immersion jedoch herausragend.
Wir bei Immerstory unterstützen unsere Kundinnen und Kunden bei ihren immersiven Experiences – und freuen uns darauf, bald weitere Fortschritte zu teilen.
Welche immersive Experience würdest du gerne sehen? Sag uns Bescheid!
Weitere Ressourcen
Dokumentation zum MetaXR‑Plugin, insbesondere zum Mixed Reality Utility Kit, das wir hier verwenden, findet sich hier
Soundeffekte in der Demo stammen dankenswerterweise von Sonniss GameAudioGDC