Wir setzen unsere Erkundung der Mixed‑Reality‑Fähigkeiten der Meta Quest 3 mit Unreal Engine und dem MetaXR‑Plugin fort, die wir in einem vorherigen Devlog‑Beitrag begonnen haben.
In diesem Beitrag schauen wir uns an, wie sich mit Passthrough‑Materials die virtuelle und reale Welt dynamisch mischen lässt. Mit solchen Materialien „stanzen“ wir gewissermaßen Löcher in die virtuelle Welt, damit die echte Umgebung sichtbar wird.
Tech‑Stack
Für diese Exploration nutzen wir:
Einfaches Passthrough‑Material
In seiner einfachsten Form ist ein Passthrough‑Material ein Unreal‑Material mit folgenden Eigenschaften:
- Material Domain
Surface - Blend Mode
Translucent - Shading Model
Unlit - Write Only Alpha
true - Opacity zwischen
0.0(kein Passthrough) und1.0(volles Passthrough)
Wird das Material auf ein Mesh angewendet, ist das Mesh selbst nicht sichtbar – sichtbar ist lediglich der Passthrough‑Effekt. Das zeigen die folgenden Bilder, in denen das Passthrough‑Material auf das runde Segment eines gelben Meshes angewendet wurde.
Der Material‑Graph ist entsprechend simpel. Die Opacity steuern wir über einen Material‑Parameter, sodass wir in Material‑Instanzen bequem unterschiedliche Werte setzen können.
Passthrough‑Material mit Vertex Color
Unreal liefert einen grauen/gelben Standard‑Würfel, der über Vertex Color zwischen Seiten (grau) und Rahmen (gelb/schwarz) unterscheidet.
Was, wenn wir nur die grauen Seiten des Würfels als Passthrough sichtbar machen wollen, während der gelb/schwarze Rahmen erhalten bleibt?
Wenden wir das einfache Passthrough‑Material an, aktiviert es Passthrough für den gesamten Würfel – Seiten und Rahmen gehen dabei verloren.
Also erstellen wir ein Passthrough‑Material, das den Vertex‑Color‑Wert zur Opacity macht. Ein Parameter bestimmt den genutzten Farbkanal (R/G/B/A), ein weiterer invertiert auf Wunsch den Wert (z. B. um „alles außer den Seiten“ als Passthrough zu zeigen).
Weisen wir dieses Material zu, erscheinen wie gewünscht die Seiten als Passthrough – der gelb/schwarze Rahmen bleibt jedoch unsichtbar. Grund: Ein Passthrough‑Material beeinflusst ausschließlich den Alpha‑Kanal, d. h. es entscheidet, ob Passthrough oder die virtuelle Szene gerendert wird (hier: der virtuelle Holztisch).
Um Passthrough (virtuell/real) mit dem ursprünglichen Würfel‑Material (grau/gelb) zu kombinieren, nutzen wir die Eigenschaft Overlay Material am Static Mesh:
Material→ Würfel‑MaterialOverlay Material→ Passthrough‑Material
Der Würfel wird damit zweimal gerendert: einmal für Farben/Details, einmal für Passthrough.
Genau das ist der gewünschte Effekt.
Überlappende Passthrough‑Flächen mit dynamischem Rahmen
Als interaktiveres Beispiel haben wir Projektile erweitert, die beim Auftreffen auf generierte Meshes (Wand/Decke/Boden) ein flaches Quadrat spawnen und sich anschließend zerstören. Nach wenigen Sekunden schrumpft das Quadrat per Timeline und verschwindet.
Die Material‑Konfiguration:
Material→ Rand‑Material mit animiertem blau/weißem Übergang zwischen virtueller und realer WeltOverlay Material→ Passthrough‑Material, das innen denselben Verlauf nutzt und Passthrough aktiviert
Das Ergebnis zeigt das Video – mehrere nahe Treffer erzeugen eine größere Passthrough‑Fläche mit äußerem blauem Rand.
Wenn du auf den Play-Button klickst, wird der YouTube-Player eingebettet und Cookies von Drittanbietern gesetzt und Daten von YouTube gesammelt.
Im Projectile‑Blueprint liefert OnComponentHit alle Informationen, um das Quadrat korrekt zu platzieren und auszurichten:
Im Plane‑Blueprint sorgen wir nach kurzer Verzögerung per Timeline fürs Schrumpfen und anschließende Zerstören:
Damit sich überlappende Planes korrekt verhalten, muss der Blend Mode des Passthrough‑Materials von Translucent auf AlphaHoldout geändert werden. So wird der Passthrough‑Alpha mehrerer Überlappungen richtig zusammengeführt, statt sich gegenseitig zu überschreiben (dadurch würden innenliegende Ränder sichtbar und Teile erscheinen, die eigentlich unsichtbar sein sollten).
Die Material‑Graphs für Passthrough und Rand nutzen dieselbe Material‑Function, um einen animierten, kreisförmigen Rand zu erzeugen:
Fazit
Mixed Reality eröffnet spannende Möglichkeiten, reale und virtuelle Inhalte zu verbinden. Passthrough‑Materials machen diese Verbindung besonders dynamisch – ideal, um eindrucksvolle Erlebnisse zu schaffen.
Wir bei Immerstory unterstützen unsere Kundinnen und Kunden bei ihren immersiven Projekten und teilen bald weitere Fortschritte.
Welche immersive Experience würdest du gerne sehen? Sag uns Bescheid!
Weitere Ressourcen
Dokumentation zum MetaXR‑Plugin, insbesondere zum Mixed Reality Utility Kit, findet sich hier
Soundeffekte in der Demo stammen dankenswerterweise von Sonniss GameAudioGDC