Estamos explorando las capacidades de Realidad Mixta del Meta Quest 3 usando Unreal Engine y el plugin MetaXR creando una pequeña y simple aplicación demo donde aparecerán cubos virtuales en tu habitación, que puedes disparar con una pistola virtual para hacerlos desaparecer.
¿Qué es la Realidad Mixta?
A diferencia de la Realidad Virtual, donde al usuario se le presenta un mundo completamente virtual con el que interactuar, la Realidad Mixta combina el mundo real con elementos virtuales para crear nuevas experiencias en entornos existentes. Esto puede tomar muchas formas, como simplemente colocar elementos virtuales en una habitación (como colocar una pintura virtual en tu pared), cambiar la apariencia de la habitación (por ejemplo cambiando el color de tu techo), hasta hacer que elementos virtuales interactúen con la geometría de la habitación (piensa en una pelota virtual rebotando en tus paredes / suelo / techo).
Si bien esto ofrece muchas posibilidades interesantes, viene con una complejidad aumentada en comparación con la Realidad Virtual, principalmente debido al número virtualmente ilimitado de diseños/configuraciones de habitación que son posibles. A menos que estés construyendo una experiencia para un diseño de habitación predefinido, básicamente tienes que generar completamente tu mundo virtual de forma procedural, o confiar en que el usuario coloque elementos virtuales.
Stack Tecnológico
Para esta exploración, estamos usando el siguiente stack tecnológico:
Ejecutando la Demo
Antes de llegar a los detalles técnicos, veamos qué hace realmente la aplicación demo. Hemos creado algunas variaciones para mostrar cómo el mundo virtual puede mezclarse con el mundo real.
Nota: dado que esto es un devlog / demo técnico, intencionalmente no es bonito/brillante.
La primera variación es colocar varios elementos virtuales en la habitación, donde la habitación por lo demás es completamente visible.
Aquí puedes ver que el cubo virtual descansa sobre la superficie del escritorio del mundo real, que fue identificado durante el escaneo de la habitación, y ahora también tiene una representación virtual (que es invisible aquí, pero aún tiene colisión para que los elementos virtuales no caigan a través).
La segunda variación es colocar los elementos virtuales en una habitación donde algunas partes del mundo real son visibles, y algunas partes han sido reemplazadas por una malla/material virtual.
Aquí puedes ver que el escritorio ha sido reemplazado por una representación virtual, y el suelo también. Hay algunos errores visuales en esta mezcla particular, por ejemplo puedes ver que ese altavoz en el escritorio ha sido 'cortado' en la parte inferior, porque el escaneo de la habitación no tiene representación para él. Un problema similar se puede ver en la parte superior izquierda del suelo virtual en la habitación, que corta la puerta.
La variación final es colocar elementos virtuales en una habitación donde nada excepto las aberturas de puertas/ventanas del mundo real son visibles, todas las demás partes han sido reemplazadas por una malla/material virtual.
Aquí puedes ver que los errores visuales de la variación anterior han sido 'corregidos' simplemente eliminando el altavoz / puerta de la vista por completo. Obviamente todavía están presentes en el mundo real, por lo que se recomienda precaución al trabajar en tales entornos para prevenir daños físicos, es sorprendentemente fácil hacer caer accidentalmente el altavoz del escritorio.
Un detalle interesante es que la puerta no tiene colisión, lo que significa que los proyectiles pasarán a través de ella, mientras que serán bloqueados por las paredes y muebles en la habitación, como se muestra a continuación.
El resultado final, incluyendo disparar algunos de los cubos, se puede ver en el video a continuación.
Al hacer clic en el botón de reproducción, se incrustará el reproductor de YouTube y se pueden establecer cookies de terceros y recopilar datos de YouTube.
Construyendo la Demo
Hemos usado el siguiente enfoque para construir la demo.
Preparación
- Instalar Unreal Engine y el plugin MetaXR
- Crear un nuevo proyecto de Unreal Engine usando la plantilla de Realidad Virtual y habilitar el plugin MetaXR
- Compilar y desplegar a un dispositivo Meta Quest para asegurar que todo funciona correctamente (usando el nivel VR por defecto)
- Crear un nivel vacío para Realidad Mixta
Crear Blueprints para Implementar la Funcionalidad Requerida
Hemos creado Blueprints para proporcionar las siguientes características, y los agregamos al nivel vacío.
Nota: las imágenes de Blueprint solo muestran las partes clave del Blueprint, pueden no mostrar todos los detalles de implementación por brevedad.
- Habilitar passthrough persistente cuando el nivel comienza, y deshabilitarlo cuando el nivel termina
- Solicitar el permiso de Android para usar la Escena (es decir, datos de la habitación) del Meta Quest
- Crear o cargar los datos de la habitación, y crear una malla detallada a partir de esto
- Generar mallas para elementos de habitación identificados (por ejemplo, paredes, suelo, mesas, ...) y aplicar materiales
- Cubo que puede ser disparado con un proyectil y luego desaparecer
- Generador de cubos que genera un cierto número de cubos en las paredes/techo/suelo/muebles dentro de la habitación
Estos son los Blueprints principales requeridos para la demo, que ahora está casi lista.
Toques Finales
Solo unas pocas cosas más necesitan hacerse para una experiencia adecuada:
- Deshabilitar locomoción para el VRPawn para que el usuario solo pueda moverse físicamente (en lugar de usar joysticks como es común en VR)
- Agregar un Pointlight para que las mallas virtuales sean realmente visibles
- Agregar un cubo estático con una Pistola virtual (de la plantilla VR) para que el usuario pueda agarrarla y disparar los cubos
¡Y eso es todo! Ahora podemos compilar la aplicación demo y desplegarla al visor para ejecutarla.
Conclusión
La Realidad Mixta es una forma emocionante de crear experiencias únicas que mezclan el mundo real y virtual. Viene con un conjunto de desafíos debido a un número virtualmente ilimitado de diseños/configuraciones de habitación, pero cuando se hace bien la inmersión es imbatible.
Nosotros en Immerstory estamos emocionados de apoyar a nuestros clientes con sus experiencias inmersivas, y esperamos compartir más progreso de exploración pronto.
¿Qué experiencia inmersiva te gustaría ver? ¡Déjanos saber!
Recursos Adicionales
La documentación para el plugin MetaXR, específicamente el Mixed Reality Utility Kit que se usó para esta demo, se puede encontrar aquí
Los efectos de sonido en la aplicación demo han sido amablemente obtenidos de Sonniss GameAudioGDC