Teletransportación en entornos XR: claves y realidades

Miguel Churruca, director de marketing y comunicación de idée de génie, expone en esta tribuna las claves tecnológicas y conceptuales del concepto de teletransportación en entornos XR, una técnica de grafismo e interacción con grandes posibilidades.

Il término XR se ha popularizado para describir la utilización de fondos virtuales sobre un videowall LED de grandes dimensiones, utilizándolo para series, cine o eventos en directo. Esto supone solo una parte de las posibles aplicaciones de la tecnología XR, pues el concepto va más allá de esta aplicación, en ocasiones espectacular, pero que no aprovecha todas las posibilidades de la Realidad Extendida.

Comencemos entonces por delimitar el término. Si partimos del concepto del Continuo Virtual de Migram oui Kishino, la Realidad Extendida (XR o eXtended Reality) sería todo aquel contenido que combina objetos reales con virtuales. Según estos autores, entre la realidad “real” tal cual se capta por la cámara y la generación de imágenes totalmente sintéticas hay combinaciones de objetos reales y virtuales que generan una realidad mixta (MR) o extendida (XR). Por tanto, contenidos como los sets virtuales 3D, la realidad aumentada (AR) o la Realidad Inmersiva Mixta (IMR) serían elementos que cabrían en el concepto de XR. Y no solo eso, sino que, como hemos apuntado antes, podemos considerar que contenidos virtuales en un videowall serían, en esencia, un set virtual, pero visualizado en un videowall en lugar de incrustado por chroma y visualizado en una pantalla diferente.

Al margen de las obvias ventajas del DIRIGÉ, como no necesitar un set de chroma para incluir a los personajes en el entorno virtual, podemos considerar que este método es útil para entornos en directo o con audiencias en vivo, pues pueden ver el resultado de la composición directamente, y no sobre una pantalla aparte. Pero si necesitamos incluir objetos adicionales como otros personajes presentes en localizaciones remotas u objetos como realidad aumentada en la escena, necesitaremos otros elementos y técnicas para ello. O bien, utilizar AR en contexto dentro del LED, como un trampantojo.

Chroma o LED

En el NAB 2022, Brainstorm ya utilizó ambas técnicas dentro de su demostración virtual, incluyendo a personajes remotos, grabados en chroma, dentro de la escena visualizada en LEDs, interactuando con la presentadora y con elementos virtuales, así como objetos AR colocados en contexto de tal manera que, estando en pantalla, aparecían como AR sobre la escena, gracias a la perspectiva de cámara et la tecnología XR de Brainstorm.

Igualmente, no hay motivo por el que los contenidos XR no se puedan generar utilizando técnicas de chroma key o videowalls indistintamente. Por supuesto, habrá momentos en los que sea más útil o efectivo utilizar sets de chroma y otros en los que sea mejor utilizar LEDs. Ya hemos mencionado que usar LEDs nos proporciona ventajas en cuanto a la integración de los personajes frente al chroma, pero si salimos del entorno “óptimo” del LED es cuando nos encontramos con algunas desventajas. Cuando multiplicamos los elementos que integran la escena, o tratamos con pantallas de LED de formas extrañas, con suelo, en esquina, etc., cuestiones como el foco, el moiré, la profundidad de campo o incluso influir en el resultado final.

Incluso si combinamos ambas técnicas (chroma y LEDs) seguimos hablando de contenidos XR, y es aquí donde entra la posibilidad de incluir teletransportación de personajes o AR en entornos XR basados en LEDs. Hablaremos de teletransportación cuando integramos un personaje remoto, grabado en chroma, en un entorno real, para generar la ilusión de que se encuentra en el mismo espacio que la persona en plató. Y por supuesto se puede incrustar tanto en un set real, en un set virtual o en una pantalla LED en directo.

El personaje como objeto AR

Por otro lado, teletransportar a un personaje remoto a una escena XR implica considerar a este personaje como un objeto AR dentro de la escena. Ello es debido a que estamos trabajando en un entorno 3D, con lo que el personaje debe tener el tamaño, perspectiva y ajuste correcto dentro de la escena, e interactuar, si es necesario, con otros elementos, como luces virtuales, oh arrojar sombras sobre elementos virtuales, incluso. La tecnología de 3D Presenter de Brainstorm permite conseguir esto de manera transparente. Esta tecnología, en combinación con la herramienta TeleTransporter, permite la inserción de personas reales como objetos de realidad aumentada en escenarios remotos en tiempo real, haciendo que ambos mundos se comporten como uno, con ajuste preciso de perspectiva y movimiento (siempre que ambas perspectivas sean similares), y añadiendo sombras virtuales y ajustes de iluminación para lograr una ilusión de realismo. TeleTransporter permite también insertar presentadores y objetos 3D en vídeos de localizaciones remotas, y viceversa.

Para ello necesitamos capturar al personaje remoto con una cámara fija, para evitar discrepancias en el tracking. El plató debe tener una cámara preferentemente con tracking para poder garantizar que el personaje remoto sigue los movimientos de cámara, aunque, si se utilizan cámaras fijas en ambos lugares, la tecnología TrackFree de Brainstorm permitiría generar movimientos de cámara virtuales. El personaje remoto debería tener, si es posible, una iluminación similar a la del plató, o el truco será notorio.

Originalmente esta tecnología se ha efectuado sobre entornos reales, en los que se insertaba el personaje grabado en chroma en una localización remota. Actualmente las posibilidades se multiplican, al poder insertar el personaje en un videowall LED, y hacerlo interactuar con el presentador y permitir que se vea no solo por parte de la audiencia en casa, sino también por el público en plató. Y gracias a la tecnología 3D Presenter de Brainstorm, el personaje remoto puede interactuar con los objetos virtuales del set, arrojando sombras o incluso reflejos, lo que permite una integración mucho más lograda en los fondos virtuales híperrealistas que podemos generar con las nuevas técnicas de render.

Un concepto en evolución

La teletransportación lleva la telepresencia a otro nivel, permitiendo que una persona se traslade virtualmente a otro lugar sin necesidad de estar dentro de una pantalla captada por una webcam. Usando chroma key para capturar al personaje remoto, incluso con un teléfono móvil, llevar personas como objetos y no solo vídeo a los platós, generando una interacción mucho más dinámica y atractiva para la audiencia.

Este concepto sigue evolucionando, como se puede comprobar con el proyecto europeo Admire, en el que participa Brainstorm (además de coordinar el proyecto) y por el cual se desarrollan tecnologías que hagan avanzar y democraticen la realidad mixta inmersiva aumentando sus aplicaciones para contenidos audiovisuales de todo tipo.

Miguel Churruca

Director de marketing y comunicación de idée de génie

D'autres articles sur idée de génie