Brainstorm participa en el proyecto EMERALD

头脑风暴 está participando en el Proyecto Europeo EMERALD “Automatización de Procesos e IA para Entretenimiento y Medios Sostenibles”, financiado por la Comisión Europea bajo el Programa Horizonte Europa.

El consorcio interdisciplinario de siete socios incluye, además de a Brainstorm, a empresas de referencia en los sectores de cine, transmisión, streaming y tecnología de entretenimiento en vivo (BBC, Disguise Systems, Filmlight y MOG Technologies), respaldado por dos importantes universidades europeas (Universidad Pompeu Fabra y The Provost, Fellows, Foundation Scholars & The Other Members Of Board Of The College Of The Holy & Undivided Trinity Of Queen Elizabeth Near Dublin).

Francisco Ibáñez, director de proyectos de I+D en Brainstorm, destaca que “EMERALD se esfuerza por ser pionero en herramientas innovadoras para los sectores de entretenimiento digital y medios de comunicación, aprovechando el potencial de las tecnologías de inteligencia artificial, aprendizaje automático y Big Data. El objetivo general es revolucionar el procesamiento, mejorar la eficiencia de producción, minimizar el consumo de energía y elevar la calidad del contenido a través de innovaciones de vanguardia”.

“Actualmente, hay un aumento masivo en el volumen de contenido basado en video y realidad extendida, con una demanda insostenible de recursos humanos capacitados, procesamiento de datos y energía. Este proyecto tiene como objetivo abordar este desafío mediante el desarrollo de la automatización de procesos para la creación de medios sostenibles”, añade.

EMERALD tiene como objetivo aplicar el aprendizaje automático para automatizar algunas de las tareas más intensivas en mano de obra en la producción de contenido de video, lo que tiene considerables implicaciones tanto en el tiempo como en el uso de energía.

Javier Montesa, coordinador técnico de I+D en Brainstorm, afirma que Brainstorm, en colaboración con la Universidad Pompeu Fabra (UPF), desarrollará métodos y herramientas basados en aprendizaje profundo para el “matting” de video. “El objetivo principal es producir resultados de alta calidad para la integración automática en tiempo real de presentadores o artistas remotos en escenas y sets virtuales para medios de transmisión y streaming utilizando aprendizaje profundo sin la necesidad de un ‘trimap’. Con la mejora de IA de InfinitySet de BRA, llevaremos la calidad de los métodos de pantalla verde a configuraciones más simples”, asegura.

Montesa explica que Brainstorm tiene planes de integrar InfinitySet con los sistemas de aprendizaje profundo de UPF para la estimación de la pose de la cabeza y el cuerpo que permitirá al operador activar contenido que se mostrará automáticamente en diferentes partes de la escena, pantallas virtuales, marcadores de posición de gráficos 3D o simplemente frente al presentador mientras se mueve. Ibáñez agrega que “se explorarán nuevas formas de mejorar la inserción del presentador, cambiar su silueta y calcular su sombra con más precisión y realismo”.

Además, Brainstorm participará en la creación de herramientas diseñadas para el equilibrio automático del color y la coincidencia de tomas. Las manipulaciones de color son necesarias en postproducción, en producciones virtuales y en estudios virtuales de transmisión.

Javier Montesa afirma que automatizar la gradación de color del presentador para que coincida con la escena virtual será especialmente valioso para los estudios virtuales de transmisión que no tienen coloristas. “La integración de esta corrección automática de color en InfinitySet simplificará el uso de la herramienta y mejorará la integración presentador-escena cuando las condiciones de iluminación no estén controladas o cuando las condiciones de iluminación de la escena virtual estén destinadas a variar durante un programa”.