Brainstorm approfondisce le applicazioni AI, ML e Big Data nel progetto EMERALD

Brainstorming sta partecipando al Progetto Europeo SMERALDO “AI and Process Automation for Sustainable Entertainment and Media” finanziato dalla Commissione Europea nell’ambito del Programma Horizon Europe.

Del Consorzio interdisciplinare composto da sette soci fanno parte, oltre a Brainstorm, aziende dei settori delle tecnologie del cinema, del broadcast, dello streaming e dell'intrattenimento dal vivo (BBC, Brainstorm Multimedia SL, Sistemi di travestimento, Filmlight E Tecnologie MOG) sostenuto da due importanti università europee (Universidad Pompeu Fabra and The Provost, Fellows, Foundation Scholars & The Other Members Of Board Of The College Of The Holy & Undivided Trinity Of Queen Elizabeth Near Dublin).

“EMERALD si impegna a creare strumenti pionieristici per i settori dell’intrattenimento digitale e dei media, sfruttando il potenziale delle tecnologie AI, Machine Learning e Big Data. L’obiettivo generale è rivoluzionare l’elaborazione, migliorare l’efficienza produttiva, ridurre al minimo il consumo energetico ed elevare la qualità dei contenuti attraverso innovazioni all’avanguardia”, afferma Francisco Ibanez, R&D Project Manager at Brainstorm. “Currently, there is a massive increase in the volume of video-based and extended reality content, with an unsustainable demand for skilled human resources, data processing and energy. This project aims to address this challenge through the sviluppo dell’automazione dei processi per la creazione di media sostenibili.”

EMERALD mira ad applicare il machine learning per automatizzare alcune delle attività più laboriose coinvolte nella produzione di contenuti video, che hanno notevoli implicazioni sia in termini di tempo che di consumo energetico. Javier Montesa, R&D Technical Coordinator at Brainstorm, says that Brainstorm in collaboration with University Pompeu Fabra (UPF) will develop DL-based methods and tools for video matting. “The main objective is to produce high-quality results for the automated real-time integration of remote presenters or performers into virtual scenes and sets for broadcast/streaming media using DL without the need of a trimap. With the AI enhancement of BRA’s InfinitySet, we will bring the quality of green-screen methods to simpler configurations.”

Montesa spiega che Brainstorm ha intenzione di farlo integrare InfinitySet con i sistemi UPF Deep Learning per la stima della posa della testa e del corpo che consentirà all'operatore di attivare contenuti che verranno visualizzati automaticamente su diverse parti della scena, schermi virtuali, segnaposto di grafica 3D o semplicemente davanti al presentatore mentre si muove . Francisco aggiunge che “esploreremo nuovi modi per migliorare l'inserimento del presentatore, per affissioni e distorcere la sua sagoma, o per calcolare la sua ombra con maggiore precisione e realismo”.

Inoltre, Brainstorm sarà coinvolta nella creazione di strumenti progettati per il bilanciamento automatico dei colori e l'abbinamento degli scatti. Le manipolazioni del colore sono necessarie in post-produzione, in VP e negli studi virtuali di trasmissione. Javier Montesa afferma che automatizzare la gradazione del colore del presentatore per adattarla alla scena virtuale sarà particolarmente utile per gli studi virtuali trasmessi che non dispongono di coloristi. “L’integrazione di questa correzione automatica del colore in InfinitySet semplificherà l’uso dello strumento e migliorerà l’integrazione del presentatore-scena quando le condizioni di illuminazione non sono controllate o quando le condizioni di illuminazione della scena virtuale devono variare durante un programma”.