How do you create a deepfake for television? Tools and opportunities with United Unknown

Sergey, parte del colectivo de artistas visuales United Unknown, desgrana las tecnologías y desafíos del deepfake, técnica audiovisual que permite alterar una imagen (o crearla desde cero) para reemplazar a personas y crear situaciones o discursos inéditos que nunca han podido (o podrán) suceder.

He deepfake es un concepto amplio que se nutre de tecnologías como la artificial intelligence o el deep learning. Sus aplicaciones son infinitas y pueden suponer, como cualquier progreso tecnológico, un medio para el entertainment o para la creación artística, o una herramienta de descrédito social, político, cultural y económico. Su materialización más frecuente es la sustitución de los rasgos faciales, including expresión, reacciones o incluso voz, por las de otra persona. Las posibilidades, como es de imaginar, alertarían a cualquier jurista especializado en el derecho a la propia imagen or the derecho al honor.

Existen decenas de casos en los que esta técnica ha sido utilizada con fines fraudulentos. En Estados Unidos, vídeos manipulados de políticos como Barack Obama, Donald Trump o Bernie Sanders han monopolizado los grupos de WhatsApp y perfiles de Facebook de miles de votantes norteamericanos. También ha habido casos en los que técnicas de manipulación de voz se han utilizado para estafar, tal y como recogió el Wall Street Journal. Ante esta situación, algunas regiones están comenzando a ofrecer una legislación sobre deepfake; en paralelo, grupos de trabajo de verificación trabajan para perfeccionar herramientas tecnológicas que puedan determinar cuando un vídeo ha sido (o no) modificado. Soluciones como estas son fundamentales: tanto para desmentir deepfakes, como para comprobar, en el futuro, cuando alguien excuse su comportamiento en dicha técnica.

Dejando de lado el lado más oscuro de esta técnica, lo cierto es que el deepfake es una mina de oro para la industria audiovisual y del entretenimiento. No son pocas las películas que están utilizando todo tipo de tecnologías derivadas de esta técnica para revivir a personajes fallecidos o incluso para poner a trabajar a personalidades retiradas, como fue el reciente caso de Bruce Willis, quien cedió su imagen a la compañía Deepcake para que fuera usada para una campaña publicitaria de la compañía MeganFon.

En el terreno del audio, estudios como IYUNO ya han compartido su intención de comenzar a trabajar con el objetivo de procesar el archivo sonoro de un actor para, superponiéndolo a un actor profesional, conseguir un doblaje con el mismo color de voz del intérprete.

United Unknown es un colectivo audiovisual afincado en España que ha sabido aprovechar la relevancia del deepfake, incluso cuando esta no era tendencia, para dejar su particular firma en la producción de vídeos satíricos. Desde 2010, ha transmitido su “activismo visual (…) como arma de subversión masiva” a través de la red, alcanzando en el camino a productoras, televisiones o revistas como RTVE, Movistar+, Mediapro, Atresmedia, TV3, El Terrat, Premios Ondas, Mongolia o Los40 Classic, o formatos concretos como Late Motiv, El día después, Expediente Pérez o APM?. Sergey, interlocutor de United Unknown para Panorama Audiovisual en esta incursión al deepfake, arroja luz sobre la tecnologías y técnicas de esta fascinante técnica.

---

Los inicios del deepfake en United Unknown

La producción audiovisual de United Unknown remonta a hace más de una década, pero no fue hasta 2015 cuando empezaron a crear vídeos satíricos reemplazando caras y cabezas de forma manual. Esto suponía, ante todo, un trabajo artesanal y no dejaba de ser una adaptación de la clásica caricaturización que ha acompañado al movimiento humorístico y político a lo largo de la historia. Antes había superposiciones de bocas, collages a lo Monty Python o maquillaje con técnicas de rodaje inmersivas. Ahora, las herramientas tecnológicas permitían un enfoque diferente y con unos resultados mucho más realistas.

Sergey recuerda que, en aquella época, el colectivo buscaba vídeos de los protagonistas en internet, estabilizaba y recortaba las cabezas mediante rotoscopia manual, y luego se animaban encima de las que se querían reemplazar: “Un trabajo muy artesano y a veces tedioso, pero que disfrutamos mucho viendo los resultados”. En 2018 todo cambió: desde United Unknown vieron por primera vez un deepfake como los conocemos en la actualidad y quedaron “alucinados con la técnica y sus posibilidades”.

---

Evolución y flujo de trabajo

Desde que en 2019 crearon su primer deepfake, United Unknown no ha cambiado la work methodology a la hora de abordar esta técnica. Sergey aporta más detalles: “El flujo de trabajo siempre es el mismo: tener un personaje a sustituir, buscar los recursos del personaje que se quiere introducir, extraer las caras, crear las máscaras y empezar el cálculo del modelo. Luego esperar los resultados, que tardan días, y hacer los ajustes finales dentro de un programa de edición de vídeo”.

Afortunadamente, el progreso de la tecnología está agilizando la producción y resultado final de los deepfakes: “A mejores tarjetas gráficas, mejor calidad en los resultados y menor tiempo de cálculo”. A esto, se une una gran cantidad de soluciones de software específicas que han agilizado los procesos de creación como Machine Video Editor o Xseg. Paralelamente, el equipo de United Unknown se apoya en aplicaciones de inteligencia artificial para el realice de imagen, como Topaz o GPEN.

---

Deepfacelab: herramienta clave

El perfeccionamiento del deepfake requiere no solo de experiencia, sino de una miríada de aplicaciones que permiten otorgar un resultado muy cercano a la realidad. Sin embargo, el software Deepfacelab se erige como la solución clave para el sector. Este software, gratuito y de código abierto, ofrece numerosas posibilidades a los creadores a la hora de emprender esta particular modificación de la realidad. “Con conocimientos de Python, incluso se puede personalizar para ampliar y modificar algunas de sus funciones”, aporta Sergey.

Deepfacelab, herramienta que promete “resultados con calidad cinematográfica con gran fidelidad”, cuenta entre sus funciones más destacadas la posibilidad de reemplazar la cara del o la protagonista, rejuvenecer al sujeto, reemplazar la cabeza al completo o manipular los labios de la persona escogida.

A pesar de esta agilización de los procesos, Sergey considera que el reto sigue siendo el mismo: disponer de un buen material de origen y de destino, ya que “muchas veces la batalla es contra la mala calidad de algunas imágenes y vídeos”.

---

El tratamiento del audio

Una vez superado el reto que supone la accesibilidad de la creación del deepfake en los aspectos visuales del personaje, comienza una profunda carrera para dominar y extender la utilización del audio. United Unknown reconoce su interés en este tema y apunta que “la tecnología ya existe, pero no es accesible para todos los usuarios. “Hay disponibles aplicaciones de “text to speech” (de texto a voz), pero no de “speech to speech” (deepfake de voz a voz)”, añade.

En la actualidad, varias empresas se dedican a ofrecer avatares digitales y voces clonadas, cuenta Sergey, pero lo cierto es que “existen muchas reticencias a ofrecer este tipo de software sin restricciones”. “Las voces clonadas podrían ser utilizadas de forma fraudulenta para estafas, por lo que se ofrecen voces estándar”, apunta el representante de United Unknown.

La única vía disponible para clonar una voz concreta requiere el permiso de la persona, y, como apunta Sergey, “las empresas que ofrecen el servicio revisan cada petición de forma individual”. No obstante, y dejando de lado las cuestiones legales de un ámbito sin apenas jurisprudencia específica, existen herramientas colaborativas que están comenzando a crear bancos artesanales de voces similares a los de personalidades. Pero, ¿sería adecuado utilizar estas herramientas o comercializar ciertos vídeos sin la aprobación de terceros?

---

Broadcasters: un interés creciente

He deepfake puede ser una herramienta de acción política, pero también una fantástica vía para la sátira humorística en televisión. Los deepfake, en la actualidad, ocupan segmentos en diferentes formatos aportando espectacularidad, crítica y diversión.

The gran oportunidad de United Unknown vino de la mano de un veterano de la industria televisiva: “En 2015, Andreu Buenafuente estaba preparando el estreno de Late Motiv en Movistar+, tuvimos la suerte de que vio dos de nuestros primeros vídeos que se hicieron virales: Rajoy en el Club de la comedia y Los ángeles de Charlie, y nos invitó a colaborar en su programa, que finalizó en 2021”. En este formato, el equipo de United Unknown pudo conocer a Raúl Pérez, “un auténtico crack de las imitaciones”, con quien colaboraron tanto en Late Motiv como en formatos paralelos como Expediente Pérez, the Gala de los Ondas 2021 o El día después. En la actualidad, al margen del interés que les han manifestado diferentes productoras y cadenas para proyectos concretos, United Unknown colabora recurrentemente con el programa humorístico Alguna Pregunta Més? (APM?) of TV3 en el que parodian programas de otras cadenas, anuncios, películas o vídeos musicales.

---

Un vistazo al futuro del deepfake

He deepfake se encuentra en una fase de desarrollo inicial. Apenas hemos visto sus primeras materializaciones y se espera que, en pleno auge de las herramientas de aprendizaje profundo that of artificial intelligence, se puedan resolver los tres grandes retos que implica: la mejora en la calidad de la imagen, la velocidad, y el calculo a tiempo real en directo. Otro punto a superar, desgrana Sergey, son límites del análisis y la detección de caras, que actualmente son el perfil de la cabeza: “La detección se basa en la identificación de las facciones de la cara: los dos ojos, cejas, nariz, boca y barbilla. Cuando se pierden de vista estos elementos, la detección de la cara falla. Imaginamos que con nuevas herramientas basadas en IA se podría superar esta limitación”.

Frente a estos desafíos, el mundo continúa creando pruebas de concepto y aplicaciones de gran interés del deepfake que podrían servir de ventana para ver lo que está por venir. Hace poco, Chris Ume, uno de los principales creadores de deepfake del mundo, quedó finalista en America’s Got Talent con un show de deepfake en directo con Elvis Presley cantando:

Tonight, we made the impossible, possible! We brought back one of the most famous rock 'n' roll stars in history performing once again 🎤 @ElvisPresley We need your help to win @AGT so please vote for us here: https://t.co/riZaQeepM9 Thank you 💙 @vfxchrisume @tomgtgraham #agt pic.twitter.com/rNuWGbX82D

— Metaphysic.ai (@Metaphysic_ai) September 14, 2022

Y, por otro lado, el propio Mark Zucherberg publicó un vídeo con su avatar, un desarrollo inicialmente dirigido a su desarrollo de metaverso, pero que permite arrojar luz sobre las posibilidades que podría implicar la creación de un doble virtual generado en tiempo real. Como se puede ver, la propuesta de Meta brinda una completa libertad a la hora de realizar diferentes expresiones faciales y brinda la posibilidad de que el avatar interactúe con elementos como fuentes de luz:

The avatar quality here is quite amazing pic.twitter.com/PgY38mXCJq

— Chris Fralic (@chrisfralic) October 12, 2022

El futuro está por escribir, pero todo apunta a que el deepfake, que vemos cada vez con más y más frecuencia en nuestras pantallas, ha llegado para ocupar un predominant role en una industria broadcast liberada por la tecnología and one film industry cada vez más volcada en recordar (e inmortalizar) a sus grandes estrellas.

A report by Sergio Julián Gómez

Other articles on The roof, Mediapro, Movistar, TV3, United Unknown