¿Cómo afronta RTVE la monitorización automatizada de la Calidad de Experiencia del espectador?

RTVE, en el marco de la segunda convocatoria de su sandbox, Impulsa Visión Empresas, sobre la monitorización automatizada de sus señales de emisión, ha seleccionado a Video-MOS para colaborar conjuntamente en este campo.

A lo largo de seis meses, Video-MOS ha trabajado conjuntamente con el personal técnico de RTVE para mostrar y demostrar el potencial y los beneficios de utilizar su solución de última generación. Esta solución es una herramienta SaaS automatizada (sonda) que se puede implementar en cualquier contenido de vídeo (streaming de ficheros) para monitorizar en tiempo real, 7x24h, la calidad de experiencia del espectador de contenidos de vídeo. Es una solución agnóstica del hardware, basada en un desarrollo de 人工知能 llevado a cabo por Video-MOS durante los últimos años.

Impulsa Visión Empresas es una iniciativa dirigida a entidades consolidadas en el sector audiovisual que deseen colaborar con RTVE de forma práctica, probando sus proyectos y productos innovadores en el campo tecnológico y de los servicios asociados a la producción, contribuyendo de manera conjunta al desarrollo de esta industria. RTVE, según cada caso y en función de la disponibilidad de sus recursos, facilita el acceso a contenidos, procesos e infraestructura, de forma que estas entidades puedan probar de manera estructurada sus nuevos desarrollos en un entorno real.

Video-MOS está especializada en la medición de MOS para el monitorizado de la Experiencia del espectador de contenidos audiovisuales (Calidad de la Experiencia del espectador). Su modelo basado en sondas de software desplegables en cualquier contenido (tanto en streaming como en un archivo) proporciona al difusor, TV Station, productor y/o agregador de contenidos, plataforma de video, anunciante… una interfaz en tiempo real para monitorizar sus contenidos.

Se trata de una solución complementaria a las soluciones habituales, fundamentalmente basadas en hardware, para la medición sencilla de la calidad de la señal (Calidad del Servicio). De esta manera, permite monitorizar en tiempo real 7x24h, la totalidad de los canales de vídeo de los operadores de contenidos de forma automática, garantizando el conocimiento de las circunstancias en las que incluso con una correcta calidad de señal, el espectador experimenta una mala Calidad de Experiencia como, por ejemplo, pixelado, desenfoque, etc.).

Son un grupo de entusiastas de la industria del vídeo que han unido sus fuerzas para posicionar comercialmente una innovación que sirve a un mercado hasta ahora no atendido conformado en base a el equipo técnico principal que procede del Grupo de Aplicación de Telecomunicaciones Visuales (GATV) de la Universidad Politécnica de Madrid (UPM), y profesionales del ámbito empresarial con un mínimo de más de 20 años de experiencia internacional en la creación y venta de software para la industria broadcast.

Medir la QoE

RTVE ha planteado en el marco Impulsa Visión Empresas el problema siguiente: los organismos de radiodifusión, los radiodifusores de TV, los OTTs (operadores de plataformas de vídeo Over The Top) y los productores de contenido (series, anuncios…) tienen un problema para medir de forma económica y eficaz la Calidad de la Experiencia (QoE) proporcionada a su audiencia, pues las tecnologías actuales no proporcionan una solución, especialmente en el caso del contenido en vivo.

Como resultado, hoy en día la QoE todavía se mide por los técnicos humanos visualizando el contenido y calificando subjetivamente la experiencia, un método altamente ineficiente y costoso. Además, las redes de próxima generación (NGN), como el 5G …, tienen la capacidad de auto-configuración de su calidad de servicio (QoS) a través de varios parámetros (latencia, ancho de banda, prioridad, protección…) y de su propia arquitectura, de acuerdo con algunos criterios de diseño específicos. Y, sin duda, la QoE evaluada en tiempo real desempeñará un papel clave tanto en la forma de validar y reconfigurar los servicios, como en el desarrollo de nuevos modelos de retribución basados en calidad y no en ancho de banda.

La solución de Video-Mos verificada por RTVE consiste en reemplazar las pruebas subjetivas dependientes de técnicos humanos por una solución automatizada, basada en Inteligencia Artificial (IA) para emular la observación humana y estimar la QoE para un contenido multimedia determinado sobre una red de transporte o distribución. El valor estimado de la QoE también se convertirá en un parámetro fundamental para la auto-configuración de la parametrización de los servicios sobre redes de nueva generación NGN. Así, el software reúne el análisis de vídeo de última generación, los algoritmos de inteligencia artificial (IA) y el Big Data.

Existen aspectos diferenciadores de la tecnología. A diferencia de los competidores en el sector media, Video-MOS es la única solución que se puede implementar y operar en cuestión de minutos. Mediante el uso de sondas virtualizadas de software (de tecnología Docker – contenedor de software), se puede implementar en cualquier punto de la red y comenzar a supervisar la QoE en tiempo real. Dicha innovación es mucho más sofisticada y de mejor rendimiento que las alternativas existentes, todas ellas dependientes del hardware y de configuraciones complejas del mismo.

Inteligencia artificial

Video-MOS se ha constituido en 2019 para explotar una tecnología para la que ya se ha tramitado la solicitud de patente y su extensión internacional, por parte del grupo GATV de la Universidad Politécnica de Madrid licenciada en exclusiva a Video-MOS. La experiencia en la aplicación de la inteligencia artificial (IA) a entornos de visión artificial ha sido fundamental para el desarrollo de la innovación presentada en esta propuesta. La solución propuesta es tan disruptiva en todos los frentes (técnico, comercial, facilidad de uso) y la necesidad del mercado está tan presente, que ha llevado a presentarla a este RTVE Impulsa Empresas 2021 y lograr su aceptación por RTVE, experimentando las ventajas y la oportunidad de mejora de la monitorización de las emisiones que para ellos significa.

La supervisión de la calidad de servicio (QoS) no es suficiente para garantizar una experiencia de visualización satisfactoria

En los últimos años, se ha observado que el tráfico de vídeo ha supuesto la mayor parte del tráfico transportado a través de Internet, y que sigue aumentando constantemente cada año. Se espera que el tráfico de transmisión de vídeo global represente el 82% del tráfico mundial IP en Internet para 2022 (Informe anual de Internet de Cisco).

Con el fin de fidelizar a los clientes existentes y atraer nuevos usuarios, los proveedores de servicios (organismos de radiodifusión, radiodifusores TV, OTTs, y los productores de contenido) intentan satisfacer las expectativas del usuario y proporcionar una experiencia de visualización satisfactoria, de especial interés dada la competencia creciente en el sector de plataformas digitales de contenidos con nuevos entrantes como p.e. Disney+. En este contexto, es de suma importancia poder cuantificar la percepción de los usuarios sobre el nivel de servicio actual: la QoE.

Tradicionalmente, las métricas de calidad de servicio (QoS) se han utilizado para estudiar el rendimiento de los servicios en línea y los elementos en red. Las métricas de QoS, que son más adecuadas para medir el rendimiento y la fiabilidad de los elementos de red, sin embargo, no capturan la experiencia real del usuario (QoE). La calidad de servicio (QoS) refleja el rendimiento de la red y sus componentes. Mide la capacidad de la red para satisfacer las necesidades del servicio y, por lo tanto, es una métrica centrada en la red. Las métricas comunes de QoS utilizadas son el ancho de banda, la pérdida de paquetes, el retardo, la prioridad, la protección o el jitter.

El servicio recibido por el usuario, sin embargo, se ve afectado e influenciado no sólo por los componentes de red en la red de distribución de contenido, sino también por diversos factores. Estos son factores de extremo a extremo que incluyen los efectos de principalmente: la infraestructura de servicio, terminal, cliente y red.

Métrica estándar

La calidad de la experiencia (QoE) es una métrica, recogida ya por organismos de estandarización internacional como la UIT y el ETSI, centrada en el usuario que captura la aceptabilidad general del servicio. También se ha definido como el grado de deleite o molestia del usuario de una aplicación o servicio. QoE mide la satisfacción del espectador tal y como subjetivamente es percibido por el usuario.

Un ejemplo reciente de mala experiencia de visualización no detectada por los sistemas de monitorización de la QoS es el estreno del episodio 3 del de la 8ª temporada de Juego de Tronos. Muchos fans afirmaron que la imagen era demasiado oscura. ¿Fue culpa de HBO o de la plataforma de distribución, un episodio tan oscuro? Se afirmó que los creativos habían afinado la luz para el cine, por lo que era incompatible con la configuración de una sala de estar y los televisores estándar. En conjunto, la alta compresión debido a las restricciones de la QoS, la estrategia de alto rango dinámico y la baja iluminación debido al punto de vista artístico terminó con un mal impacto en la calidad percibida por el público, completamente transparente para los sistemas de control de calidad basados en parámetros de la calidad de servicio de la red.

Los organismos de radiodifusión de medios de comunicación en todo el mundo comprenden la importancia de ofrecer la mejor calidad de experiencia posible a sus clientes, pero muchos no tienen una comprensión completa de cómo funciona exactamente su servicio, o tienen externalizada parte de la cadena, o directamente no disponen de control sobre cómo se realiza la distribución de sus contenidos. Ciertamente son capaces de detectar o acceder a errores relacionados con la red (por ejemplo, pérdida de paquetes, retraso, fluctuación …), pero otras malas experiencias de visualización pasan desapercibidas para sus sistemas de monitorización de calidad (por ejemplo, pixelado, congelación, emborronamiento, edginess).

Si los propietarios de contenido solo tienen en cuenta las necesidades de producción, las configuraciones técnicas y las características de visualización, es simplemente imposible que los sistemas de supervisión de QoS actuales detecten problemas en la experiencia de visualización por parte de la audiencia.

La medición de QoE sigue dependiendo en gran medida de la observación humana, y sigue siendo al día de hoy inviable de ser usada de forma generalizada y en tiempo real.

Estimar la calidad percibida no es fácil. Principalmente porque determinar lo bien que se ve un contenido de video, qué tan bien suena un audio, y qué tan buena es la interacción con el servicio o la aplicación, es subjetivo, y depende de la percepción humana.

La estimación se puede realizar con evaluaciones subjetivas en las que los usuarios evalúan la calidad de un conjunto de secuencias degradadas siguiendo una metodología específica o con evaluaciones objetivas, utilizando algoritmos matemáticos para medir la degradación de la señal audiovisual y las condiciones de la red, teniendo en cuenta las características del contenido audiovisual y los modelos de la percepción humana.

Dada la falta de soluciones automatizadas precisas y convenientes en el mercado, los proveedores de servicios dependen principalmente de la Puntuación Media subjetiva de Opinión (MOS – Mean Opinion Score) para medir QoE, calculada con videos de calificación de espectadores reales en una escala discreta, de 1 a 5.

Más allá del análisis

La innovación patentada de Video-MOS monitoriza automáticamente la QoE entregada a los usuarios de cualquier servicio interactivo (telefonía, TV, web), en cualquier dispositivo (PC, smartphone, Set Top Box, etc) y a través de cualquier red (fija, móvil, etc). La solución proporciona una estimación objetiva de MOS (sin participación humana), y notifica si alguna de las secuencias de vídeo presenta un problema, informa si el valor MOS estimado para un contenido monitorizado no es óptimo y el porqué, y genera informes de referencia. El sistema funciona tanto en sistemas de transporte de medios de radiodifusión como de streaming, así como con contenido en directo o grabado (Vídeo bajo demanda).

El software Video-MOS está diseñado siguiendo una arquitectura de “microservicios”: La aplicación se divide en piezas independientes de software que se comunican entre sí. La principal ventaja es que se pueden distribuir por toda la infraestructura de producción y distribución de los organismos de radiodifusión, los radiodifusores TV, los OTTs y los productores de contenido para optimizar el consumo de recursos. El servicio Video-MOS consta de un mínimo de 3 microservicios en contenedores “docker’: AI Prediction, Data Base, y Dashboard Web.

La métrica MOS se considera el estándar de oro para la medición de QoE, ya que considera los factores de influencia de la experiencia del usuario a nivel tecnológico, contextual y humano. Todas las soluciones actualmente en el mercado se basan en factores tecnológicos (ancho de banda, velocidad de fotogramas, frecuencia de muestreo, resolución, retraso, fluctuación). Por lo tanto, Video-MOS está aprovechando la relación entre imagen y contenido de audio y la respuesta perceptiva del espectador. Esto permite que Video-MOS sea la única solución que plantea poder identificar activos gráficos (marcadores, logotipos, banners…) en la escena donde otros los identifican como distorsiones.

Video-MOS notifica cuando un programa no ha tenido un MOS óptimo y las distorsiones que le han afectado, así como ofrece informes de referencia personalizados. Por ejemplo, los espectadores no esperan el mismo QoE en América del Sur que en Europa, o no se espera el mismo QoE en la final de la Liga de Campeones de la UEFA que en un reality show. Las capacidades de Video-MOS permiten no sólo medir la QoE de un determinado contenido multimedia, sino también analizar y calcular el impacto en los espectadores. Más adelante Video-MOS podría realizar reconfiguraciones automáticas en dispositivos (codificador, routers, cámaras automáticas) para optimizar la emisión de contenidos audiovisuales.

Las métricas de vídeo-MOS van más allá de las soluciones de análisis de imagen y audio puras utilizadas hasta ahora. Evalúan el contenido audiovisual en su conjunto, teniendo en cuenta la atracción visual, la pureza del audio, el movimiento, y otras características relevantes de la composición del material de archivo. Podemos extraer información del propio contenido. Esto permite que Video-MOS sopese para los contenidos de las emisiones de RTVE los diferentes parámetros en función de la naturaleza del contenido, ya sea un programa de noticias o un partido de tenis, por ejemplo.

Mediante el uso de la herramienta de análisis de Video-MOS, RTVE ha podido comprobar de manera directa la calidad de la experiencia (QoE) de algunos de sus programas. Centrándose en los canales de alta definición, que son los que quedarán a partir del 1 de enero de 2023 en la TDT, y de forma mayoritaria en La 1, se han podido evaluar distintos parámetros para obtener una medida de la calidad ofrecida a los espectadores.

Esta herramienta podría suponer un plus para RTVE, entre otras aplicaciones, a la hora de determinar los valores óptimos de bit rate de cada canal dentro del múltiplex con el fin de optimizar la calidad de sus canales, así como para evaluar nuevo equipamiento de codificación.

Ventajas de Video-MOS

• Las sondas de Video-MOS aportan un experto en la QoE que informa instantáneamente de mediciones MOS estandarizadas sin referencia, y análisis comparativos con el resto de los sectores del mercado.
• Detecta artefactos de pérdida de calidad en su contenido audiovisual.
• Garantiza la calidad de su contenido audiovisual “sobre la marcha”, en tiempo real 24×7 en todos los canales en todos los lugares deseados de la cadena de producción y distribución, para cualquier contenido en directo (streaming) o VoD (fichero).
• Analiza el impacto de la calidad de su contenido video en su negocio y asegura una mejor experiencia de usuario.
• Aporta versatilidad en los entornos de uso. Válido para entornos de producción de radiodifusión tradicionales y streaming multi-dispositivo.
• Hace uso de una Web de gestión intuitiva, y una API accesible mediante llamadas REST. Reduce los esfuerzos de administración, supervisión e integración de terceros.
• Dota de diversidad a los modelos de explotación por medio de Contenedores de software, virtualizados y Docker en infraestructura privada, con su proveedor de nube pública preferido o como configuración híbrida para satisfacer sus necesidades actuales y futuras.

その他の記事 RTVE、 UPM、 Video-MOS