Calidad de experiencia
Desde los comienzos de las redes de telecomunicaciones se ha planteado la necesidad de dimensionar los recursos de la red según la demanda de servicios que la misma fuera a experimentar.
Para esto es importante conocer el comportamiento de los usuarios de la red de telecomunicaciones. Al conocerlos se puede modelar su demanda de servicios y prever las capacidades necesarias en recursos de la red de telecomunicaciones para ofrecer dichos servicios.
Estas son las premisas que siempre han motivado a los operadores, a dimensionar su red lo más eficientemente posible de forma de atender la demanda de servicios con buenos niveles de calidad.
De lo anterior se deriva la necesidad de encontrar para cada servicio en la red de telecomunicaciones (voz, video o datos) los parámetros; ya sean porcentaje en pérdida de paquetes, retardo, variación de retardo, ancho de banda o bloqueo; que aseguren que el mismo es brindado con la calidad adecuada. Esto implica traducir en parámetros de la red (mesurables y auditables) la percepción del usuario para cada servicio de lo que es un “buen servicio”.
Calidad de la Experiencia (QoE) Vs. Calidad de Servicio (QoS)
Es común que se confundan las terminologías QoE (Quality of Experience) y QoS (Quality of Service); sin embargo, hay una distinción clave sobre ambos conceptos y se basa en la perspectiva desde que se analice cada una; a saber: desde al punto de vista del usuario final para la QoE y desde el punto de vista de las prestaciones de la red para la QoS.
La QoE es una medida de extremo a extremo de las prestaciones (desempeño o performance) del sistema, realizada en la capa de servicio y desde la perspectiva del usuario, además indica el grado en que el sistema satisface las necesidades del usuario.
Una medición de la QoE puede expresarse a través del valor medio de opinión MOS (Mean Opinion Score), el cual es una medida subjetiva que cuantifica el impacto perceptual de varias formas de la degradación del servicio, desde el punto de vista de los usuarios finales.
Por otro lado, la QoS es una medida de la performance en la capa de red y desde la perspectiva de la red. El término QoS también es utilizado para referenciar al conjunto de tecnologías que permiten la administración de los efectos de congestión en el funcionamiento de una aplicación, proporcionando servicios diferenciados a determinados tipos de tráfico o a determinados grupos de usuarios. Por ejemplo, dentro de los parámetros que se pueden mesurar en la QoS están ser la perdida de paquetes, el retardo o el jitter.
Factores de la QoE
Para identificar los factores en que se basa la QoE de un nuevo servicio, es necesario considerar tres aspectos importantes sobre la entrega de este servicio:
- El proceso de inicio de sesión
- Como opera el servicio una vez establecida la sesión
- Finalización de la sesión
Respecto a las consideraciones anteriores, hay que resaltar que en aquellos casos en donde el servicio no esté basado en sesiones, la QoE se limitará a los aspectos de la operación del servicio solamente.
En cada una de estas etapas la calidad de experiencia es evaluada según:
- El esfuerzo requerido por el usuario para realizar la etapa,
- El grado de respuesta de una aplicación o servicio,
- La fidelidad de la información o contenido transmitido
- Seguridad, confiabilidad , entre otros.
Es importante señalar que cuando se examina el entorno completo de un servicio en los planos expuestos, se hace necesario considerar tres capas a efectos de medir la QoE:
- Capa de Servicio: capa expuesta al usuario, donde se mide el QoE.
- Capa de aplicación: varios parámetros son configurados en esta capa, por ejemplo, la resolución media, el tipo de codec, el bitrate, mecanismos de corrección de errores, etc.
- Capa de Transporte: donde suelen presentarse varias dificultades como retardos, jitter, etc. En esta capa se emplean los mecanismos de corrección de errores y de QoS.
Ahora bien, entre los efectos que pueden percibir los usuarios como una mala calidad de la experiencia para cada uno de los servicios, que en un contexto muy general se presentan a continuación, son lo siguientes:
- Voz: se interrumpe, no se comprende, se repite un efecto de entrecortado, no se sabe cuando termina de hablar el corresponsal o cuando empezó, se desconectan las llamadas, etc.
- Video: movimientos erráticos, audio fuera de sincronismo, imágenes ralentizadas, etc.
- Datos: tiempos variables de respuesta, pantallas que no terminan de abrirse; etc.
Medición de la Calidad de la Experiencia
Hay dos posibles aproximaciones a la medición de la calidad: evaluaciones subjetivas y métricas objetivas. En resumen, las evaluaciones subjetivas consisten de un panel de personas ponderando de acuerdo a su percepción personal de la calidad, y por su parte las métricas objetivas utilizan algoritmos y/o formulas matemáticas para medir la calidad en forma automática, cuantitativamente y repetible.
Para un mejor entendimiento de las evaluaciones presentadas, a continuación se describe cada una en el análisis de la calidad de percepción del video.
A. Medidas Subjetivas
La calidad percibida de video, es por definición un concepto subjetivo. Por tanto, la forma más precisa de definirla es mediante la evaluación con personas reales. Existen dos clases de medidas subjetivas: las cualitativas y las cuantitativas. Las cualitativas apuntan a entender los factores sociológicos que determinan la calidad, mientras que las cuantitativas intentan dar una ponderación de la calidad utilizando alguna escala numérica.
Se describen a continuación las medidas cuantitativas debido a que son más apropiadas para utilizar en conjunto con otros factores en la medida de QoE.
Una medida subjetiva cuantitativa requiere de los siguientes pasos:
- Primero se eligen una serie de secuencias de video. Estas secuencias deben ser representativas de la realidad que se pretende medir. Por ejemplo si se quiere determinar el impacto de las pérdidas de paquetes en la red, las secuencias deben presentar casos de pérdidas típicas.
- Se le solicita a un conjunto de observadores que evalúen las secuencias utilizando alguna escala numérica. Por ejemplo la valoración de 1 a 5 para la evaluación de la calidad tomando como mala la valoración con el número 1 y excelente la valoración con el número 5. (Ver Figura)
- Utilizando criterios estadísticos se eliminan observadores que por falta de atención (u otros factores externos) no son consistentes con el grupo.
- Se determina el valor de calidad subjetiva para cada video a partir del valor medio evaluado por los observadores consistentes. A este valor habitualmente se le llama MOS – Mean Opinion Score, y puede ser considerada como definición de la calidad de la experiencia.
El proceso de medida subjetiva tiene la ventaja de que es, por definición, la medida más precisa de la calidad de la experiencia. Sin embargo presenta grandes desventajas, por ejemplo, requiere mucho tiempo para ejecutarse y es costosa en recursos humanos, provocando que sea de difícil repetición e imposible de utilizarse en un proceso automático.
Hay estándares para realizar medidas cuantitativas de la calidad percibida en video. Uno de los más conocidos es la recomendación ITU-R BT.500-11, ésta incluye una serie de variantes dependiendo de los objetivos de la medida.
B. Medidas Objetivas
Las métricas objetivas surgen como un paliativo al problema de automatización en las medidas subjetivas. Las métricas objetivas son algoritmos o formulas matemáticas que especifican una medida de calidad. Habitualmente se utilizan las mismas escalas de calidad que en las medidas subjetivas.
Con algunas excepciones, las métricas objetivas computan alguna medida de distancia entre el video de origen (de perfecta calidad) y el video distorsionado por los factores que se están evaluando. A pesar de ser natural partir de estos datos, requerir del video original al mismo tiempo que el video distorsionado es una gran limitante para la medición en sistemas reales, puesto que en general no se cuenta con estas dos secuencias de forma simultanea.
Pero la peor desventaja de las métricas objetivas es que son muy poco robustas respecto a cambios en el contexto de donde fueron calibradas. Esto determina que presenten una muy baja correlación con la calidad percibida, limitando su aplicación a contextos extremadamente reducidos.
Las métricas objetivas de video más utilizadas son:
- Peak Signal to Noise Ratio (PSNR),
- ITS’ Video Quality Metric (VQM) ,
- EPFL’s Moving Picture Quality Metric (MPQM),
- Color Moving Picture Quality Metric (CMPQM),
- Normalization Video Fidelity Metric (NVFM).
C. Medidas Híbridas
Ambos métodos (medidas subjetivas y métricas objetivas) presentan desventajas importantes al ser aplicados. En resumidas cuentas, las medidas subjetivas son muy costosas y no pueden ser utilizadas en procesos automáticos; mientras que las métricas objetivas requieren del video original y el distorsionado simultáneamente, impidiendo su utilización directamente sobre los sistemas, además de presentar una pobre correlación con la medida real de calidad percibida.
Surge entonces la necesidad de métodos híbridos, uno de ellos es conocido como PSQA - Pseudo-Subjective Quality Assessment. La idea es calibrar a partir de medidas subjetivas una herramienta de aprendizaje artificial (en el caso de PSQA se utilizan redes neuronales aleatorias con gran éxito).
Al momento de ser utilizada estos mecanismos requieren del cómputo de algunos parámetros para determinar la calidad (donde no necesariamente se requiere la secuencia original de video para calcularlos). Por tanto estos mecanismos híbridos juntan las ventajas de automatización de los métodos objetivos con la precisión de las medidas subjetivas, pudiendo ser aplicados en muchos contextos.
Cabe indicar que la técnica PSQA también ha sido aplicada con éxito para medir la calidad percibida de la voz.
En conclusión, es importante tener presente que los factores que afectan la calidad de la experiencia para cada tipo de servicios pueden ser diferentes, incluso bajo un mismo servicio global como el de datos, existen aplicaciones cuyas características hacen más perceptible la ausencia de calidad. Señalamos en este aspecto particularmente, las expectativas de un usuario respecto a una buena experiencia, al utilizar una aplicación como juegos en red por Internet, frente a una de mensajería instantánea.
No obstante lo anterior, para cada uno de estos servicios señalados, existen además algunos factores comunes que condicionan fuertemente la QoE; entre ellos resaltamos la diversidad de componentes según la arquitectura de la red de distribución y la robustez de los protocolos utilizados en cada una.
Bajo las premisas indicadas, es necesario evaluar cada servicio de acuerdo a las expectativas del usuario final, quien será mas o menos tolerante dependiendo de la aplicación que utilice, dentro de cada uno de los servicios señalados (video, voz y datos).
En ese mismo sentido no debe dejarse de lado la actitud comparativa que toman los usuarios finales (quienes definen la experiencia), acostumbrados a algunos servicios con calidades relativas que hoy se empiezan a brindarse sobre las redes de datos de Nueva Generación (NGN).
Finalmente, es evidente que un buen diseño de la red con características de QoS elevadas puede asegurar una buena calidad de experiencia; sin embargo, también esto nos puede llevar a sobredimensionar los recursos necesarios con el consecuente aumento de la inversión y el encarecimiento del producto final, limitando la adquisición por parte de los usuarios a quienes se dirigen lo servicios ofertados.
Enlaces de interés
- DSL Forum Technical Report TR-126: Triple Play Services Quality of experience (QoE) Requirements
- ITU-R BT.500-11
