Qualità del servizio (QoS) e qualità dell'esperienza (QoE)

Finora (note Digitalizzazione dei segnali multimediali - campionamento, quantizzazione e binarizzazioneLa conversione analogico-digitale (ADC) ha tre passi: campionamento $s_c(n)=s(nT_c)$, quantizzazione su $L=2^m$ livelli, binarizzazione dell'indice in $m$ bit; il bit-rate vale $R=F_c\log_2L$. Per il teorema di Shannon un segnale a banda limitata $f_M$ si ricostruisce senza errore se $F_c\ge2f_M$ (criterio di Nyquist), altrimenti c'è aliasing; per questo prima del campionatore c'è un filtro passa-basso. La quantizzazione uniforme di passo $\Delta=\frac{2A}{L}$ è irreversibile, con errore massimo $\frac\Delta2$ e $\mathrm{MSE}=\frac{\Delta^2}{12}$; la qualità si misura con MSE e $\mathrm{PSNR}=10\log_{10}\frac{(2^b-1)^2}{\mathrm{MSE}}$. In ricezione il bit mapper ricostruisce i valori e l'interpolazione con un nucleo $h$ (sample and hold, lineare, cubica, sinc troncato) riporta il segnale al tempo continuo.Digitalizzazione dei segnali multimediali - campionamento, quantizzazione e binarizzazione →, Metriche e prestazioni di rete per i servizi multimedialiUna rete è una pila di livelli: ogni livello offre un servizio al superiore tramite un'interfaccia e dialoga con il livello pari con un protocollo; il pacchetto di un livello è il payload del livello inferiore ($\mathrm{PDU}n=\mathrm{PCI}n+\mathrm{SDU}n$), con efficienza $\eta=\frac{|\mathrm{SDU}n|}{|\mathrm{PDU}n|}$. Metriche: bit-rate $R_0$ (livello fisico) $\ge$ throughput $S$ $\ge$ goodput (throughput a lungo termine a livello applicazione). Ritardo nodale $d=d{proc}+d{queue}+d{trans}+d{prop}$ con $d{trans}=\frac LR$ e $d_{prop}=\frac xc$; ritardo end-to-end = somma dei nodali; jitter = variabilità del ritardo; BDP $=S\cdot\mathrm{RTT}$ (con il bit-rate minimo del percorso). Affidabilità: nel canale binario simmetrico $\mathrm{PER}=1-(1-\varepsilon)^L$ e $P(\ell)=\binom L\ell\varepsilon^\ell(1-\varepsilon)^{L-\ell}$; codici di canale $R=\frac kn$, parità, Hamming, interleaving per i burst; perdite per errori o congestione, $\mathrm{PDR}=1-P_{\text{LOSS}}$.Metriche e prestazioni di rete per i servizi multimediali →) si sono misurati parametri tecnici: bit-rate, ritardo, perdite, MSE. Ma l'obiettivo di un servizio multimediale è che l'utente sia soddisfatto. Questa nota distingue la qualità del servizio (QoS) dalla qualità dell'esperienza (QoE), e presenta i metodi per misurare la qualità di immagini e video: test soggettivi con osservatori umani e metriche oggettive calcolabili da un algoritmo.

1. QoS: qualità del servizio

Definizione (QoS, ITU-T E.800, 2008). La QoS è l'insieme delle caratteristiche di un servizio di telecomunicazioni che influiscono sulla sua capacità di soddisfare le esigenze dichiarate e implicite dell'utente del servizio.

In altre parole: un insieme di tecnologie di rete e strumenti di misura che consentono alla rete di garantire risultati prevedibili e misurabili. Si misura con gli indici di prestazione già visti: throughput, ritardo/latenza, jitter, perdita di pacchetti; più la disponibilità del servizio (probabilità che il server non sia disponibile, per esempio perché sovraccarico) e l'affidabilità (probabilità che il servizio diventi indisponibile durante l'uso). La QoS è particolarmente importante per il traffico ad alto bit-rate e in tempo reale (VoIP, videoconferenze, video on demand), molto sensibile a latenza e throughput.

Limiti della QoS. Si concentra sui servizi di telecomunicazioni; si occupa degli aspetti prestazionali dei sistemi fisici; ha un approccio molto orientato alla tecnologia (analisi, misure empiriche, simulazioni). Contesto d'uso e caratteristiche dell'utente non sono affrontati in modo sistematico.

2. QoE: qualità dell'esperienza

Definizione (QoE). La QoE è la qualità del servizio percepita dall'utente. La definizione ufficiale (Qualinet): "il grado di gradimento o fastidio dell'utente di un'applicazione o servizio".

Che cosa conta dipende dal servizio:

• trasferimento dati (FTP, download): tempo di risposta rapido, nessuna caduta di connessione, nessun errore nei dati;
• voce: nessuna caduta di chiamata, nessuna interruzione, livello costante, buona qualità della voce;
• video: immagine di alta qualità, video fluido, nessun blocco, nessun glitch, sincronia voce-immagine.

È difficile da misurare perché gli utenti sono diversi tra loro, vanno considerate le condizioni del contesto, e l'applicazione ha un impatto.

2.1 I fattori che influenzano la QoE: il modello ARCU

La QoE è funzione di cinque "spazi" (modello ARCU, Skorin-Kapov e Varela):

La stima della QoE si ottiene con un mapping dai primi quattro spazi a Q: dando un fattore di peso a ogni dimensione individuale della QoE.

Relazione con la QoS. Una QoE elevata richiede una QoS adeguata (ma non basta): applicazioni diverse hanno requisiti diversi. Per "percepire" l'effetto della QoS sulla QoE si può simulare la trasmissione di un flusso multimediale codificato. Esempio nelle demo del corso: errori su bit nella trasmissione di un'immagine, con parametri QoS (formato di codifica: non compresso BMP, JPEG, JPEG2000, che è più avanzato e più robusto; throughput di 10 Mbit/s; tasso d'errore sul bit; uso di un codice correttore d'errore) e parametri QoE (tempo di download e "qualità dell'immagine"). Tre osservazioni: il file non compresso impiega più tempo ma un bit errato cambia un solo pixel; il file compresso è molto più veloce da scaricare ma un errore su bit può compromettere interi blocchi per la decodifica a lunghezza variabile (Compressione di immagini - DCT e standard JPEGPer comprimere con perdita non basta quantizzare i pixel (non sono sparsi): si applica una trasformata lineare ortogonale che concentra l'energia in pochi coefficienti, si quantizzano i coefficienti e si codificano senza perdita. Le trasformate ortogonali conservano l'MSE ($\frac1N|\mathbf x-\tilde{\mathbf x}|^2=\frac1N|\mathbf y-\tilde{\mathbf y}|^2$). JPEG baseline: si sottrae 128, si divide in blocchi $8\times8$, DCT 2D ($Y=AXA^T$), quantizzazione uniforme con tabella (passi piccoli a bassa frequenza, scalata da un fattore di qualità $Q$), zig-zag scan, DC codificato in modo differenziale con categoria/ampiezza, AC con coppie (run, categoria) e simbolo EOB, codici di Huffman non standardizzati scritti nel file. Esempio completo: un blocco da 512 bit diventa 49 bit (0,766 bit/pixel).Compressione di immagini - DCT e standard JPEG →); un codice correttore riduce gli errori a costo di un po' di tempo in più.

3. Come si misura la qualità

La qualità di un segnale multimediale (nelle note precedenti solo MSE e PSNR) si valuta con due grandi famiglie:

Valutazione della qualità
 |-- Soggettiva: single stimulus, double stimulus
 |-- Oggettiva : full reference, reduced reference, no reference

• Soggettive: si basano sul giudizio di un gruppo di persone. Sono lente, complesse e costose, ma sono le più rilevanti (la qualità è, per definizione, ciò che percepisce l'utente).
• Oggettive: definite da una formula matematica o da un algoritmo; si calcolano automaticamente e si integrano nelle tecniche di ottimizzazione (per esempio nel codificatore). Idealmente dovrebbero dare risultati simili a quelli soggettivi. Si distinguono per quanta informazione sul segnale di riferimento (originale) usano: full reference (tutto l'originale), reduced reference (solo alcune caratteristiche), no reference (nessuno: solo il segnale degradato).

4. Metriche soggettive

I test soggettivi sono il modo più affidabile per misurare la QoE di un servizio multimediale, ma sono lunghi e richiedono molti utenti per risultati affidabili. Per avere risultati affidabili e riproducibili bisogna descrivere con cura:

• le apparecchiature del laboratorio (schermo, distanza di osservazione, illuminazione, riverberazione della stanza);
• il dataset: contenuti originali ed elaborati e loro distribuzione;
• la metodologia: obiettivo (qualità, confronto, degradazione), scala (categorica o continua), tipo di stimoli (singoli o doppi);
• l'elaborazione dei risultati: normalizzazione dei punteggi, rilevamento degli outlier, media e intervalli di confidenza, test di significatività.

4.1 Il MOS

Il punteggio si misura con il MOS (Mean Opinion Score): la media aritmetica dei punteggi individuali dati da un gruppo di utenti alla qualità percepita di un segnale. La scala più usata è la Absolute Category Rating (ACR):

4.2 Il dataset: informazione spaziale e temporale

Gli stimoli (segnali di test) dipendono dall'obiettivo (confrontare algoritmi di compressione, valutare un denoising, ...); è importante coprire una larga varietà di casi. Per i video si confrontano l'informazione spaziale e temporale delle sequenze.

• Spatial Information (SI): quantità di dettaglio spaziale. Si basa sul filtro di Sobel, analogo discreto del gradiente: il gradiente orizzontale $G_x$ è la media pesata dei tre pixel a destra del pixel corrente meno quella dei tre a sinistra (pesi $1,2,1$), il verticale $G_y$ usa la maschera trasposta, il gradiente totale è $G=\sqrt{G_x^2+G_y^2}$ (grande vicino ai contorni, piccolo nelle aree piatte). Per ogni fotogramma $F_n$ si calcola la deviazione standard spaziale dell'immagine filtrata; $\mathrm{SI}=\max_{\text{tempo}}\,\sigma_{\text{spazio}}[\mathrm{Sobel}(F_n)]$. Esempio delle slide: $\mathrm{SI}=161{,}6$.
• Temporal Information (TI): quantità di cambiamenti temporali. Si definisce la mappa delle differenze temporali $M_n(i,j)=F_n(i,j)-F_{n-1}(i,j)$ e $\mathrm{TI}=\max_{\text{tempo}}\{\sigma_{\text{spazio}}[M_n(i,j)]\}$. Grande per sequenze con molto movimento. Esempio delle slide: $\mathrm{TI}=39{,}20$.

(Se si possono usare poche sequenze, conviene sceglierle in modo da coprire un'ampia porzione del piano SI-TI.)

4.3 Protocollo del test

Il test deve seguire un protocollo preciso: screening iniziale (esclusione di partecipanti non adatti, per esempio daltonici se conta il colore); spiegazione del test e firma del consenso; sessione di training (mostra la gamma e il tipo di degradazioni, con contenuti diversi da quelli del test ma comparabili); valutazione degli stimoli del test; questionario finale (opzionale). Una sessione non dovrebbe durare più di mezz'ora; all'inizio si inseriscono quattro o cinque immagini "fittizie" per stabilizzare l'opinione degli osservatori (i loro voti non entrano nei risultati); le immagini e le degradazioni sono presentate in sequenza pseudo-casuale, e preferibilmente diversa in ogni sessione.

4.4 Metodi di valutazione

• Single Stimulus (SS) / ACR: si presenta una singola immagine o sequenza e il valutatore ne giudica la qualità (scala ACR). Il materiale può includere solo segnali di test o anche il riferimento nascosto (hidden reference, HR), valutato come qualunque altro stimolo; in analisi si calcola il DMOS (differential MOS) tra ogni sequenza di test e il suo riferimento. Pro: si testano più stimoli nello stesso tempo; contro: può essere insensibile ad alcune distorsioni e influenzato dal contenuto.
• Degradation Category Rating (DCR) (double stimulus): si mostrano riferimento e test e si giudica la degradazione con la scala: 5 imperceptible, 4 perceptible but not annoying, 3 slightly annoying, 2 annoying, 1 very annoying. Richiede più tempo, è più sensibile e meno influenzato dal contenuto.
• Pair Comparison (PC): si forza l'utente a scegliere tra due stimoli ("quale immagine preferisci?"). Richiede tempo (ci sono strategie per accelerare), più sensibile e meno influenzato dal contenuto.

Ambiente controllato o no. Controllato: schermo, illuminazione, distanza fissi; meno distrazioni; partecipanti meno diversificati e più difficili da trovare. Non controllato (crowdsourcing): condizioni variabili e dati più rumorosi, più distrazioni e nessuna supervisione, ma partecipanti più diversificati e più facili da trovare.

Fonti di rumore. Casuali: partecipanti con cattive intenzioni (guadagno con il crowdsourcing: risposte ripetute, bassa attenzione); partecipanti che non hanno capito il compito (risposte invertite, uso incompleto della scala); contesto (video sui social contro video al cinema). Sistematiche: impatto ambientale (dispositivi diversi in ambiente non controllato); problemi del sistema visivo; partecipanti sbilanciati su una parte della scala (voti sempre alti o sempre bassi, o solo nell'intervallo 3-5).

4.5 Elaborazione dei MOS

I valori misurati si considerano realizzazioni di una variabile aleatoria, assunta gaussiana. Con $N$ osservatori e voti $x_i$:

• media (stimatore del valor medio, cioè il MOS): $m=\frac1N\sum_{i=1}^Nx_i$;
• deviazione standard: $s=\sqrt{\frac1{N-1}\sum_{i=1}^N(x_i-m)^2}$. Si usa $N-1$ e non $N$ perché anche $m$ è una stima e non la vera media $\mu$ (se si conoscesse $\mu$ si dividerebbe per $N$);
• errore standard (stima della deviazione standard dello stimatore della media): $\mathrm{SE}=\frac s{\sqrt N}$;
• intervallo di confidenza al 95%: $m\pm1{,}96\,\mathrm{SE}$.

L'intervallo di confidenza non significa che $\mu$ cada nell'intervallo con probabilità 95% (perché $\mu$ non è aleatorio!); significa che, ripetendo lo stesso esperimento con lo stesso numero di osservatori, nel 95% dei casi il valor medio vero cade nell'intervallo stimato. È più corretto vederlo come una misura dell'affidabilità del metodo usato per stimare il parametro.

Esempio (10 osservatori, scala ACR). Voti: un 2, due 3, cinque 4, due 5. $\mathrm{MOS}=m=\frac{2+6+20+10}{10}=3{,}8$. $\sum(x_i-m)^2=3{,}24+2\cdot0{,}64+5\cdot0{,}04+2\cdot1{,}44=7{,}6$, $s=\sqrt{7{,}6/9}=0{,}919$. $\mathrm{SE}=\frac{0{,}919}{\sqrt{10}}=0{,}291$, intervallo $3{,}8\pm0{,}57$. Con 30 osservatori e giudizi dello stesso tipo (due 2, sette 3, quindici 4, sei 5: media 3,83, $s=0{,}834$) l'errore standard scende a $0{,}152$ e l'intervallo a $\pm0{,}30$: cresce come $\frac1{\sqrt N}$, quindi servono tanti osservatori.

5. Metriche oggettive per immagini e video

Scopo: predire il risultato di uno studio soggettivo con un algoritmo (o formula). Vantaggi: praticità e scalabilità. Qui si considerano metodi full-reference. Notazione: $I(n,m,c,t)$ è l'intensità della componente $c$ in posizione $(n,m)$ al tempo $t$ del segnale di riferimento, $\hat I(n,m,c,t)$ quella del segnale di prova; lo spazio colore è tipicamente YCbCr (talvolta RGB).

5.1 MSE e PSNR

L'errore quadratico medio della sola luminanza (per un frame al tempo $t$): $\mathrm{MSE}_Y(t)=\frac1{NM}\sum_{n,m}\bigl[I(n,m,1,t)-\hat I(n,m,1,t)\bigr]^2$, e $\mathrm{PSNR}_Y(t)=10\log_{10}\frac{255^2}{\mathrm{MSE}_Y(t)}\approx48\,\text{dB}-10\log_{10}\mathrm{MSE}_Y(t)$.

YCbCr-PSNR. Si definiscono allo stesso modo $\mathrm{MSE}_{C_b},\mathrm{PSNR}_{C_b},\mathrm{PSNR}_{C_r}$ (con $\frac N2\times\frac M2$ campioni in 4:2:0) e una misura globale per immagini a colori $$\mathrm{PSNR}_{\mathrm{YCbCr}}=\tfrac34\mathrm{PSNR}_Y+\tfrac18\mathrm{PSNR}_{C_b}+\tfrac18\mathrm{PSNR}_{C_r}.$$ I pesi più piccoli riflettono il minore impatto dei colori sulla percezione. Esempio: $\mathrm{PSNR}_Y=40$, $\mathrm{PSNR}_{C_b}=44$, $\mathrm{PSNR}_{C_r}=45$ dB: $0{,}75\cdot40+0{,}125\cdot44+0{,}125\cdot45=41{,}125$ dB.

PSNR di un video: la media dei PSNR dei singoli frame, $\mathrm{PSNR}_Y=\frac1T\sum_{t=1}^T\mathrm{PSNR}_Y(t)$ (e allo stesso modo le componenti e la media pesata con $\frac34,\frac18,\frac18$). Esempio nelle slide: sequenza "foreman" con H.264, media del $\mathrm{PSNR}_Y\approx39{,}0$ dB.

5.2 Metriche di Bjontegaard

Un codec può comprimere la stessa sequenza a livelli di qualità diversi (per esempio variando il parametro di quantizzazione QP): ogni codifica dà una coppia (tasso $R$, PSNR), cioè un punto nel piano tasso-qualità; più punti campionano la curva tasso-distorsione del codificatore. Per confrontare due codec con un solo numero si usano le metriche di Bjontegaard:

• BD-PSNR (Bjontegaard Delta PSNR): differenza media di PSNR a parità di tasso, in dB;
• BD-rate: differenza media di tasso a parità di PSNR, in percentuale.

Calcolo del BD-PSNR: si individua un intervallo di tassi $[R_1,R_2]$ in cui sono disponibili punti per entrambi i codec e si confrontano i PSNR medi. Se $f_A(R)$ e $f_B(R)$ fossero note come funzioni continue: $$\mathrm{BD\text{-}PSNR}=\frac1{R_2-R_1}\int_{R_1}^{R_2}\bigl(f_A(R)-f_B(R)\bigr)dR,$$ l'area tra le due curve divisa per l'ampiezza dell'intervallo. Le funzioni si approssimano con polinomi di terzo grado nella variabile $t=\log R$, il che permette il calcolo in forma chiusa. Il BD-rate si definisce analogamente, scambiando gli assi (area tra le curve in orizzontale: differenza di tasso a parità di qualità). Un BD-rate negativo significa risparmio di bit.

5.3 Limiti del PSNR e metriche più vicine alla percezione

Il PSNR dipende dalle differenze pixel per pixel:

• uno spostamento spaziale dell'immagine riduce molto il PSNR anche se l'immagine percepita è buona;
• non tiene conto degli effetti di mascheramento né della sensibilità in frequenza dell'occhio;
• non tiene conto di fenomeni come la banda di Mach (il sistema visivo sotto o sopra stima i confini tra regioni di diversa intensità) o dell'effetto per cui la luminosità percepita di una regione dipende anche dallo sfondo.

SSIM (Structural Similarity Index): per rappresentare meglio la qualità soggettiva. Gli approcci precedenti quantificano la distorsione valutando la percezione dell'errore; l'SSIM la quantifica come cambiamento dell'informazione strutturale dell'immagine, includendo luminance masking e contrast masking. Nella formulazione originale (approfondimento) per due finestre $x,y$: $\mathrm{SSIM}(x,y)=\dfrac{(2\mu_x\mu_y+C_1)(2\sigma_{xy}+C_2)}{(\mu_x^2+\mu_y^2+C_1)(\sigma_x^2+\sigma_y^2+C_2)}$ ($\mu$ medie, $\sigma^2$ varianze, $\sigma_{xy}$ covarianza, $C_1,C_2$ piccole costanti) vale al più 1 e vale 1 solo per finestre identiche. Nelle slide, sulla stessa immagine con $\mathrm{MSE}=210$: contrasto aumentato $\mathrm{MSSIM}=0{,}917$; media scalata $0{,}990$; JPEG $0{,}695$; sfocata $0{,}705$; rumore sale e pepe $0{,}775$. Cioè a MSE uguale (210) le immagini sono percepite in modo molto diverso: l'SSIM le ordina meglio dell'MSE. In un altro test (MSE $=16$ per quattro immagini) l'SSIM varia da 0,882 a 0,987, mentre uno spostamento di un pixel in orizzontale e verticale ha MSE 33 e SSIM 0,936.

VMAF (Video Multimethod Assessment Fusion): metrica di qualità video sviluppata da Netflix con altre aziende e università. Confronta un video di riferimento con la versione distorta o compressa; usa un modello di apprendimento automatico (machine learning) che fonde diverse metriche, addestrato su grandi insiemi di dati di valutazione soggettiva (spettatori che giudicano video con varie distorsioni) per predire come gli spettatori valuterebbero il video. Molto usata nello streaming per confrontare tecniche di elaborazione, ottimizzare le impostazioni di codifica e valutare i codec, usando in modo efficiente banda e archiviazione.

6. Quello che le metriche non vedono

PSNR, SSIM e VMAF valutano la qualità di ogni immagine. Nessuna di queste metriche riflette gli eventi di stallo e le variazioni di qualità di uno streaming: per questo serve una metrica di QoE che tenga conto di qualità per segmento, numero e durata dei rebuffering, variazioni di livello e buffering iniziale (Streaming adattativo e DASHPer non stallare serve $R_C\le S$ (tasso di codifica non superiore al throughput), ma $R_C$ si controlla e $S$ no. Se $S<R_C$ la latenza cresce, i buffer dei router si riempiono e si perdono pacchetti; né il drop brutale né il transcoding in rete sono praticabili, la scalabilità (SVC) è parziale. La soluzione dominante è lo streaming adattativo (ABR) tirato dal client su HTTP: il video è diviso in $N$ segmenti da $T_S$ secondi, ciascuno in $K$ livelli di bit-rate $R_C(k)$ descritti nell'MPD; il client sceglie il livello $q(n)$ di ogni segmento con $T_D=\frac{T_SR_C(q)}{S_n}$. Il playout buffer $B(t)$ (in secondi di video) segue $B'=\frac S{R_C}$ durante lo stallo e $B'=\frac S{R_C}-1$ durante la riproduzione; si parte dopo $L$ segmenti e dopo uno stallo si riprende con $M$ nuovi segmenti. La QoE si modella con $J=\sum_n\lambda_1k_n-\lambda_2\lvert k_n-k_{n-1}\rvert-\phi(\Delta_n)-\lambda_3T_{ST}$. Gli algoritmi ABR sono basati su throughput, buffer o ibridi; MPEG-DASH standardizza MPD e segmenti, non il client.Streaming adattativo e DASH →).

Domande d'esame

1. Qual è la differenza tra QoS e QoE? Traccia: la QoS è un insieme di caratteristiche tecniche del servizio misurabili sulla rete (throughput, ritardo, jitter, perdite, disponibilità, affidabilità; ITU-T E.800), orientata alla tecnologia; la QoE è il grado di gradimento o fastidio dell'utente, dipende anche da applicazione, contesto e utente (ARCU) e richiede una QoS adeguata, che è condizione necessaria ma non sufficiente.

2. Come si misura il MOS e quanto è affidabile? Traccia: media dei voti (scala ACR da 1 a 5) di un gruppo di osservatori in un test controllato; l'affidabilità si valuta con deviazione standard $s=\sqrt{\frac1{N-1}\sum(x_i-m)^2}$, errore standard $\frac s{\sqrt N}$ e intervallo di confidenza $\pm1{,}96\,\mathrm{SE}$, che si stringe come $\frac1{\sqrt N}$.

3. Perché il PSNR non basta e che cosa propongono SSIM e VMAF? Traccia: il PSNR confronta pixel per pixel, ignora percezione (mascheramento, sensibilità in frequenza) e penalizza spostamenti innocui; l'SSIM misura la variazione dell'informazione strutturale; VMAF combina più metriche con machine learning addestrato su giudizi umani; nessuna cattura stalli e variazioni di qualità.