Esercizio 1quantizzatore uniforme di un segnale gaussiano, SNR ed entropia in uscita (tema d'esame gennaio 2025)

---

Teoria usata: Quantizzatore uniforme - livelli, mid-riser ed erroriUn quantizzatore mappa i campioni reali su $L=2^b$ livelli. Quello uniforme (PCM) sceglie un range dinamico $[-V_{sat},V_{sat}]$ e un passo $\Delta=\frac{2V_{sat}}L$; nel tipo mid-riser i livelli sono $\pm\frac\Delta2,\pm\frac{3\Delta}2,\dots$ e non c'è lo zero. L'errore $e_q=a_q-a$ ha una parte granulare (in $[-\frac\Delta2,\frac\Delta2]$, circa uniforme, potenza $\frac{\Delta^2}{12}$) e una di saturazione (fuori range). Per renderlo piccolo servono $P_{sat}$ piccola e $L$ grande.Quantizzatore uniforme - livelli, mid-riser ed errori →, SNR di quantizzazione e progetto del quantizzatoreL'SNR di quantizzazione è $\Lambda_q=\frac{M_a}{M_e}$. Con errore granulare uniforme e saturazione trascurabile vale $\Lambda_q=\frac{\sigma^2}{\Delta^2/12}=3\frac{\sigma^2}{V_{sat}^2},2^{2b}$, cioè $[\Lambda_q]{dB}=6{,}02,b+4{,}77+20\log{10}\frac\sigma{V_{sat}}$: ogni bit in più dà $+6$ dB. Per progettare: $V_{sat}$ dalla probabilità di saturazione ($V_{sat}=\sigma,Q^{-1}\left(\frac{P_{sat}}2\right)$ per un gaussiano), poi $b$ dall'SNR richiesto, arrotondando per eccesso.SNR di quantizzazione e progetto del quantizzatore →, Informazione ed entropiaL'informazione di un evento di probabilità $p$ è $\log_2\frac1p$ bit; l'entropia $H(x)=\sum p\log_2\frac1p$ è l'informazione media e misura l'incertezza della sorgente: $0\le H\le\log_2M$, con il massimo quando i simboli sono equiprobabili. Per più simboli: $H(x,y)\le H(x)+H(y)$ (uguaglianza se indipendenti), $H(x|y)=H(x,y)-H(y)$. Per una sorgente con $F_s$ simboli al secondo il rate di informazione è $F_sH_s$, il rate nominale $F_s\log_2M$ e l'efficienza $\eta=\frac{H_s}{\log_2M}$.Informazione ed entropia →, Variabili aleatorie e vettori aleatori per le comunicazioniUna variabile aleatoria è descritta da una PMD (discreta) o da una PDF (continua) e dalla funzione di ripartizione; per la gaussiana $P[x>a]=Q\left(\frac{a-m}{\sigma}\right)$ con la funzione coda $Q$. Media $m_x$, varianza $\sigma_x^2$ e potenza statistica $M_x=\sigma_x^2+m_x^2$. Per un vettore aleatorio contano l'indipendenza, le probabilità condizionate (totali e di Bayes) e la correlazione; combinazioni lineari di gaussiane sono gaussiane, e gaussiane scorrelate sono indipendenti.Variabili aleatorie e vettori aleatori per le comunicazioni →.

(1) Range dinamico e SNR

Con $b=3$ si hanno $L=2^3=8$ livelli. Il segnale è gaussiano a media nulla, quindi la probabilità di saturazione ha due code: $$P_{sat}=P\left[\lvert x\rvert>V_{sat}\right]=2Q\left(\frac{V_{sat}}\sigma\right)\ \Longrightarrow\ V_{sat}=\sigma\,Q^{-1}\left(\frac{P_{sat}}2\right)=\sqrt2\ \text{mV}\cdot Q^{-1}\left(10^{-4}\right).$$ Dalla tabella $Q^{-1}(10^{-4})=3{,}719$, quindi $$V_{sat}=1{,}4142\cdot3{,}719=5{,}26\ \text{mV},\qquad\text{range dinamico }[-5{,}26\ \text{mV},\ +5{,}26\ \text{mV}].$$ Il passo di quantizzazione è $\Delta=\frac{2V_{sat}}{L}=\frac{2\cdot5{,}259}8=1{,}315$ mV. L'SNR di quantizzazione, con la sola potenza dell'errore granulare ($P_{sat}$ piccola): $$\Lambda_q=\frac{\sigma^2}{\Delta^2/12}=\frac{2}{1{,}7289/12}=13{,}88\ \Longrightarrow\ [\Lambda_q]_{dB}=11{,}42\ \text{dB}.$$ Controllo con la formula in dB: $6{,}02\cdot3+4{,}77+20\log_{10}\frac{1{,}4142}{5{,}259}=18{,}06+4{,}77-11{,}41=11{,}42$ dB.

(2) Funzione caratteristica

Per il mid-riser con $L=8$ e $\Delta=1{,}315$ mV: soglie in $0,\ \pm1{,}315,\ \pm2{,}630,\ \pm3{,}945$ mV; livelli (punto centrale di ogni regione) in $\pm0{,}657,\ \pm1{,}972,\ \pm3{,}287,\ \pm4{,}602$ mV. Non c'è il livello $0$ (la funzione sale in $0$) e oltre $\pm5{,}26$ mV l'uscita resta ferma (saturazione, le regioni esterne sono $[3{,}945,\infty)$ e $(-\infty,-3{,}945]$).

(3) Entropia in uscita

La domanda chiede l'entropia della sorgente quantizzata (le parole di lunghezza fissa, $3$ bit, dicono solo il rate nominale $3F_s$). Serve la probabilità di ogni livello. Per la simmetria della densità basta calcolarne quattro; gli estremi delle regioni sono $k\Delta$, che in unità di $\sigma$ valgono $\frac\Delta\sigma=\frac{1{,}315}{1{,}4142}=0{,}9298$:

La somma $2\,(0{,}3238+0{,}1448+0{,}0288+0{,}0026)=1$ è un controllo. L'entropia è $$H(x_q)=2\left[0{,}3238\log_2\frac1{0{,}3238}+0{,}1448\log_2\frac1{0{,}1448}+0{,}0288\log_2\frac1{0{,}0288}+0{,}0026\log_2\frac1{0{,}0026}\right]=2{,}20\ \text{bit}.$$ È inferiore al massimo $\log_2 8=3$ bit perché i livelli non sono equiprobabili: l'efficienza della codifica a lunghezza fissa è $\eta=\frac{2{,}20}3=0{,}73$. Con un codice di Huffman (Codici di Shannon-Fano e di HuffmanIn un codice ottimo le parole più probabili non sono più lunghe di quelle meno probabili e le due parole più lunghe differiscono solo per l'ultimo simbolo. Shannon-Fano costruisce l'albero dall'alto dividendo ripetutamente i simboli in due gruppi di probabilità quasi uguali; Huffman lo costruisce dal basso unendo ogni volta i due simboli meno probabili ed è sempre ottimo tra i codici a prefisso. La lunghezza media $L_y$ è la somma delle probabilità dei nodi uniti, l'efficienza è $\eta=\frac{H}{L_y}$.Codici di Shannon-Fano e di Huffman →) la lunghezza media scenderebbe a $L_y=2{,}31$ bit ($\eta=0{,}95$), cioè circa il $23\%$ di bit in meno.

(Calcoli verificati numericamente con scipy: $V_{sat}=5{,}2595$ mV, $\Lambda_q=11{,}424$ dB, $H=2{,}2011$ bit.)

Errori comuni

• Usare $Q^{-1}(P_{sat})$ invece di $Q^{-1}\left(\frac{P_{sat}}2\right)$ (le code sono due).
• Mettere un livello in $0$ nel mid-riser, o calcolare $\Delta=\frac{V_{sat}}L$ (manca il $2$ del range simmetrico).
• Rispondere "$3$ bit" alla domanda sull'entropia: $3$ bit è la lunghezza delle parole; l'entropia dipende dalle probabilità.
• Dimenticare che le probabilità dei livelli sono a coppie (due livelli simmetrici con la stessa probabilità).