Esercizio 6segnale esponenziale, entropie estreme e quantizzatore a 3 bit (temi d'esame giugno 2025 e giugno 2026)

---

Teoria usata: Informazione ed entropiaL'informazione di un evento di probabilità $p$ è $\log_2\frac1p$ bit; l'entropia $H(x)=\sum p\log_2\frac1p$ è l'informazione media e misura l'incertezza della sorgente: $0\le H\le\log_2M$, con il massimo quando i simboli sono equiprobabili. Per più simboli: $H(x,y)\le H(x)+H(y)$ (uguaglianza se indipendenti), $H(x|y)=H(x,y)-H(y)$. Per una sorgente con $F_s$ simboli al secondo il rate di informazione è $F_sH_s$, il rate nominale $F_s\log_2M$ e l'efficienza $\eta=\frac{H_s}{\log_2M}$.Informazione ed entropia →, Quantizzatore uniforme - livelli, mid-riser ed erroriUn quantizzatore mappa i campioni reali su $L=2^b$ livelli. Quello uniforme (PCM) sceglie un range dinamico $[-V_{sat},V_{sat}]$ e un passo $\Delta=\frac{2V_{sat}}L$; nel tipo mid-riser i livelli sono $\pm\frac\Delta2,\pm\frac{3\Delta}2,\dots$ e non c'è lo zero. L'errore $e_q=a_q-a$ ha una parte granulare (in $[-\frac\Delta2,\frac\Delta2]$, circa uniforme, potenza $\frac{\Delta^2}{12}$) e una di saturazione (fuori range). Per renderlo piccolo servono $P_{sat}$ piccola e $L$ grande.Quantizzatore uniforme - livelli, mid-riser ed errori →, SNR di quantizzazione e progetto del quantizzatoreL'SNR di quantizzazione è $\Lambda_q=\frac{M_a}{M_e}$. Con errore granulare uniforme e saturazione trascurabile vale $\Lambda_q=\frac{\sigma^2}{\Delta^2/12}=3\frac{\sigma^2}{V_{sat}^2},2^{2b}$, cioè $[\Lambda_q]{dB}=6{,}02,b+4{,}77+20\log{10}\frac\sigma{V_{sat}}$: ogni bit in più dà $+6$ dB. Per progettare: $V_{sat}$ dalla probabilità di saturazione ($V_{sat}=\sigma,Q^{-1}\left(\frac{P_{sat}}2\right)$ per un gaussiano), poi $b$ dall'SNR richiesto, arrotondando per eccesso.SNR di quantizzazione e progetto del quantizzatore →, Codici di Shannon-Fano e di HuffmanIn un codice ottimo le parole più probabili non sono più lunghe di quelle meno probabili e le due parole più lunghe differiscono solo per l'ultimo simbolo. Shannon-Fano costruisce l'albero dall'alto dividendo ripetutamente i simboli in due gruppi di probabilità quasi uguali; Huffman lo costruisce dal basso unendo ogni volta i due simboli meno probabili ed è sempre ottimo tra i codici a prefisso. La lunghezza media $L_y$ è la somma delle probabilità dei nodi uniti, l'efficienza è $\eta=\frac{H}{L_y}$.Codici di Shannon-Fano e di Huffman →, Variabili aleatorie e vettori aleatori per le comunicazioniUna variabile aleatoria è descritta da una PMD (discreta) o da una PDF (continua) e dalla funzione di ripartizione; per la gaussiana $P[x>a]=Q\left(\frac{a-m}{\sigma}\right)$ con la funzione coda $Q$. Media $m_x$, varianza $\sigma_x^2$ e potenza statistica $M_x=\sigma_x^2+m_x^2$. Per un vettore aleatorio contano l'indipendenza, le probabilità condizionate (totali e di Bayes) e la correlazione; combinazioni lineari di gaussiane sono gaussiane, e gaussiane scorrelate sono indipendenti.Variabili aleatorie e vettori aleatori per le comunicazioni →.

(1) Entropia di un quantizzatore a $L=16$ livelli

L'uscita del quantizzatore è una variabile discreta con alfabeto di $16$ valori. Per la proposizione sull'entropia (Informazione ed entropiaL'informazione di un evento di probabilità $p$ è $\log_2\frac1p$ bit; l'entropia $H(x)=\sum p\log_2\frac1p$ è l'informazione media e misura l'incertezza della sorgente: $0\le H\le\log_2M$, con il massimo quando i simboli sono equiprobabili. Per più simboli: $H(x,y)\le H(x)+H(y)$ (uguaglianza se indipendenti), $H(x|y)=H(x,y)-H(y)$. Per una sorgente con $F_s$ simboli al secondo il rate di informazione è $F_sH_s$, il rate nominale $F_s\log_2M$ e l'efficienza $\eta=\frac{H_s}{\log_2M}$.Informazione ed entropia →) $0\le H\le\log_2L$:

• massima $H_{max}=\log_216=4$ bit, quando i $16$ livelli sono equiprobabili. Con un quantizzatore non uniforme è possibile ottenerla anche per un segnale esponenziale (scegliendo soglie $x_k$ tali che $P[x_{k}<x<x_{k+1}]=\frac1{16}$, cioè $x_k=-\frac1\lambda\ln\left(1-\frac k{16}\right)$);
• minima $H_{min}=0$: se un livello ha probabilità quasi $1$ (per esempio una sola soglia molto in alto: quasi tutti i campioni cadono nella prima regione). Con un quantizzatore uniforme non si raggiunge esattamente, ma con un non uniforme sì, al limite.

Suggerimento del testo: un'entropia di $10$ bit richiederebbe $L\ge2^{10}=1024$ livelli; con $L=16$ è impossibile ($10>4$).

(2) $N$ quantizzatori in parallelo

Il vettore di uscita ha $N$ componenti (alfabeto $16^N$). L'entropia congiunta soddisfa $\max_iH(q_i)\le H(\mathbf q)\le\sum_iH(q_i)\le N\log_216$ (Informazione ed entropiaL'informazione di un evento di probabilità $p$ è $\log_2\frac1p$ bit; l'entropia $H(x)=\sum p\log_2\frac1p$ è l'informazione media e misura l'incertezza della sorgente: $0\le H\le\log_2M$, con il massimo quando i simboli sono equiprobabili. Per più simboli: $H(x,y)\le H(x)+H(y)$ (uguaglianza se indipendenti), $H(x|y)=H(x,y)-H(y)$. Per una sorgente con $F_s$ simboli al secondo il rate di informazione è $F_sH_s$, il rate nominale $F_s\log_2M$ e l'efficienza $\eta=\frac{H_s}{\log_2M}$.Informazione ed entropia →):

• massima $H_{max}=N\log_216=4N$ bit: componenti indipendenti e ciascuna a livelli equiprobabili;
• minima $H_{min}=0$: tutte le uscite quasi deterministiche (e, a parità di quantizzatori, la dipendenza tra le componenti — per esempio componenti identiche — riduce la congiunta fino a $H(q_1)$).

(3) Quantizzatore uniforme a 3 bit

Range. Il segnale è solo positivo: un range simmetrico $[-V_{sat},V_{sat}]$ sprecherebbe metà dei livelli sul semiasse negativo, dove non cade mai un campione. Si usa $[0,V_{sat}]$ con $L=2^3=8$ livelli, $\Delta=\frac{V_{sat}}L$, e la probabilità di saturazione è la coda dell'esponenziale: $P_{sat}=P[s>V_{sat}]=e^{-\lambda V_{sat}}$, da cui $$V_{sat}=\frac1\lambda\ln\frac1{P_{sat}}.$$

Funzione caratteristica (giugno 2025): $8$ gradini larghi $\Delta=0{,}626$ V sull'asse positivo, il livello $Q_i=\left(i+\frac12\right)\Delta$ per $i\Delta\le s<(i+1)\Delta$, e l'ultimo gradino ($4{,}693$ V) si estende a $+\infty$ (saturazione); per $s<0$ non serve (probabilità nulla).

SNR. La potenza statistica del segnale (non la varianza: la media non è nulla) è $M_s=E[s^2]=\frac2{\lambda^2}=0{,}378$ V². Con $M_e=\frac{\Delta^2}{12}$ (errore granulare): $$\Lambda_q=\frac{M_s}{\Delta^2/12}=\frac{0{,}378}{0{,}6257^2/12}=11{,}59\ \Longrightarrow\ 10{,}64\ \text{dB}\quad(\text{giugno 2026: }\frac{0{,}378}{0{,}3754^2/12}=32{,}2\to15{,}08\ \text{dB}).$$ Includendo anche l'errore di saturazione (integrazione numerica) l'SNR vale $10{,}36$ dB (2025) e $14{,}77$ dB (2026): $0{,}3$ dB in meno. (Con un range simmetrico $[-5{,}006,5{,}006]$ V e $8$ livelli si avrebbe $\Delta=1{,}25$ V e solo $4{,}6$ dB: metà dei livelli sarebbe sprecata.)

(4) Entropia in uscita

Le probabilità dei livelli sono quelle dei tratti $[i\Delta,(i+1)\Delta)$, con l'ultimo che comprende la coda: $P_i=e^{-\lambda i\Delta}-e^{-\lambda(i+1)\Delta}=e^{-\lambda i\Delta}\left(1-e^{-\lambda\Delta}\right)$, con $e^{-\lambda\Delta}=e^{-1{,}439}=0{,}2372$ (giugno 2025). Sono in progressione geometrica di ragione $0{,}2372$:

$$H=\sum P_i\log_2\frac1{P_i}=1{,}036\ \text{bit}\quad(\text{giugno 2026: }1{,}694\ \text{bit}).$$ Non è ottima: il massimo per $8$ livelli sarebbe $3$ bit e l'efficienza della codifica a lunghezza fissa $3$ bit è $\eta=\frac{1{,}036}3=0{,}35$ (2026: $0{,}56$): il quantizzatore uniforme su un segnale esponenziale usa male i livelli (quelli alti sono rarissimi). Come migliorarla: (a) codificare la sorgente a lunghezza variabile (Huffman, Codici di Shannon-Fano e di HuffmanIn un codice ottimo le parole più probabili non sono più lunghe di quelle meno probabili e le due parole più lunghe differiscono solo per l'ultimo simbolo. Shannon-Fano costruisce l'albero dall'alto dividendo ripetutamente i simboli in due gruppi di probabilità quasi uguali; Huffman lo costruisce dal basso unendo ogni volta i due simboli meno probabili ed è sempre ottimo tra i codici a prefisso. La lunghezza media $L_y$ è la somma delle probabilità dei nodi uniti, l'efficienza è $\eta=\frac{H}{L_y}$.Codici di Shannon-Fano e di Huffman →): lunghezze $1,2,3,4,5,6,7,7$ e $L_y=1{,}311$ bit, $\eta=0{,}79$ (2026: $L_y=1{,}725$, $\eta=0{,}98$); (b) usare un quantizzatore non uniforme con soglie scelte per rendere più uniformi le probabilità.

(Verificato con Python: $V_{sat}=5{,}0056$ V, $H=1{,}0359$ bit, Huffman $L_y=1{,}3108$; 2026: $V_{sat}=3{,}0034$ V, $H=1{,}6944$, $L_y=1{,}7251$.)

Errori comuni

• Dire che l'entropia massima di un quantizzatore a $16$ livelli è $16$ bit: è $\log_216=4$ bit.
• Usare un range simmetrico per un segnale che assume solo valori positivi.
• Calcolare $P_{sat}$ con $2Q(\cdot)$ (gaussiano): per l'esponenziale è $e^{-\lambda V_{sat}}$ (una sola coda).
• Usare la varianza $\frac1{\lambda^2}$ al posto della potenza $\frac2{\lambda^2}$ nell'SNR.