Esercizio 7segnale A sin(u) con u uniforme, scelta del quantizzatore ed entropia (tema d'esame giugno 2026)

---

Teoria usata: Quantizzatore uniforme - livelli, mid-riser ed erroriUn quantizzatore mappa i campioni reali su $L=2^b$ livelli. Quello uniforme (PCM) sceglie un range dinamico $[-V_{sat},V_{sat}]$ e un passo $\Delta=\frac{2V_{sat}}L$; nel tipo mid-riser i livelli sono $\pm\frac\Delta2,\pm\frac{3\Delta}2,\dots$ e non c'è lo zero. L'errore $e_q=a_q-a$ ha una parte granulare (in $[-\frac\Delta2,\frac\Delta2]$, circa uniforme, potenza $\frac{\Delta^2}{12}$) e una di saturazione (fuori range). Per renderlo piccolo servono $P_{sat}$ piccola e $L$ grande.Quantizzatore uniforme - livelli, mid-riser ed errori →, Informazione ed entropiaL'informazione di un evento di probabilità $p$ è $\log_2\frac1p$ bit; l'entropia $H(x)=\sum p\log_2\frac1p$ è l'informazione media e misura l'incertezza della sorgente: $0\le H\le\log_2M$, con il massimo quando i simboli sono equiprobabili. Per più simboli: $H(x,y)\le H(x)+H(y)$ (uguaglianza se indipendenti), $H(x|y)=H(x,y)-H(y)$. Per una sorgente con $F_s$ simboli al secondo il rate di informazione è $F_sH_s$, il rate nominale $F_s\log_2M$ e l'efficienza $\eta=\frac{H_s}{\log_2M}$.Informazione ed entropia →, Variabili aleatorie e vettori aleatori per le comunicazioniUna variabile aleatoria è descritta da una PMD (discreta) o da una PDF (continua) e dalla funzione di ripartizione; per la gaussiana $P[x>a]=Q\left(\frac{a-m}{\sigma}\right)$ con la funzione coda $Q$. Media $m_x$, varianza $\sigma_x^2$ e potenza statistica $M_x=\sigma_x^2+m_x^2$. Per un vettore aleatorio contano l'indipendenza, le probabilità condizionate (totali e di Bayes) e la correlazione; combinazioni lineari di gaussiane sono gaussiane, e gaussiane scorrelate sono indipendenti.Variabili aleatorie e vettori aleatori per le comunicazioni →, Codici di Shannon-Fano e di HuffmanIn un codice ottimo le parole più probabili non sono più lunghe di quelle meno probabili e le due parole più lunghe differiscono solo per l'ultimo simbolo. Shannon-Fano costruisce l'albero dall'alto dividendo ripetutamente i simboli in due gruppi di probabilità quasi uguali; Huffman lo costruisce dal basso unendo ogni volta i due simboli meno probabili ed è sempre ottimo tra i codici a prefisso. La lunghezza media $L_y$ è la somma delle probabilità dei nodi uniti, l'efficienza è $\eta=\frac{H}{L_y}$.Codici di Shannon-Fano e di Huffman →.

La densità del segnale

Poiché $u\in(0,\pi)$ si ha $\sin u\in(0,1]$ e quindi $s_2\in(0,A]$: il segnale è positivo e limitato superiormente da $A$. La funzione di ripartizione si ricava contando gli angoli: per $0\le x\le A$, $$F(x)=P[A\sin u\le x]=P\left[u\le\arcsin\frac xA\right]+P\left[u\ge\pi-\arcsin\frac xA\right]=\frac{2}{\pi}\arcsin\frac xA,$$ (due archi di larghezza $\arcsin\frac xA$ su una lunghezza totale $\pi$), con $F(0)=0$ e $F(A)=1$. La densità è $p(x)=\frac2{\pi\sqrt{A^2-x^2}}$ per $0<x<A$ ("arcoseno": cresce verso $A$, perché il seno trascorre molto tempo vicino al massimo). Media $\frac{2A}\pi$ e potenza $M=\frac{A^2}2$.

(3) Quale quantizzatore

Entrambi hanno $b=2$ bit, quindi $L=4$ livelli e $\Delta=\frac A4$ (range di ampiezza $A$ in (i): $\frac{2\cdot A/2}4$; in (ii): $\frac A4$).

(i) $\left[-\frac A2,\frac A2\right]$: livelli $-\frac{3A}8,-\frac A8,+\frac A8,+\frac{3A}8$. Il segnale è sempre positivo, quindi i due livelli negativi non sono mai usati, e satura quando $s_2>\frac A2$: $$P_{sat}=P\left[s_2>\frac A2\right]=1-F\left(\frac A2\right)=1-\frac2\pi\arcsin\frac12=1-\frac2\pi\cdot\frac\pi6=1-\frac13=\frac23.$$ Due campioni su tre saturano nel livello $+\frac{3A}8$: l'SNR (calcolo numerico) è appena $5{,}1$ dB.

(ii) $[0,A]$: livelli $\frac A8,\frac{3A}8,\frac{5A}8,\frac{7A}8$; il segnale non supera mai $A$, quindi $$P_{sat}=P[s_2>A]=0.$$ Tutti e $4$ i livelli sono utili e non c'è saturazione. Si usa il quantizzatore (ii): con la stessa spesa in bit ha un errore molto più piccolo (stima $\frac{\Delta^2}{12}=\frac{A^2}{192}$, SNR $\approx\frac{A^2/2}{A^2/192}=96\to19{,}8$ dB; calcolo esatto con la densità arcoseno: $19{,}1$ dB).

(4) Probabilità dei simboli ed entropia (range $[0,A]$)

Le soglie sono $\frac A4,\frac A2,\frac{3A}4$. Con $F(x)=\frac2\pi\arcsin\frac xA$:

(somma $=1$.) L'entropia della sorgente è $$H=0{,}1609\log_2\frac1{0{,}1609}+0{,}1725\log_2\frac1{0{,}1725}+0{,}2066\log_2\frac1{0{,}2066}+0{,}4601\log_2\frac1{0{,}4601}=1{,}847\ \text{bit},$$ vicina al massimo $\log_24=2$ bit (efficienza $\frac{1{,}847}2=0{,}92$ con parole a lunghezza fissa). Il codice di Huffman (Codici di Shannon-Fano e di HuffmanIn un codice ottimo le parole più probabili non sono più lunghe di quelle meno probabili e le due parole più lunghe differiscono solo per l'ultimo simbolo. Shannon-Fano costruisce l'albero dall'alto dividendo ripetutamente i simboli in due gruppi di probabilità quasi uguali; Huffman lo costruisce dal basso unendo ogni volta i due simboli meno probabili ed è sempre ottimo tra i codici a prefisso. La lunghezza media $L_y$ è la somma delle probabilità dei nodi uniti, l'efficienza è $\eta=\frac{H}{L_y}$.Codici di Shannon-Fano e di Huffman →) ha lunghezze $1,2,3,3$ per $q_3,q_2,q_1,q_0$ (per esempio $q_3=0,\ q_2=10,\ q_0=110,\ q_1=111$) e $L_y=0{,}4601+2\cdot0{,}2066+3\cdot(0{,}1609+0{,}1725)=1{,}873$ bit, $\eta=0{,}986$: guadagno piccolo (solo il $6\%$ in meno di bit).

(Verificato numericamente: probabilità $0{,}16086,\ 0{,}17247,\ 0{,}20656,\ 0{,}46011$; $H=1{,}8467$ bit; Huffman $L_y=1{,}8732$.)

Errori comuni

• Scegliere il range simmetrico $\left[-\frac A2,\frac A2\right]$ perché "più stretto, quindi più preciso": per un segnale positivo butta via metà dei livelli e satura due volte su tre.
• Calcolare $P_{sat}$ con una gaussiana: qui la densità è l'arcoseno, si usa $F(x)=\frac2\pi\arcsin\frac xA$.
• Dimenticare che l'ultima regione include tutto fino a $A$ (la probabilità di $q_3$ è la più alta, $0{,}46$, non la più bassa).
• Calcolare l'entropia con probabilità uguali ($0{,}25$ ciascuna): non lo sono.