Esercizio - quantizzatore con densità mista uniforme e triangolare, 4-QAM e canale a cancellazione (esame dell'11 febbraio 2025, es. 190)

---

Teoria usata: Quantizzazione uniforme - saturazione, errore granulare e SNR di quantizzazioneUn quantizzatore uniforme a L = 2^b livelli e range [−v_sat, v_sat] ha passo Δ = 2v_sat/L. L'errore e = x − x^(q) è di saturazione fuori range (illimitato, da rendere raro con P_sat piccola) e granulare dentro (|e| ≤ Δ/2, uniforme con potenza Δ²/12). L'SNR di quantizzazione Λ_q = E[x²]/E[e²] vale in decibel 20log₁₀(σ_x/v_sat) + 4,77 + 6,02·b: ogni bit in più dà 6 dB. Per b minimo che garantisce una specifica: ⌈(specifica − c)/6,02⌉ con c = 20log₁₀(σ_x/v_sat) + 4,77.Quantizzazione uniforme - saturazione, errore granulare e SNR di quantizzazione →, Entropia congiunta e condizionata e informazione mutuaPer due variabili aleatorie discrete $x,y$ l'entropia congiunta è $H(x,y)=E\left[\log_2\frac1{P_{x,y}(x,y)}\right]$ e vale $\max{H(x),H(y)}\le H(x,y)\le H(x)+H(y)$, con l'uguaglianza a destra se e solo se $x$ e $y$ sono indipendenti e $H(x,y)=H(x)$ se $y=f(x)$. L'entropia condizionata $H(x|y)=E_y[H(x|y=y)]$ soddisfa la regola della catena $H(x,y)=H(x|y)+H(y)=H(y|x)+H(x)$. L'informazione mutua $I(x;y)=H(x)+H(y)-H(x,y)=H(x)-H(x|y)=H(y)-H(y|x)$ è simmetrica, $0\le I\le\min{H(x),H(y)}$, nulla per variabili indipendenti.Entropia congiunta e condizionata e informazione mutua →, Tasso d'informazione, capacità di canale e teorema di ShannonUna sorgente che emette un simbolo ogni $T$ secondi ha tasso d'informazione $R=\frac{H_s}T$ [bit/s] ($H_s$ entropia per simbolo); un canale ha tasso $R(g)=\frac{I_s(x;y)}T\le R(x)$. La capacità è il massimo del tasso del canale su tutte le statistiche d'ingresso, $C=\max_{p_x}\frac{I(x;y)}T$ per un canale senza memoria. Teorema di Shannon: se il tasso nominale della sorgente è $R\le C$ esiste un codice di canale con probabilità d'errore piccola a piacere, se $R>C$ no. Capacità: BSC $C=\frac1T[1-h(P_{bit})]$, canale a cancellazione $C=\frac{1-\alpha}T$, AWGN reale $C=\frac1{2T}\log_2\left(1+\frac{E_s}{\sigma^2}\right)$; canali in parallelo sommano le capacità.Tasso d'informazione, capacità di canale e teorema di Shannon →, Modulazione QAM - costellazioni, energia e probabilità d'erroreLa QAM trasmette due PAM indipendenti su due portanti in quadratura: $s_m(t)=\alpha_{m,I}h_{Tx}(t)\cos(2\pi f_0t)-\alpha_{m,Q}h_{Tx}(t)\sin(2\pi f_0t)$ con $\alpha\in{\pm1,\pm3,\dots}$ e $M=2^{2b}$ ($2b$ bit per simbolo). La base è $\phi_{1,2}\propto h_{Tx}\cos,,-h_{Tx}\sin$ con energia $\frac{E_h}2$, i punti stanno su una griglia $\sqrt M\times\sqrt M$ con $d_{\min}=\sqrt{2E_h}$ ed $E_s=\frac{M-1}{3}E_h$. Con $q=Q\left(\sqrt{\frac{E_h}{2\sigma_I^2}}\right)$: $P[E]=4\left(1-\frac1{\sqrt M}\right)q-4\left(1-\frac1{\sqrt M}\right)^2q^2$, con $\frac{E_h}{2\sigma_I^2}=\frac{E_s}{\sigma_I^2}\frac{3}{2(M-1)}$. Con Gray su ogni asse $P_{bit}\simeq\frac{P[E]}{\log_2M}$.Modulazione QAM - costellazioni, energia e probabilità d'errore →, Canali di trasmissione - cavo, fibra ottica e radio in spazio liberoIl canale moltiplica il segnale per un fattore $A$ e aggiunge il rumore, che nasce al ricevitore: $r(t)=A,s_{Tx}(t)+w(t)$, con $\frac{E_r}{E_{Tx}}=A^2$. Se $A<1$ c'è attenuazione $a=\frac1A$, in dB $(a^2){dB}=10\log{10}a^2$. Cavo e fibra: attenuazione proporzionale alla lunghezza, $(a^2){dB}=\tilde a\cdot l{km}$ (cavo in rame: $\tilde a$ cresce con $\sqrt f$; fibra circa $0{,}2$ dB/km). Radio in spazio libero: $(a){dB}=32{,}4+20\log{10}d_{km}+20\log_{10}f_{MHz}-g_{Tx,dB}-g_{Rx,dB}$. L'energia al ricevitore $E_s=A^2E_{Tx}$ è quella da usare nelle formule di $P[E]$; poiché $P=\frac{E}{T}$, vale $\frac{E_r}{E_{Tx}}=\frac{P_r}{P_{Tx}}$.Canali di trasmissione - cavo, fibra ottica e radio in spazio libero →.

La densità. È una miscela: con probabilità $0{,}6$ il campione è uniforme su $[-5,5]$ (altezza $\frac1{10}$), con probabilità $0{,}4$ ha densità triangolare su $[-5,5]$ (altezza $\frac15$). La densità complessiva (formula delle probabilità totali, condizionando a $z$) è $p_a(u)=0{,}6\cdot\frac1{10}\operatorname{rect}\big(\frac u{10}\big)+0{,}4\cdot\frac15\operatorname{triang}\big(\frac u5\big)$.

(1) $v_{sat}$ e bit

Entrambe le densità sono nulle fuori da $[-5,5]$: $v_{sat}=5$ elimina la saturazione ($P_{sat}=0$).

Varianza. La media è nulla (densità simmetriche). Per la miscela, la potenza è la media pesata delle potenze condizionate: $$\sigma_a^2=0{,}6\,\sigma_{z=0}^2+0{,}4\,\sigma_{z=1}^2.$$ L'uniforme su $[-5,5]$ ha varianza $\frac{10^2}{12}=8{,}333$; il triangolo di semibase $5$ ha $\frac{5^2}6=4{,}167$ (vedi Esercizio - quantizzatore per densità triangolare e 16-QAM con impulso a rampa (primo compitino del 21 novembre 2025, es. 194)). Quindi $$\sigma_a^2=0{,}6\cdot8{,}333+0{,}4\cdot4{,}167=5+1{,}667=\frac{20}3=6{,}667,\qquad\frac{\sigma_a}{v_{sat}}=\frac{2{,}582}5=0{,}516.$$ $20\log_{10}0{,}516=-5{,}74$ dB, quindi $c=-5{,}74+4{,}77=-0{,}97$ e $$b\ge\frac{40+0{,}97}{6{,}02}=6{,}81\Longrightarrow b=7.$$ (Con $b=6$ si avrebbero $35{,}15$ dB, con $b=7$ $41{,}17$ dB.) Il quantizzatore ha quindi $v_{sat}=5$ e $b=7$ bit ($L=128$).

(2) Entropia di $a_q$ e entropia condizionata $H(a_q\mid z)$

Con $L=8$ e $v_{sat}=5$: $\Delta=\frac{10}8=1{,}25$, intervalli di quantizzazione $[-5,-3{,}75]$, $[-3{,}75,-2{,}5]$, $\dots$, $[3{,}75,5]$. Si calcolano le probabilità condizionate a $z$.

• $z=0$ (uniforme): tutti gli $8$ intervalli hanno larghezza $\Delta=1{,}25$ e densità $\frac1{10}$: probabilità $\frac{1{,}25}{10}=\frac18$ ciascuno. $H(a_q\mid z=0)=\log_28=3$ bit.
• $z=1$ (triangolare): per l'intervallo estremo $[3{,}75,5]$ l'area è $\frac{\Delta^2}{50}=\frac{1{,}5625}{50}=\frac1{32}$; salendo verso il centro le aree crescono di $\frac{2}{32}$ per intervallo (area di un trapezio con altezze che crescono linearmente), quindi le probabilità, dall'estremo al centro, sono $\frac1{32},\frac3{32},\frac5{32},\frac7{32}$ e simmetricamente $\frac7{32},\frac5{32},\frac3{32},\frac1{32}$ (somma $\frac{32}{32}$). L'entropia è $$H(a_q\mid z=1)=-2\sum_{i\in\{1,3,5,7\}}\frac i{32}\log_2\frac i{32}=2{,}749\ \text{bit.}$$

Entropia condizionata a $z$: media pesata, $H(a_q\mid z)=0{,}6\cdot3+0{,}4\cdot2{,}749=1{,}8+1{,}0996=2{,}900$ bit.

Entropia di $a_q$. La probabilità di ogni livello è la media pesata (probabilità totali): $P[q_i]=0{,}6\cdot\frac18+0{,}4\cdot\frac{c_i}{32}=0{,}075+0{,}0125\,c_i$ con $c_i\in\{1,3,5,7,7,5,3,1\}$: $$P=\big(0{,}0875,\ 0{,}1125,\ 0{,}1375,\ 0{,}1625,\ 0{,}1625,\ 0{,}1375,\ 0{,}1125,\ 0{,}0875\big)=\frac1{80}(7,9,11,13,13,11,9,7).$$ La somma è $1$. Perciò $H(a_q)=-\sum P\log_2P=2{,}963$ bit, di poco inferiore al massimo $\log_28=3$. Si nota $H(a_q\mid z)=2{,}900<H(a_q)=2{,}963$: conoscere $z$ riduce l'incertezza, e la differenza è l'informazione mutua $I(a_q;z)=0{,}064$ bit (Entropia congiunta e condizionata e informazione mutuaPer due variabili aleatorie discrete $x,y$ l'entropia congiunta è $H(x,y)=E\left[\log_2\frac1{P_{x,y}(x,y)}\right]$ e vale $\max{H(x),H(y)}\le H(x,y)\le H(x)+H(y)$, con l'uguaglianza a destra se e solo se $x$ e $y$ sono indipendenti e $H(x,y)=H(x)$ se $y=f(x)$. L'entropia condizionata $H(x|y)=E_y[H(x|y=y)]$ soddisfa la regola della catena $H(x,y)=H(x|y)+H(y)=H(y|x)+H(x)$. L'informazione mutua $I(x;y)=H(x)+H(y)-H(x,y)=H(x)-H(x|y)=H(y)-H(y|x)$ è simmetrica, $0\le I\le\min{H(x),H(y)}$, nulla per variabili indipendenti.Entropia congiunta e condizionata e informazione mutua →).

(3) Distanza massima del collegamento

Con la $4$-QAM, $P_{bit}$ (codifica di Gray) dipende dall'energia dell'impulso in ricezione $E_h$ e da $\sigma_I^2$ come $$P_{bit}=Q\Big(\sqrt{\frac{E_h}{2\sigma_I^2}}\Big)$$ (Modulazione QAM - costellazioni, energia e probabilità d'erroreLa QAM trasmette due PAM indipendenti su due portanti in quadratura: $s_m(t)=\alpha_{m,I}h_{Tx}(t)\cos(2\pi f_0t)-\alpha_{m,Q}h_{Tx}(t)\sin(2\pi f_0t)$ con $\alpha\in{\pm1,\pm3,\dots}$ e $M=2^{2b}$ ($2b$ bit per simbolo). La base è $\phi_{1,2}\propto h_{Tx}\cos,,-h_{Tx}\sin$ con energia $\frac{E_h}2$, i punti stanno su una griglia $\sqrt M\times\sqrt M$ con $d_{\min}=\sqrt{2E_h}$ ed $E_s=\frac{M-1}{3}E_h$. Con $q=Q\left(\sqrt{\frac{E_h}{2\sigma_I^2}}\right)$: $P[E]=4\left(1-\frac1{\sqrt M}\right)q-4\left(1-\frac1{\sqrt M}\right)^2q^2$, con $\frac{E_h}{2\sigma_I^2}=\frac{E_s}{\sigma_I^2}\frac{3}{2(M-1)}$. Con Gray su ogni asse $P_{bit}\simeq\frac{P[E]}{\log_2M}$.Modulazione QAM - costellazioni, energia e probabilità d'errore →: i due bit viaggiano su due assi indipendenti, ciascuno una antipodale con mezza distanza $\sqrt{E_h/2}$). Imponendo $10^{-7}$: $$\sqrt{\frac{E_h^{rx}}{2\sigma_I^2}}=Q^{-1}(10^{-7})=5{,}199\ \Longrightarrow\ E_h^{rx}=2\cdot10^{-6}\cdot5{,}199^2=5{,}41\cdot10^{-5}.$$ L'impulso trasmesso ha energia $E_h=10^{-3}$, quindi l'attenuazione massima è $$a=\frac{10^{-3}}{5{,}41\cdot10^{-5}}=18{,}5,\qquad a_{dB}=10\log_{10}18{,}5=12{,}67\ \text{dB},$$ e con $0{,}5$ dB/km la distanza massima è $d_{max}=\frac{12{,}67}{0{,}5}=25{,}3$ km.

(4) Informazione mutua e capacità

$y=\operatorname{sign}(a_q)$ vale $+1$ se $a_q>0$ e $-1$ se $a_q<0$ (nessun livello è nullo, perché i livelli sono semi-interi multipli di $\Delta$). Per simmetria delle densità $P(a_q>0)=\frac12$, quindi $y$ è equiprobabile: $H(y)=1$ bit. Dato $a_q$, $y$ è determinata: $H(y\mid a_q)=0$. Perciò $$I(a_q;y)=H(y)-H(y\mid a_q)=1-0=1\ \text{bit.}$$ Il valore coincide con la capacità del canale $a_q\to y$: $C=\max I=\max H(y)=1$ bit per uso, perché $y$ è binaria e $H(y)\le1$; il massimo si ottiene con ingressi che rendano $y$ equiprobabile, come qui.

(5) Minimo periodo di campionamento

Il canale che trasmette $y$ è un canale a cancellazione (binario): in uscita $w=y$ con probabilità $1-\varepsilon=0{,}9$, e un simbolo "cancellato" con probabilità $\varepsilon=0{,}1$. Con un simbolo ogni $T=2\ \mu$s la capacità è $$C=\frac{1-\varepsilon}{T}=\frac{0{,}9}{2\cdot10^{-6}}=450\ \text{kbit/s}.$$ La sorgente $y$ emette $H(y)=1$ bit a ogni campione, quindi ha rate $\frac1{T_s}$. Per il teorema di Shannon esiste una codifica di canale con probabilità d'errore residua piccola a piacere se e solo se il rate è inferiore alla capacità: $\frac1{T_s}<450\cdot10^3$, cioè $$T_s>\frac1{4{,}5\cdot10^5}=2{,}22\ \mu\text{s}.$$ Il minimo (estremo inferiore) è quindi $T_s=2{,}22\ \mu$s. (Nella soluzione del corso compare per errore una intermedia "$R<900$ kbit/s", che non è coerente con $C=450$ kbit/s: il risultato finale $2{,}2\ \mu$s coincide.)

(Verifica con Python: $\sigma_a^2=6{,}667$; $b=6{,}81$; $H(a_q)=2{,}9634$, $H(a_q\mid z)=2{,}8996$; $E_h^{rx}=5{,}407\cdot10^{-5}$, $d=25{,}34$ km; $C=450$ kbit/s. Coincide con le soluzioni del corso.)

Errori comuni

• Calcolare la varianza della miscela con la media delle varianze non pesata o dimenticare di pesare con $0{,}6$ e $0{,}4$.
• Scambiare $H(a_q\mid z)$ con $H(a_q)$: la prima è la media pesata delle entropie condizionate, la seconda va calcolata sulle probabilità totali.
• Usare $L=8$ nel punto 1: gli $8$ livelli valgono solo dal punto 2 in poi; il punto 1 chiede il minimo $b$ per $40$ dB, cioè $7$.
• Dimenticare che l'attenuazione è in energia: $10\log_{10}\frac{E^{tx}}{E^{rx}}$.
• Per la capacità di cancellazione: $C=(1-\varepsilon)/T$, non $1-h(\varepsilon)$.