Esercizio 32capacità di canali gaussiano, binario simmetrico e a cancellazione (esercizio del corso)

---

Teoria usata: Capacità di canale - canale binario simmetrico, a cancellazione e AWGNLa capacità $C=\max_{p_x}I(x;y)$ è il massimo di informazione mutua tra ingresso e uscita del canale; per il teorema di Shannon si può comunicare con probabilità d'errore arbitrariamente piccola se e solo se il rate è minore di $C$. Per il canale binario simmetrico $C=1-H_2(p)$ bit per uso (ingresso uniforme), per il canale a cancellazione $C=1-\varepsilon$, per l'AWGN $C=\frac12\log_2(1+\text{SNR})$ per uso reale, cioè $C=B\log_2(1+\text{SNR})$ bit/s su una banda $B$. Il limite $R_b<C$ dà il minimo $\frac{E_b}{N_0}\ge\frac{2^\nu-1}\nu$ ($-1{,}59$ dB per $\nu\to0$).Capacità di canale - canale binario simmetrico, a cancellazione e AWGN →, Informazione ed entropiaL'informazione di un evento di probabilità $p$ è $\log_2\frac1p$ bit; l'entropia $H(x)=\sum p\log_2\frac1p$ è l'informazione media e misura l'incertezza della sorgente: $0\le H\le\log_2M$, con il massimo quando i simboli sono equiprobabili. Per più simboli: $H(x,y)\le H(x)+H(y)$ (uguaglianza se indipendenti), $H(x|y)=H(x,y)-H(y)$. Per una sorgente con $F_s$ simboli al secondo il rate di informazione è $F_sH_s$, il rate nominale $F_s\log_2M$ e l'efficienza $\eta=\frac{H_s}{\log_2M}$.Informazione ed entropia →, Variabili aleatorie e vettori aleatori per le comunicazioniUna variabile aleatoria è descritta da una PMD (discreta) o da una PDF (continua) e dalla funzione di ripartizione; per la gaussiana $P[x>a]=Q\left(\frac{a-m}{\sigma}\right)$ con la funzione coda $Q$. Media $m_x$, varianza $\sigma_x^2$ e potenza statistica $M_x=\sigma_x^2+m_x^2$. Per un vettore aleatorio contano l'indipendenza, le probabilità condizionate (totali e di Bayes) e la correlazione; combinazioni lineari di gaussiane sono gaussiane, e gaussiane scorrelate sono indipendenti.Variabili aleatorie e vettori aleatori per le comunicazioni →.

(1) Canale AWGN

È un canale additivo gaussiano con guadagno $3$: la potenza del segnale utile all'uscita è $3^2\cdot E[x^2]=9$ e quella del rumore $4$, quindi $\text{SNR}=\frac94$. La capacità si raggiunge con ingresso gaussiano a media nulla e varianza $1$ (imposta dal vincolo di potenza): $$C=\frac1T\cdot\frac12\log_2\left(1+\frac94\right)=\frac1{0{,}4}\log_2(3{,}25)=2{,}5\cdot1{,}700=4{,}25\ \text{bit/s}.$$ (Il fattore $\frac12$ perché $x$ è reale: un uso del canale ogni $T$ secondi, $\frac12\log_2(1+\text{SNR})$ bit per uso.)

(2) AWGN con rumore a media non nulla

Il rumore ha media $4$: $y=3x+4+w_0$ con $w_0\sim\mathcal N(0,1)$. La costante $4$ è nota e si sottrae all'uscita senza perdere informazione, quindi l'informazione mutua non cambia: stesso ingresso (gaussiano, media nulla, varianza $1$) e $$C=\frac1{0{,}4}\log_2\left(1+\frac91\right)=2{,}5\log_2(10)=8{,}30\ \text{bit/s}.$$

(3) Ingresso binario con demodulatore a soglia: canale binario simmetrico

Il demodulatore a minima distanza decide $\hat x=\text{sign}(y)$ con $y=3x+w$: i due punti sono $\pm3$, la soglia è in $0$, il rumore ha $\sigma=1$. La probabilità di errore sul bit è $$p=P[w>3]=Q\left(\frac31\right)=Q(3)=1{,}35\cdot10^{-3}.$$ Il canale con ingresso e uscita binari e probabilità di errore $p$ (simmetrica per i due ingressi) è un canale binario simmetrico, con capacità $C=1-H_2(p)$ bit per uso, raggiunta da ingresso uniforme ($P[x=1]=\frac12$): $$H_2(p)=-p\log_2p-(1-p)\log_2(1-p)=0{,}0148\ \text{bit},\qquad C=\frac1T\left(1-0{,}0148\right)=5\cdot0{,}9852=4{,}93\ \text{bit/s}.$$

(4) Canale a cancellazione simmetrico

$x\in\{-2,2\}$; l'uscita è $y=x$ con probabilità $0{,}9$ oppure $y=0$ ("cancellazione": il ricevitore vede che il simbolo è andato perso, non è un errore) con probabilità $\varepsilon=0{,}1$. È un canale a cancellazione binario simmetrico con $$C=\frac1T(1-\varepsilon)=5\cdot0{,}9=4{,}5\ \text{bit/s},$$ raggiunta da ingresso uniforme ($P[x=2]=\frac12$).

Riepilogo

Il canale 3 ha lo stesso rumore del canale 2 ($\sigma^2=1$, guadagno $3$), ma con ingresso binario e decisione a soglia non può superare $1$ bit per uso, cioè $\frac1T=5$ bit/s: $4{,}93$ bit/s sono quasi il massimo del canale binario, mentre il gaussiano del canale 2 arriva a $8{,}30$ bit/s perché ogni uso porta più di un bit.

(Verificato con Python: $4{,}2511$, $8{,}3048$, $p=1{,}350\cdot10^{-3}$, $H_2(p)=0{,}01481$, $C=4{,}926$, $4{,}5$.)

Errori comuni

• Dimenticare il fattore $\frac12$ nella capacità reale $\frac12\log_2(1+\text{SNR})$ (ottenendo $8{,}5$ bit/s invece di $4{,}25$).
• Calcolare l'SNR con il guadagno non al quadrato ($3$ invece di $9$).
• Pensare che la media del rumore ridotta cambi la capacità: una costante nota si sottrae.
• Confondere cancellazione ed errore: il canale a cancellazione ha $C=1-\varepsilon$, un BSC con $p=0{,}1$ ha $C=1-H_2(0{,}1)=0{,}531$.