Esercizio - segnali esponenziali antipodali con p1 = 0,2, soglia MAP, canale simmetrico, entropia e informazione mutua (compito del 13 febbraio 2026, es. 200)

---

Teoria usata: Regioni di decisione - criteri MAP, ML e minima distanzaLe regioni di decisione $\mathcal R_1,\dots,\mathcal R_M$ sono una partizione dello spazio $\mathbb R^I$: se il vettore ricevuto cade in $\mathcal R_m$ si decide $\hat a_0=m$. La probabilità di decisione corretta è $P[C]=\sum_m\int_{\mathcal R_m}D(\boldsymbol\rho;m),d\boldsymbol\rho$ con $D=P_{a_0}(m),p_{\mathbf r|a_0}(\boldsymbol\rho|m)$, ed è massima assegnando ogni $\boldsymbol\rho$ al $m$ che massimizza $D$: criterio MAP. Con simboli equiprobabili è il ML; con in più rumore AWGN diventa la minima distanza (MD), $\hat a_0=\arg\min_m\lVert\boldsymbol\rho-\mathbf s_m\rVert$, con confini che sono gli assi dei segmenti tra i punti. Con probabilità diverse i confini si spostano verso i punti meno probabili.Regioni di decisione - criteri MAP, ML e minima distanza →, Probabilità d'errore delle modulazioni binarie - funzione Q e coefficiente di correlazioneIn una modulazione binaria con rumore AWGN e decisione a minima distanza l'errore avviene solo se la componente di rumore lungo la congiungente dei due punti supera metà distanza: $P[E]=Q\left(\frac{d}{2\sigma_I}\right)$ con $d=\lVert\underline s_1-\underline s_2\rVert$. A parità di energia $E_s$ si ha $d^2=2E_s(1-\rho)$, quindi $P[E]=Q\left(\sqrt{\frac{E_s}{\sigma_I^2}}\sqrt{\frac{1-\rho}{2}}\right)$, con $\rho=\frac{\langle s_1,s_2\rangle}{\sqrt{E_{s_1}E_{s_2}}}$ coefficiente di correlazione. Antipodali ($\rho=-1$, BPSK): $Q\left(\sqrt{E_s/\sigma_I^2}\right)$; ortogonali ($\rho=0$): $Q\left(\sqrt{E_s/(2\sigma_I^2)}\right)$, 3 dB peggio; $\rho=1$: $P[E]=\frac12$. Per qualunque modulazione binaria basta un solo ramo del ricevitore, lungo $\phi_1'\propto s_1-s_2$.Probabilità d'errore delle modulazioni binarie - funzione Q e coefficiente di correlazione →, Entropia congiunta e condizionata e informazione mutuaPer due variabili aleatorie discrete $x,y$ l'entropia congiunta è $H(x,y)=E\left[\log_2\frac1{P_{x,y}(x,y)}\right]$ e vale $\max{H(x),H(y)}\le H(x,y)\le H(x)+H(y)$, con l'uguaglianza a destra se e solo se $x$ e $y$ sono indipendenti e $H(x,y)=H(x)$ se $y=f(x)$. L'entropia condizionata $H(x|y)=E_y[H(x|y=y)]$ soddisfa la regola della catena $H(x,y)=H(x|y)+H(y)=H(y|x)+H(x)$. L'informazione mutua $I(x;y)=H(x)+H(y)-H(x,y)=H(x)-H(x|y)=H(y)-H(y|x)$ è simmetrica, $0\le I\le\min{H(x),H(y)}$, nulla per variabili indipendenti.Entropia congiunta e condizionata e informazione mutua →, Entropia - informazione di un evento, disuguaglianza di Jensen e valore massimoL'informazione di un evento di probabilità $P$ è $i=\log_2\frac1P$ bit (zero per l'evento certo, additiva per eventi indipendenti). L'entropia di una variabile aleatoria discreta è l'informazione media, $H(x)=E[i_x(x)]=\sum_aP_x(a)\log_2\frac1{P_x(a)}$; vale $0\le H(x)\le\log_2M$ con $M$ cardinalità dell'alfabeto, e il massimo $\log_2M$ si raggiunge se e solo se i simboli sono equiprobabili (dimostrazione con la disuguaglianza di Jensen, perché il logaritmo è strettamente concavo).Entropia - informazione di un evento, disuguaglianza di Jensen e valore massimo →, Energia, potenza e rapporto segnale-rumore in decibelL'energia di un segnale è E_s = ∫s²(t)dt (a tempo discreto Σs²(mT)), si misura in V²s, vale α²E_s se il segnale è moltiplicato per α; un impulso triangolare di altezza A e base B ha E = A²B/3, un rettangolo di altezza A e durata T ha A²T. La potenza media si usa per segnali che durano sempre (sinusoide: A²/2). Con simboli aleatori si calcola l'energia media pesando con le probabilità. Sul canale AWGN l'energia media del rumore su [0,T] è σ²T e SNR = E_su/E_w = A²E_sTx/E_w, che in decibel è 10log₁₀ del rapporto (A² vale 20log₁₀A dB; dBW e dBm sono potenze rispetto a 1 W e 1 mW).Energia, potenza e rapporto segnale-rumore in decibel →. Il primo punto è sulla decisione (parte B); gli ultimi due sono di teoria dell'informazione e si svolgono qui per intero.

Energia al ricevitore e costellazione

Periodo di simbolo: la sorgente emette $5000$ simboli/s, quindi $T=\frac1{5000}=2\cdot10^{-4}$ s.

Energia in trasmissione: $$E_{s_1}=\int_0^Te^{-20t/T}dt=\frac T{20}\left(1-e^{-20}\right)\simeq\frac T{20}=10^{-5}\ \text{V}^2\text{s}$$ (il fattore $1-e^{-20}$ è $1-2\cdot10^{-9}$). Lo stesso per $s_2$. Attenuazione di $30$ dB (in potenza, $a_{Ch}=10^{30/10}=1000$): l'energia dei segnali al ricevitore è $$E_s=\frac{E_{s_1}}{a_{Ch}}=10^{-8}\ \text{V}^2\text{s},\qquad\sqrt{E_s}=10^{-4}\ \text{V}\sqrt{\text{s}}.$$ I segnali sono antipodali ($s_2=-s_1$): una dimensione, punti $\mathbf s_1=+\sqrt{E_s}$ e $\mathbf s_2=-\sqrt{E_s}$, con $\phi_1=\frac{s_1}{\sqrt{E_s}}$ (Spazio dei segnali - base ortonormale, coordinate e Gram-SchmidtI segnali a energia finita formano uno spazio vettoriale con prodotto interno $\langle x,y\rangle=\int x(t)y(t),dt$, norma $\lVert x\rVert=\sqrt{E_x}$ e distanza $d(x,y)=\lVert x-y\rVert$. Le $M$ forme d'onda di una segnalazione generano un sottospazio, di cui si costruisce una base ortonormale ${\phi_1,\dots,\phi_I}$ con $I\le M$ (procedura di Gram-Schmidt). Ogni segnale diventa il vettore delle coordinate $s_i=\langle s,\phi_i\rangle$: somme, prodotti per scalari, energie ($E_s=\sum s_i^2$) e distanze si calcolano uguali sui vettori. L'insieme dei vettori ${\mathbf s_1,\dots,\mathbf s_M}$ è la costellazione.Spazio dei segnali - base ortonormale, coordinate e Gram-Schmidt →). Il rumore ha $\sigma_I=\sqrt{25\cdot10^{-10}}=5\cdot10^{-5}$ V$\sqrt{\text{s}}$. Quindi $\frac{\sqrt{E_s}}{\sigma_I}=\frac{10^{-4}}{5\cdot10^{-5}}=2$.

(1) Regioni ottime e probabilità d'errore

Le probabilità dei simboli sono diverse ($p_1=0{,}2$, $p_2=0{,}8$): il criterio ottimo è il MAP. Si decide $X=1$ se $p_1\,\mathcal N(\rho;\sqrt{E_s},\sigma_I^2)>p_2\,\mathcal N(\rho;-\sqrt{E_s},\sigma_I^2)$; con i logaritmi e la differenza dei quadrati $(\rho+\sqrt{E_s})^2-(\rho-\sqrt{E_s})^2=4\rho\sqrt{E_s}$: $$\ln\frac{p_1}{p_2}+\frac{2\rho\sqrt{E_s}}{\sigma_I^2}>0\iff\rho>S=\frac{\sigma_I^2}{2\sqrt{E_s}}\ln\frac{p_2}{p_1}.$$ Numericamente $$S=\frac{25\cdot10^{-10}}{2\cdot10^{-4}}\ln4=1{,}25\cdot10^{-5}\cdot1{,}386=1{,}73\cdot10^{-5}\ \text{V}\sqrt{\text{s}}.$$ $$\mathcal R_1=\{\rho>S\},\qquad\mathcal R_2=\{\rho<S\}.$$ La soglia è spostata verso il simbolo meno probabile ($\mathbf s_1=+\sqrt{E_s}$, $p_1=0{,}2$ è quello meno probabile, ma la soglia $S>0$ si sposta verso di lui): la regione di $s_2$, il simbolo più probabile ($p_2=0{,}8$), si allarga (Regioni di decisione - criteri MAP, ML e minima distanzaLe regioni di decisione $\mathcal R_1,\dots,\mathcal R_M$ sono una partizione dello spazio $\mathbb R^I$: se il vettore ricevuto cade in $\mathcal R_m$ si decide $\hat a_0=m$. La probabilità di decisione corretta è $P[C]=\sum_m\int_{\mathcal R_m}D(\boldsymbol\rho;m),d\boldsymbol\rho$ con $D=P_{a_0}(m),p_{\mathbf r|a_0}(\boldsymbol\rho|m)$, ed è massima assegnando ogni $\boldsymbol\rho$ al $m$ che massimizza $D$: criterio MAP. Con simboli equiprobabili è il ML; con in più rumore AWGN diventa la minima distanza (MD), $\hat a_0=\arg\min_m\lVert\boldsymbol\rho-\mathbf s_m\rVert$, con confini che sono gli assi dei segmenti tra i punti. Con probabilità diverse i confini si spostano verso i punti meno probabili.Regioni di decisione - criteri MAP, ML e minima distanza →).

Probabilità d'errore. Se è stato trasmesso $s_1$ ($\rho=\sqrt{E_s}+w$) si sbaglia con $\rho<S$, cioè $w<S-\sqrt{E_s}$; se è stato trasmesso $s_2$ con $\rho>S$, cioè $w>S+\sqrt{E_s}$: $$P[E]=p_1\,Q\left(\frac{\sqrt{E_s}-S}{\sigma_I}\right)+p_2\,Q\left(\frac{\sqrt{E_s}+S}{\sigma_I}\right)=0{,}2\,Q\left(\frac{10-1{,}73}{5}\right)+0{,}8\,Q\left(\frac{10+1{,}73}5\right)=0{,}2\,Q(1{,}653)+0{,}8\,Q(2{,}347).$$ Con $Q(1{,}653)=0{,}0491$ e $Q(2{,}347)=0{,}0095$: $$P[E]=0{,}2\cdot0{,}0491+0{,}8\cdot0{,}0095=0{,}0098+0{,}0076=1{,}74\cdot10^{-2}.$$ (Confronto: con la soglia a metà, $0$, si avrebbe $Q(2)=2{,}28\cdot10^{-2}$. Una simulazione di $2\cdot10^6$ simboli dà $1{,}73\cdot10^{-2}$ e $2{,}30\cdot10^{-2}$. La soluzione del corso riporta $1{,}84\cdot10^{-2}$ con la stessa espressione, ma i valori $Q(1{,}65)$ e $Q(2{,}34)$ che scrive danno $1{,}76\cdot10^{-2}$ e il valore esatto è $1{,}74\cdot10^{-2}$.)

(2) Soglia che rende simmetrico il canale tra $X$ e $Y$

Il canale discreto da $X$ a $Y$ (il simbolo deciso) è un canale binario: le due probabilità d'errore sono $P[Y=2\mid X=1]=Q\left(\frac{\sqrt{E_s}-S}{\sigma_I}\right)$ e $P[Y=1\mid X=2]=Q\left(\frac{\sqrt{E_s}+S}{\sigma_I}\right)$. Il canale è simmetrico (BSC) se sono uguali, e poiché $Q$ è strettamente decrescente serve $\sqrt{E_s}-S=\sqrt{E_s}+S$, cioè $$S=0.$$ Le regioni sono quelle a minima distanza, $\mathcal R_1=\{\rho>0\}$, $\mathcal R_2=\{\rho<0\}$, che per il MAP non sono ottime ($P[E]$ sale da $1{,}74\cdot10^{-2}$ a $2{,}28\cdot10^{-2}$): si paga in errore per avere un canale simmetrico, con probabilità di inversione $p=Q(2)=0{,}0228$.

(3) Entropia di $Y$

$W$ ha media nulla e densità simmetrica, quindi $P[W>0]=P[W<0]=\frac12$, ed è indipendente da $X$. La variabile $Y$ assume quattro valori:

• $W>0$: $Y=X+1\in\{2,3\}$, cioè $Y=2$ se $X=1$ e $Y=3$ se $X=2$;
• $W<0$: $Y=-X+1\in\{0,-1\}$, cioè $Y=0$ se $X=1$ e $Y=-1$ se $X=2$.

Per l'indipendenza di $W$ e $X$: $$P[Y=2]=p_1\tfrac12=0{,}1,\quad P[Y=3]=p_2\tfrac12=0{,}4,\quad P[Y=0]=p_1\tfrac12=0{,}1,\quad P[Y=-1]=p_2\tfrac12=0{,}4.$$ $$H(Y)=-2\cdot0{,}1\log_20{,}1-2\cdot0{,}4\log_20{,}4=0{,}2\cdot3{,}322+0{,}8\cdot1{,}322=1{,}722\ \text{bit}.$$ Equivalente: $Y$ è una funzione invertibile di $(X,\text{segno di }W)$ e le due scelte sono indipendenti, quindi $H(Y)=H(X)+H(\text{segno}(W))=h(0{,}2)+1$, con $h(0{,}2)=-0{,}2\log_20{,}2-0{,}8\log_20{,}8=0{,}722$ bit: $H(Y)=1{,}722$ bit.

(4) Informazione mutua tra $X$ e $Y$

$$I(X;Y)=H(Y)-H(Y\mid X).$$ Dato $X$, la variabile $Y$ assume due valori (uno con $W>0$, l'altro con $W<0$) equiprobabili: $H(Y\mid X=1)=H(Y\mid X=2)=1$ bit, quindi $H(Y\mid X)=1$ e $$I(X;Y)=1{,}722-1=0{,}722\ \text{bit}=h(0{,}2)=H(X).$$ Il risultato è anche ovvio dall'altra parte: dal valore di $Y$ si risale a $X$ senza errore ($Y\in\{2,0\}\Rightarrow X=1$; $Y\in\{3,-1\}\Rightarrow X=2$), quindi $H(X\mid Y)=0$ e $I(X;Y)=H(X)=0{,}722$ bit (Entropia congiunta e condizionata e informazione mutuaPer due variabili aleatorie discrete $x,y$ l'entropia congiunta è $H(x,y)=E\left[\log_2\frac1{P_{x,y}(x,y)}\right]$ e vale $\max{H(x),H(y)}\le H(x,y)\le H(x)+H(y)$, con l'uguaglianza a destra se e solo se $x$ e $y$ sono indipendenti e $H(x,y)=H(x)$ se $y=f(x)$. L'entropia condizionata $H(x|y)=E_y[H(x|y=y)]$ soddisfa la regola della catena $H(x,y)=H(x|y)+H(y)=H(y|x)+H(x)$. L'informazione mutua $I(x;y)=H(x)+H(y)-H(x,y)=H(x)-H(x|y)=H(y)-H(y|x)$ è simmetrica, $0\le I\le\min{H(x),H(y)}$, nulla per variabili indipendenti.Entropia congiunta e condizionata e informazione mutua →).