Esercizio - densità congiunta discreta, marginali, condizionate e informazione (esercizi del corso, cap. 2, es. 7)

---

Teoria usata: Probabilità per le telecomunicazioni - eventi e variabili aleatorie discreteGli eventi hanno probabilità tra 0 e 1 e P(x∪y) = P(x) + P(y) − P(x∩y). Una variabile aleatoria discreta ha un alfabeto A_x e una densità p_x(a) = P(x = a) con somma 1. Si definiscono probabilità condizionata, indipendenza (p_{x,y}(a,b) = p_x(a)p_y(b)), valore atteso E(x) = m_x, potenza M_x = E(x²), varianza σ_x² con M_x = m_x² + σ_x²; l'aspettazione è lineare e per variabili indipendenti E(xy) = E(x)E(y).Probabilità per le telecomunicazioni - eventi e variabili aleatorie discrete →, Entropia - informazione di un evento, disuguaglianza di Jensen e valore massimoL'informazione di un evento di probabilità $P$ è $i=\log_2\frac1P$ bit (zero per l'evento certo, additiva per eventi indipendenti). L'entropia di una variabile aleatoria discreta è l'informazione media, $H(x)=E[i_x(x)]=\sum_aP_x(a)\log_2\frac1{P_x(a)}$; vale $0\le H(x)\le\log_2M$ con $M$ cardinalità dell'alfabeto, e il massimo $\log_2M$ si raggiunge se e solo se i simboli sono equiprobabili (dimostrazione con la disuguaglianza di Jensen, perché il logaritmo è strettamente concavo).Entropia - informazione di un evento, disuguaglianza di Jensen e valore massimo →, Entropia congiunta e condizionata e informazione mutuaPer due variabili aleatorie discrete $x,y$ l'entropia congiunta è $H(x,y)=E\left[\log_2\frac1{P_{x,y}(x,y)}\right]$ e vale $\max{H(x),H(y)}\le H(x,y)\le H(x)+H(y)$, con l'uguaglianza a destra se e solo se $x$ e $y$ sono indipendenti e $H(x,y)=H(x)$ se $y=f(x)$. L'entropia condizionata $H(x|y)=E_y[H(x|y=y)]$ soddisfa la regola della catena $H(x,y)=H(x|y)+H(y)=H(y|x)+H(x)$. L'informazione mutua $I(x;y)=H(x)+H(y)-H(x,y)=H(x)-H(x|y)=H(y)-H(y|x)$ è simmetrica, $0\le I\le\min{H(x),H(y)}$, nulla per variabili indipendenti.Entropia congiunta e condizionata e informazione mutua →.

La tabella dà $p_{x,y}(a,b)=P(x=a,\ y=b)$ per tutte le sei coppie. Prima di tutto si controlla che sia una densità: la somma delle sei celle è $0{,}1+0{,}3+0{,}2+0{,}1+0{,}1+0{,}2=1$.

(2) Le marginali $p(x)$ e $p(y)$

Le marginali si ottengono sommando sull'altra variabile: $p_x(a)=\sum_bp_{x,y}(a,b)$ (somma per righe) e $p_y(b)=\sum_ap_{x,y}(a,b)$ (somma per colonne).

• Per $x$: $p_x(2)=0{,}1+0{,}3+0{,}2=0{,}6$ e $p_x(3)=0{,}1+0{,}1+0{,}2=0{,}4$.
• Per $y$: $p_y(-1)=0{,}1+0{,}1=0{,}2$, $p_y(0)=0{,}3+0{,}1=0{,}4$, $p_y(1)=0{,}2+0{,}2=0{,}4$.

Entrambe sommano a $1$ ($0{,}6+0{,}4$ e $0{,}2+0{,}4+0{,}4$).

(1) La condizionata $p(y\mid x)$

Per definizione $p(y\mid x)=\dfrac{p_{x,y}(a,b)}{p_x(a)}$: si divide ogni riga per la propria somma. Essendo la riga $x=2$ di somma $0{,}6$ e la riga $x=3$ di somma $0{,}4$:

Ogni riga somma a $1$ ($\frac16+\frac12+\frac13=1$ e $\frac14+\frac14+\frac12=1$): è una densità di $y$ per ciascun valore fissato di $x$. Si vede anche che $x$ e $y$ non sono indipendenti: se lo fossero le due righe sarebbero uguali (e uguali a $p_y$), invece $p(y\mid x=2)\ne p(y\mid x=3)$. Per esempio $p_x(2)p_y(-1)=0{,}6\cdot0{,}2=0{,}12\ne0{,}1=p_{x,y}(2,-1)$.

(3) Momenti e informazione

Valore atteso. $E(x)=\sum_aa\,p_x(a)=2\cdot0{,}6+3\cdot0{,}4=1{,}2+1{,}2=2{,}4$.

Potenza. $E(x^2)=\sum_aa^2p_x(a)=4\cdot0{,}6+9\cdot0{,}4=2{,}4+3{,}6=6$. La varianza è quindi $\sigma_x^2=M_x-m_x^2=6-2{,}4^2=6-5{,}76=0{,}24$.

$E(-\log_2p(x))$. È il valore atteso della funzione $g(x)=-\log_2p_x(x)$, cioè della quantità $-\log_2p$ detta informazione propria dell'evento $\{x=a\}$ (bit di sorpresa: più un evento è raro, più vale). Con $E(g(x))=\sum_ag(a)p_x(a)$: $$E\big(-\log_2p(x)\big)=-p_x(2)\log_2p_x(2)-p_x(3)\log_2p_x(3)=-0{,}6\log_20{,}6-0{,}4\log_20{,}4.$$ I due logaritmi: $\log_20{,}6=-0{,}737$ e $\log_20{,}4=-1{,}322$. Quindi $0{,}6\cdot0{,}737+0{,}4\cdot1{,}322=0{,}442+0{,}529=0{,}971$ bit. È l'entropia di $x$, $H(x)=0{,}971$ bit, vicina al massimo di una variabile binaria ($1$ bit, per $p=\frac12$).

Verifica e un confronto in più

Tutti i valori sono stati ricalcolati con Python: marginali $(0{,}6;\,0{,}4)$ e $(0{,}2;\,0{,}4;\,0{,}4)$, $E(x)=2{,}4$, $E(x^2)=6$, $H(x)=0{,}971$ bit; coincidono con la soluzione del corso.

Per collegare l'esercizio alla teoria sull'indipendenza: $E(y)=-0{,}2+0+0{,}4=0{,}2$ e $E(xy)=\sum_{a,b}ab\,p_{x,y}(a,b)=2(-0{,}1+0+0{,}2)+3(-0{,}1+0+0{,}2)=0{,}2+0{,}3=0{,}5$, mentre $E(x)E(y)=2{,}4\cdot0{,}2=0{,}48$. Poiché $E(xy)\ne E(x)E(y)$, le due variabili sono anche correlate (covarianza $0{,}02$, coefficiente di correlazione $0{,}055$): per il teorema "indipendenti $\Rightarrow$ incorrelate" (letto al contrario) questo conferma che sono dipendenti.

Errori comuni

• Dividere per la somma della colonna invece che della riga: $p(y\mid x)$ si ottiene dividendo la riga di $x$ (ogni riga somma a $1$).
• Scrivere $p(x)$ come la prima riga senza sommare le tre colonne.
• Dimenticare che l'unità di $E(-\log_2p(x))$ è il bit (logaritmo in base $2$).
• Credere che marginali e condizionate coincidano: lo fanno solo se $x$ e $y$ sono indipendenti.