Probabilità per le telecomunicazioni - eventi e variabili aleatorie discrete

In una trasmissione digitale quasi tutto è aleatorio: il bit che la sorgente emette (non si sa in anticipo se sarà $0$ o $1$), il valore del rumore in un dato istante, il simbolo che il ricevitore decide. Per ragionare su questi fatti con i numeri serve un piccolo kit di probabilità, che qui si richiama partendo dagli eventi e arrivando al valore atteso. Le variabili che prendono valori su un intervallo continuo (il rumore gaussiano) sono nella nota successiva: Variabili aleatorie continue - uniforme, gaussiana, esponenziale e funzione QUna v.a. continua ha funzione di distribuzione F_x(a) = P(x ≤ a) e densità f_x(a) = dF_x/da ≥ 0 con integrale 1; P(A ≤ x ≤ B) = F_x(B) − F_x(A) = ∫_A^B f_x e P(x = A) = 0. Uniforme U([a,b]): densità 1/(b−a), media (a+b)/2, varianza (b−a)²/12. Esponenziale unilatera di media m: (1/m)e^(−a/m), a ≥ 0. Gaussiana N(m, σ²): P(x ≥ A) = Q((A − m)/σ), con Q(A) coda della gaussiana standard. Somme di gaussiane indipendenti sono gaussiane (medie e varianze si sommano); teorema del limite centrale.Variabili aleatorie continue - uniforme, gaussiana, esponenziale e funzione Q →.

Chi vuole le dimostrazioni complete trova la teoria generale in Spazio campionario ed eventiUno spazio di probabilità è la terna (Ω, F, P); Ω raccoglie gli esiti possibili dell'esperimento, un evento è un sottoinsieme di Ω, e le operazioni logiche tra eventi sono unione, intersezione e complementare.Spazio campionario ed eventi →, Misura di probabilità e sue proprietàUna misura di probabilità è una funzione P: F → [0,1] con P(Ω) = 1 e σ-additiva; ne seguono P(Aᶜ) = 1 − P(A), P(∅) = 0, monotonia, P(A ∪ B) = P(A) + P(B) − P(A ∩ B) e la formula di inclusione-esclusione.Misura di probabilità e sue proprietà →, Variabili aleatorie discrete e densità discretaUna variabile aleatoria discreta è una funzione X da Ω in R che assume un insieme finito o numerabile di valori (l'alfabeto); la sua densità discreta p_X(x) = P(X = x) basta a calcolare la probabilità di ogni evento che riguarda X.Variabili aleatorie discrete e densità discreta →, Probabilità condizionataLa probabilità di A sapendo che si è verificato B è P(A ∣ B) = P(A ∩ B) / P(B), con P(B) > 0; è una nuova misura di probabilità, e da essa seguono la regola del prodotto e la regola della catena.Probabilità condizionata →, Indipendenza di eventiA e B sono indipendenti se P(A ∩ B) = P(A) P(B), cioè se sapere che uno si è verificato non cambia la probabilità dell'altro; l'indipendenza passa ai complementari, non va confusa con l'incompatibilità, e per più eventi va richiesta su ogni sottofamiglia.Indipendenza di eventi →, Valore attesoIl valore atteso E[X] = Σ x p_X(x) è la media dei valori di X pesata con le loro probabilità (esiste se la serie converge assolutamente); per una funzione g vale E[g(X)] = Σ g(x) p_X(x) senza trovare la legge di g(X), ed E è lineare: E[aX + bY + c] = aE[X] + bE[Y] + c.Valore atteso → e Varianza e momentiI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti →. Versione per Ing. Elettronica: Variabili aleatorie e vettori aleatori per le comunicazioniUna variabile aleatoria è descritta da una PMD (discreta) o da una PDF (continua) e dalla funzione di ripartizione; per la gaussiana $P[x>a]=Q\left(\frac{a-m}{\sigma}\right)$ con la funzione coda $Q$. Media $m_x$, varianza $\sigma_x^2$ e potenza statistica $M_x=\sigma_x^2+m_x^2$. Per un vettore aleatorio contano l'indipendenza, le probabilità condizionate (totali e di Bayes) e la correlazione; combinazioni lineari di gaussiane sono gaussiane, e gaussiane scorrelate sono indipendenti.Variabili aleatorie e vettori aleatori per le comunicazioni →.

Eventi e probabilità

Un evento è un'affermazione che può essere vera o falsa dopo l'esperimento: "il bit trasmesso è $1$", "il rumore supera $2$ V". La sua probabilità $P(x)$ è un numero tra $0$ e $1$: $$0\le P(x)\le1,$$ con $P=0$ per l'evento impossibile e $P=1$ per quello certo. Per combinare due eventi $x$ e $y$ si usano due operazioni.

• Unione $x\cup y$: si verifica $x$, oppure $y$, oppure entrambi.
• Intersezione $x\cap y$: si verificano contemporaneamente $x$ e $y$.

Teorema (probabilità dell'unione). $$P(x\cup y)=P(x)+P(y)-P(x\cap y).$$ Se i due eventi sono disgiunti (non possono accadere insieme, $P(x\cap y)=0$) si riduce a $P(x\cup y)=P(x)+P(y)$.

Il perché del termine sottratto: sommando $P(x)+P(y)$ la parte comune ai due eventi viene contata due volte, quindi la si toglie una volta. Esempio: lancio un dado equilibrato, $x=$ "esce un numero pari" ($P=\tfrac12$), $y=$ "esce un numero maggiore di $3$" ($P=\tfrac12$). L'intersezione è "esce $4$ o $6$", con $P=\tfrac26=\tfrac13$, quindi $P(x\cup y)=\tfrac12+\tfrac12-\tfrac13=\tfrac23$: infatti i casi favorevoli sono $\{2,4,5,6\}$, quattro su sei.

Variabili aleatorie discrete

Una variabile aleatoria (v.a.) è un numero il cui valore dipende dall'esito dell'esperimento. È discreta se può prendere solo un numero finito (o numerabile) di valori, raccolti nel suo alfabeto $$A_x=\{a_1,\dots,a_N\},\qquad a_i\in\mathbb R.$$ Il pedice di una densità è il nome della v.a., l'argomento è un elemento dell'alfabeto. La densità di probabilità discreta (nel seguito "densità") è $$p_x(a_i)=P(x=a_i),\qquad i=1,\dots,N.$$ Due proprietà fondamentali:

1. le probabilità sono non negative e sommano a $1$, perché ogni esperimento dà un valore dell'alfabeto: $$\sum_{i=1}^{N}p_x(a_i)=1;$$
2. la probabilità che $x$ stia in un insieme $\mathcal A$ si ottiene sommando le densità degli elementi dell'insieme: $$P(x\in\mathcal A)=\sum_{a_i\in\mathcal A}p_x(a_i).$$

Per esempio $P(x\in\{a_1,a_2\})=p_x(a_1)+p_x(a_2)$, perché $\{x=a_1\}$ e $\{x=a_2\}$ sono eventi disgiunti. E $P(x\ge A)=\sum_{a_i\,:\,a_i\ge A}p_x(a_i)$: si sommano solo i valori dell'alfabeto che soddisfano la condizione.

Esempio. Una v.a. $x$ ha alfabeto $\{1,2,3\}$ con $p_x(1)=0{,}1$, $p_x(2)=0{,}3$. Poiché la somma deve valere $1$, $p_x(3)=1-0{,}1-0{,}3=0{,}6$. Allora $P(x\ge2)=0{,}3+0{,}6=0{,}9$ e $P(x\in\{1,3\})=0{,}7$.

Probabilità condizionata

Se so già che l'evento $y$ è accaduto, la probabilità di $x$ cambia: si restringe lo sguardo ai soli casi in cui $y$ è vero. Si definisce $$P(x\mid y)=\frac{P(x\cap y)}{P(y)}\qquad(P(y)>0).$$ Il denominatore $P(y)$ rinormalizza: tra i casi in cui $y$ è vero, la frazione in cui lo è anche $x$. Per le v.a. discrete gli eventi sono del tipo $\{x=a_3\}$ e $\{y=b_1\}$, con $a_3\in A_x$ e $b_1\in A_y$: $$P(x=a_3\mid y=b_1)=\frac{P(x=a_3,\ y=b_1)}{P(y=b_1)}.$$

Esempio (trasformazione deterministica). Sia $x$ uniforme sull'alfabeto $A_x=\{-5,-4,\dots,0,\dots,5\}$, cioè $p_x(a)=\frac1{11}$ per ognuno degli $11$ valori, e sia $y=x^2$.

• L'alfabeto di $y$ è $A_y=\{0,1,4,9,16,25\}$.
• La densità di $y$ si ottiene sommando le densità di tutti gli $a$ che danno quel valore: $p_y(b)=P(x^2=b)=\sum_{a:\,a^2=b}p_x(a)$. Quindi $p_y(0)=\frac1{11}$ (solo $a=0$), mentre $p_y(b)=\frac2{11}$ per $b=1,4,9,16,25$ (due valori, $\pm\sqrt b$).
• $P(x=3\mid y=16)=\dfrac{P(x=3,\ y=16)}{P(y=16)}=\dfrac{0}{2/11}=0$: se $y=16$ allora $x=\pm4$, e $x=3$ è impossibile.
• $P(x=3\mid y=9)=\dfrac{P(x=3,\ y=9)}{P(y=9)}=\dfrac{1/11}{2/11}=\dfrac12$: se $y=9$ allora $x=+3$ oppure $x=-3$, equiprobabili.

Quando serve la probabilità di un evento $B$ ma la situazione ha due o più casi $A_i$ (per esempio il bit trasmesso), si usa la formula delle probabilità totali $P(B)=\sum_iP(B\mid A_i)P(A_i)$ (Formula delle probabilità totali e formula di BayesSe (A_i) è una partizione di Ω, P(B) = Σ P(B ∣ A_i) P(A_i) (probabilità totali); la formula di Bayes inverte il condizionamento: P(A_k ∣ B) = P(B ∣ A_k) P(A_k) / P(B).Formula delle probabilità totali e formula di Bayes →). È lo strumento degli esercizi con rumore: $P(\text{errore})=P(\text{errore}\mid\text{bit }0)P(\text{bit }0)+P(\text{errore}\mid\text{bit }1)P(\text{bit }1)$.

Variabili aleatorie indipendenti

Due v.a. $x$ e $y$ hanno una densità congiunta $p_{x,y}(a,b)=P(x=a,\ y=b)$. Le densità di $x$ e di $y$ da sole (le marginali) si ottengono sommando sull'altra variabile: $p_x(a)=\sum_bp_{x,y}(a,b)$. Le due variabili sono indipendenti se la congiunta è il prodotto delle marginali: $$P(x=a,\ y=b)=p_x(a)\,p_y(b)\qquad\forall\,a,b.$$ Conseguenza immediata: conoscere $y$ non dice nulla su $x$, infatti $$P(x=a\mid y=b)=\frac{P(x=a,\ y=b)}{P(y=b)}=\frac{p_x(a)\,p_y(b)}{p_y(b)}=P(x=a).$$ Nell'esempio sopra $x$ e $y=x^2$ non sono indipendenti: $P(x=3\mid y=16)=0$, mentre $P(x=3)=\frac1{11}$.

Valore atteso, potenza e varianza

Il valore atteso (o aspettazione) è la media dei valori dell'alfabeto pesati con le loro probabilità, e si indica con $m_x$: $$E(x)=\sum_{a\in A_x}a\,p_x(a)=m_x.$$ Per una funzione $g$ della v.a. non serve ricalcolare la densità di $g(x)$: basta $$E\big(g(x)\big)=\sum_{a\in A_x}g(a)\,p_x(a).$$ Con $g(x)=x^2$ si ottiene la potenza (o valore quadratico medio) $$M_x=E(x^2)=\sum_{a\in A_x}a^2\,p_x(a).$$ La varianza misura quanto $x$ si disperde attorno alla media: $\sigma_x^2=E\big[(x-m_x)^2\big]$, e $\sigma_x$ è la deviazione standard. Sviluppando il quadrato e usando la linearità (vedi sotto): $$\sigma_x^2=E(x^2)-2m_xE(x)+m_x^2=M_x-m_x^2\qquad\Longleftrightarrow\qquad\boxed{M_x=m_x^2+\sigma_x^2.}$$ La potenza è dunque la somma di due contributi: quello della media (parte "continua") e quello delle fluttuazioni. Per una v.a. a media nulla potenza e varianza coincidono, ed è il caso della maggior parte dei segnali e del rumore del corso.

Esempio. Per $x$ uniforme su $\{-5,\dots,5\}$: $m_x=0$ (valori simmetrici), $M_x=\frac{1}{11}(25+16+9+4+1+0+1+4+9+16+25)=\frac{110}{11}=10$ e quindi $\sigma_x^2=10$. Per $y=x^2$: $E(y)=E(x^2)=10$, ma ora la media non è nulla, perché $y\ge0$.

Per un bit di Bernoulli $x\in\{0,1\}$ con $P(x=1)=p$: $m_x=p$, $M_x=0^2(1-p)+1^2p=p$, $\sigma_x^2=p-p^2=p(1-p)$.

Linearità dell'aspettazione

Teorema. Per costanti $A,B$ e v.a. $x,y$ qualsiasi (anche dipendenti): $E(Ax+By)=A\,E(x)+B\,E(y)$.

Dimostrazione. Si usa la densità congiunta, sommando su tutte le coppie $(a,b)\in A_x\times A_y$: $$E(Ax+By)=\sum_{a,b}p_{x,y}(a,b)\,(Aa+Bb)=A\sum_{a}a\underbrace{\sum_bp_{x,y}(a,b)}_{p_x(a)}+B\sum_bb\underbrace{\sum_ap_{x,y}(a,b)}_{p_y(b)}=A\,E(x)+B\,E(y).$$ Nell'ultimo passaggio le somme sull'altra variabile trasformano la congiunta nella marginale. $\square$

Il teorema è la ragione per cui la media del segnale ricevuto $y=x+w$ è semplicemente $m_x+m_w$, qualunque sia la relazione tra segnale e rumore.

Valore atteso del prodotto e incorrelazione

Se $x$ e $y$ sono indipendenti la congiunta si fattorizza e la somma doppia si separa in due somme semplici: $$E(xy)=\sum_{a,b}p_{x,y}(a,b)\,ab=\sum_{a,b}p_x(a)p_y(b)\,ab=\Big(\sum_ap_x(a)\,a\Big)\Big(\sum_bp_y(b)\,b\Big)=E(x)E(y).$$ Due v.a. per cui vale $E(xy)=E(x)E(y)$ si dicono incorrelate. Quindi indipendenti $\Rightarrow$ incorrelate. Il viceversa è falso in generale (con $x$ uniforme su $\{-5,\dots,5\}$ e $y=x^2$: $E(xy)=E(x^3)=0=E(x)E(y)$, eppure sono dipendenti) e vale solo per le variabili gaussiane congiunte, come si vede nella nota sulle variabili continue. La covarianza e il coefficiente di correlazione sono in Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione →.

Esercizi svolti

• Bit con rumore gaussiano e probabilità totali: Esercizio - bit con rumore gaussiano, decisione a soglia e probabilità totali (esercizi del corso, cap. 2, es. 5, 6 e 11).
• Densità congiunta discreta, marginali, condizionate ed entropia: Esercizio - densità congiunta discreta, marginali, condizionate e informazione (esercizi del corso, cap. 2, es. 7).

Domande d'esame

1. Quando due variabili aleatorie sono indipendenti? Cosa significa che sono incorrelate? Indipendenti: $p_{x,y}(a,b)=p_x(a)p_y(b)$ per ogni coppia. Incorrelate: $E(xy)=E(x)E(y)$. La prima implica la seconda, non viceversa (eccezione: gaussiane).
2. Dimostrare $M_x=m_x^2+\sigma_x^2$. Si sviluppa $(x-m_x)^2=x^2-2m_xx+m_x^2$, si prende l'aspettazione usando la linearità: $\sigma_x^2=M_x-2m_x^2+m_x^2=M_x-m_x^2$.
3. Dato $y=g(x)$, come si calcola $p_y$? Si trova l'alfabeto di $y$ e, per ogni $b$, si sommano le $p_x(a)$ di tutti gli $a$ con $g(a)=b$.