Variabili aleatorie e vettori aleatori per le comunicazioni

Il corso usa la probabilità per descrivere segnali (che hanno valori imprevedibili) e rumore. Qui si richiamano gli strumenti necessari, con le formule che servono per gli esercizi; le dimostrazioni sono in Variabili aleatorie assolutamente continueX è assolutamente continua se F_X(x) = ∫ da −∞ a x di f_X(t) dt per una densità f_X ≥ 0 con integrale 1; allora P(a < X ≤ b) = ∫ da a a b di f_X, P(X = x) = 0 per ogni x, f_X = F_X' dove F_X è derivabile, E[g(X)] = ∫ g(x) f_X(x) dx, e varianza, momenti e disuguaglianze funzionano come nel caso discreto con gli integrali al posto delle somme.Variabili aleatorie assolutamente continue →, Distribuzione gaussiana (normale)N(μ, σ²) ha densità e^(−(x−μ)²/(2σ²)) / √(2πσ²), a campana centrata in μ con larghezza σ; media μ, varianza σ²; si standardizza con Z = (X − μ)/σ ~ N(0, 1) e si calcola P(X ≤ x) = Φ((x − μ)/σ), con Φ(−z) = 1 − Φ(z); aX + b è ancora gaussiana, N(aμ + b, a²σ²).Distribuzione gaussiana (normale) →, Valore attesoIl valore atteso E[X] = Σ x p_X(x) è la media dei valori di X pesata con le loro probabilità (esiste se la serie converge assolutamente); per una funzione g vale E[g(X)] = Σ g(x) p_X(x) senza trovare la legge di g(X), ed E è lineare: E[aX + bY + c] = aE[X] + bE[Y] + c.Valore atteso → e Varianza e momentiI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti → (corso di Calcolo delle Probabilità).

Variabile aleatoria discreta e continua

Una variabile aleatoriafunzione che associa un numero reale a ogni esito di un esperimento (v.a.) $x$ è una funzione che assegna un numero reale a ogni esito di un esperimento. Per un dado, $x\in\{1,\dots,6\}$ con probabilità $\frac16$ ciascuno.

• Discreta: i valori sono un insieme numerabile (l'alfabeto $\mathcal A_x$). Si descrive con la PMD (probability mass distribution) $p_x(a)=P[x=a]$, con $p_x(a)\ge0$ e $\sum_ap_x(a)=1$ (quindi $p_x(a)\le1$). Per un insieme $C$: $P[x\in C]=\sum_{a\in C}p_x(a)$ (Variabili aleatorie discrete e densità discretaUna variabile aleatoria discreta è una funzione X da Ω in R che assume un insieme finito o numerabile di valori (l'alfabeto); la sua densità discreta p_X(x) = P(X = x) basta a calcolare la probabilità di ogni evento che riguarda X.Variabili aleatorie discrete e densità discreta →).
• Continua: si descrive con la PDF (probability density function) $p_x(a)$, con $p_x\ge0$ e $\int p_x(a)\,da=1$; $P[x\in C]=\int_Cp_x(a)\,da$. Qui $P[x=a]=0$ per ogni singolo punto e $p_x$ può superare 1 (un rettangolo alto $\frac1{2A}$ per $A\to0$).
• Funzione di ripartizione (CDF): $F_x(a)=P[x\le a]$, somma o integrale di tutti i valori a sinistra di $a$ (Funzione di distribuzioneLa funzione di distribuzione (FdD) F_X(x) = P(X ≤ x) è definita per ogni v.a., è crescente, continua a destra, va da 0 a 1 e determina la legge; per una v.a. discreta è a gradini, con salti in corrispondenza dei valori e di altezza pari alla densità.Funzione di distribuzione →). Per la gaussiana $F_x(m)=\frac12$ e $\lim_{a\to\infty}F_x(a)=1$.

Variabili notevoli

Per l'esponenziale $P[x>a]=e^{-\lambda a}$; per la laplaciana $P[\lvert x\rvert>a]=e^{-a/b}$. Questi due risultati servono per progettare i quantizzatori (SNR di quantizzazione e progetto del quantizzatoreL'SNR di quantizzazione è $\Lambda_q=\frac{M_a}{M_e}$. Con errore granulare uniforme e saturazione trascurabile vale $\Lambda_q=\frac{\sigma^2}{\Delta^2/12}=3\frac{\sigma^2}{V_{sat}^2},2^{2b}$, cioè $[\Lambda_q]{dB}=6{,}02,b+4{,}77+20\log{10}\frac\sigma{V_{sat}}$: ogni bit in più dà $+6$ dB. Per progettare: $V_{sat}$ dalla probabilità di saturazione ($V_{sat}=\sigma,Q^{-1}\left(\frac{P_{sat}}2\right)$ per un gaussiano), poi $b$ dall'SNR richiesto, arrotondando per eccesso.SNR di quantizzazione e progetto del quantizzatore →). Esempio: uniforme tra $A$ e $B$: dalla normalizzazione $C(B-A)=1$, $C=\frac1{B-A}$; la media $\frac1{B-A}\cdot\frac{B^2-A^2}2=\frac{A+B}2$; per la varianza si pone $v=u-\frac{A+B}2$ e si integra $\frac1{B-A}\int_{-\frac{B-A}2}^{\frac{B-A}2}v^2dv=\frac{(B-A)^2}{12}$. Per $\mathcal U[-3,3]$ si ha $\sigma^2=\frac{36}{12}=3$ V².

Media, potenza statistica, varianza

Per una funzione $g(x)$ vale il teorema dell'aspettazionesi calcola E di g(x) usando la densità di x, senza ricavare la densità di g(x) (non serve ricavare la densità di $g(x)$): $$E[g(x)]=\sum_ag(a)\,p_x(a)\quad\text{oppure}\quad\int g(a)\,p_x(a)\,da.$$ Si definiscono la media $m_x=E[x]$, la potenza statistica $M_x=E[x^2]$ e la varianza $\sigma_x^2=E\left[(x-m_x)^2\right]$, legate da $$\boxed{M_x=\sigma_x^2+m_x^2.}$$ Esempio: $x\sim\mathcal U[-\pi,\pi]$ e $g=\cos^2x=\frac12(1+\cos2x)$: $E[\cos^2x]=\frac12$. Per l'esponenziale $m=\frac1\lambda$, $\sigma^2=\frac1{\lambda^2}$, quindi $M=\frac2{\lambda^2}$. Per un segnale a media nulla la potenza statisticavalore atteso del quadrato della variabile coincide con la varianza.

La funzione coda $Q$ e la gaussiana

Per $x\sim\mathcal N(m,\sigma^2)$ l'integrale della densità non si calcola in forma chiusa. Si riporta tutto alla gaussiana standard $\mathcal N(0,1)$ con $u=\frac{a-m}\sigma$ e si usa la funzione codaprobabilità che una gaussiana standard superi un valore: 1 meno la funzione di ripartizione $$Q(a)=\int_a^{+\infty}\frac1{\sqrt{2\pi}}e^{-u^2/2}\,du=1-F_{\mathcal N(0,1)}(a).$$ Allora, per $x\sim\mathcal N(m,\sigma^2)$: $$P[x>c]=Q\left(\frac{c-m}\sigma\right),\qquad P[b\le x\le c]=Q\left(\frac{b-m}\sigma\right)-Q\left(\frac{c-m}\sigma\right).$$ Proprietà: $Q(0)=\frac12$, $Q(-a)=1-Q(a)$, $Q$ è decrescente (se la distanza dalla media cresce, la probabilità cala). Se $x$ è a media nulla, $P[\lvert x\rvert>a]=2Q\left(\frac a\sigma\right)$ (è così che si calcola la probabilità di saturazione di un quantizzatore). Trucco di calcolo: $P\left[\frac{b-m}\sigma<\frac{x-m}\sigma<\frac{c-m}\sigma\right]$ con $\frac{x-m}\sigma\sim\mathcal N(0,1)$ dà direttamente la formula.

Il calcolo della probabilità di errore si riduce quasi sempre a trovare l'argomento di una $Q$; per la probabilità di saturazione di un quantizzatore a media nulla si usa $Q^{-1}\left(\frac{P_{sat}}2\right)$.

Esempio. $x\sim\mathcal N(1,4)$ (media 1, $\sigma=2$): $P[-1\le x\le3]=Q\left(\frac{-1-1}2\right)-Q\left(\frac{3-1}2\right)=Q(-1)-Q(1)=0{,}8413-0{,}1587=0{,}6827$.

Funzioni e somme di variabili aleatorie

Se $x$ e $b$ sono indipendenti, la densità della somma $y=x+b$ si ottiene condizionando. Esempio (da un foglio di esercizi): $x\sim\mathcal N(1,4)$ e $b\sim\mathcal B\left(\frac12\right)$ con alfabeto $\{0,1\}$. Per il teorema della probabilità totalesi ottiene la probabilità di un evento sommando quelle condizionate pesate con le probabilità delle condizioni $$p_y(a)=p_{y\mid b}(a\mid0)p_b(0)+p_{y\mid b}(a\mid1)p_b(1)=\tfrac12p_x(a)+\tfrac12p_x(a-1),$$ una somma pesata di due gaussiane (non è una gaussiana). La media è $m_y=m_x+m_b=1+\frac12=\frac32$ (la media è lineare). Il valore $P[y\le2]=\frac12F_x(2)+\frac12F_x(1)=\frac12\cdot0{,}6915+\frac12\cdot0{,}5=0{,}5957$.

Esempio (minimo di variabili): $x_1,\dots,x_N$ indipendenti con $x_n\sim\operatorname{Exp}(\lambda)$ e $y=\min_nx_n$. Si parte dalla CDF: $F_y(a)=1-P[y\ge a]=1-\prod_nP[x_n\ge a]=1-e^{-N\lambda a}$, e derivando $p_y(a)=N\lambda e^{-N\lambda a}$: $y\sim\operatorname{Exp}(N\lambda)$.

Una combinazione lineare di gaussiane indipendenti è gaussiana, con media e varianza ricavate dalla linearità: se $x\sim\mathcal N(m_x,\sigma_x^2)$ e $y\sim\mathcal N(m_y,\sigma_y^2)$ indipendenti, $\alpha x+\beta y\sim\mathcal N\left(\alpha m_x+\beta m_y,\ \alpha^2\sigma_x^2+\beta^2\sigma_y^2\right)$. Questo fatto rende gaussiano l'uscita di un sistema lineare con ingresso gaussiano (Processi aleatori stazionari e densità spettrale di potenzaUn processo aleatorio è un segnale i cui valori a ogni istante sono variabili aleatorie. Se è stazionario in senso lato (WSS) la media è costante e l'autocorrelazione $r_x(\tau)$ dipende solo dalla differenza dei tempi; la sua trasformata è la densità spettrale di potenza $\mathcal P_x(f)$, il cui integrale è la potenza statistica $r_x(0)$. Un filtro LTI dà $m_y=m_xH(0)$ e $\mathcal P_y=\mathcal P_x\lvert H\rvert^2$; se l'ingresso è gaussiano anche l'uscita lo è. Il rumore bianco ha $\mathcal P(f)=\frac{N_0}2$.Processi aleatori stazionari e densità spettrale di potenza →).

Vettori aleatori

Un vettore aleatorio $\mathbf x=[x_1,\dots,x_N]$ ha densità congiunta $p_{\mathbf x}$. Le sue componenti sono statisticamente indipendenti se $p_{\mathbf x}(a_1,\dots,a_N)=\prod_ip_{x_i}(a_i)$ (Vettori aleatori assolutamente continuiUn vettore (X, Y) è assolutamente continuo se P((X, Y) ∈ A) = ∬_A f(x, y) dx dy per una densità congiunta f ≥ 0 con integrale 1; le marginali si ottengono integrando sull'altra variabile (f_X(x) = ∫ f(x, y) dy), X e Y sono indipendenti se f(x, y) = f_X(x) f_Y(y), e E[g(X, Y)] = ∬ g f. Il punto delicato degli esercizi è descrivere bene la regione dove f > 0.Vettori aleatori assolutamente continui →, Indipendenza di eventiA e B sono indipendenti se P(A ∩ B) = P(A) P(B), cioè se sapere che uno si è verificato non cambia la probabilità dell'altro; l'indipendenza passa ai complementari, non va confusa con l'incompatibilità, e per più eventi va richiesta su ogni sottofamiglia.Indipendenza di eventi →).

• Probabilità condizionata: $p_{x\mid y}(a\mid b)=\frac{p_{x,y}(a,b)}{p_y(b)}$; se $x,y$ sono indipendenti $p_{x\mid y}=p_x$.
• Probabilità totale: $p_x(a)=\int p_{x\mid y}(a\mid b)\,p_y(b)\,db$ (o somma, nel discreto).
• Teorema di Bayes (Formula delle probabilità totali e formula di BayesSe (A_i) è una partizione di Ω, P(B) = Σ P(B ∣ A_i) P(A_i) (probabilità totali); la formula di Bayes inverte il condizionamento: P(A_k ∣ B) = P(B ∣ A_k) P(A_k) / P(B).Formula delle probabilità totali e formula di Bayes →): $p_{y\mid x}(b\mid a)=\frac{p_{x\mid y}(a\mid b)\,p_y(b)}{p_x(a)}$. È la base del criterio MAP (Teoria della decisione - criteri MAP, ML e MDLe regioni di decisione che massimizzano la probabilità di decisione corretta sono $\mathcal R_m={\boldsymbol\rho:\ m=\arg\max_mP_m,p_{\mathbf r|m}(\boldsymbol\rho|m)}$: criterio MAP (ottimo). Il criterio ML ignora le probabilità a priori; se i simboli sono equiprobabili coincide con il MAP. Il criterio MD sceglie il punto più vicino, $\hat m=\arg\min_m\lVert\boldsymbol\rho-\mathbf s_m\rVert$; con canale AWGN coincide con il ML. Quindi con simboli equiprobabili e AWGN la distanza minima è ottima; con probabilità diverse le soglie si spostano verso il punto meno probabile.Teoria della decisione - criteri MAP, ML e MD →): la probabilità a posteriori di un simbolo, dato ciò che si è ricevuto.
• Correlazione e covarianza (Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione →): $R_{xy}=E[xy]$, $K_{xy}=E\left[(x-m_x)(y-m_y)\right]=R_{xy}-m_xm_y$. Due v.a. sono scorrelate se $K_{xy}=0$.
• Indipendenti $\Rightarrow$ scorrelate, ma in generale non vale il contrario. Per variabili congiuntamente gaussiane scorrelazione e indipendenza sono equivalenti (Vettori gaussianiX = (X₁, ..., Xₙ) è un vettore gaussiano N(m, Σ) se ogni combinazione lineare a·X è gaussiana (equivalentemente X = m + AZ con Z gaussiane standard indipendenti); se Σ è invertibile ha densità exp(−½(x−m)ᵀΣ⁻¹(x−m)) / √((2π)ⁿ det Σ). Proprietà chiave: AX + b ~ N(Am + b, AΣAᵀ), le marginali sono gaussiane e componenti non correlate sono indipendenti.Vettori gaussiani →): per questo le componenti scorrelatecon covarianza nulla: non vuol dire indipendenti, salvo per variabili gaussiane congiunte del rumore bianco gaussiano sono anche indipendenti.

Esempio (rivelazione, esercizio d'esame tipico). $y=x+w$ con $x\in\{-1,+1\}$ e $w\sim\mathcal N(0,\sigma^2)$ indipendente: $P[y>0\mid x=1]=P[w>-1]=1-Q\left(\frac1\sigma\right)$, mentre $P[y>0\mid x=-1]=P[w>1]=Q\left(\frac1\sigma\right)$. Con $x$ equiprobabile, $P[y>0]=\frac12$.

Errori comuni

• Dimenticare che il valore massimo della PDF continua può superare 1.
• Usare la varianza al posto della potenza statistica (per segnali a media non nulla, come l'esponenziale, sono diverse).
• Scrivere $P[\lvert x\rvert>a]=Q\left(\frac a\sigma\right)$ invece di $2Q\left(\frac a\sigma\right)$.
• Confondere "scorrelate" con "indipendenti" (valgono a pari merito solo per variabili congiuntamente gaussiane).