Variabili aleatorie continue - uniforme, gaussiana, esponenziale e funzione Q

Il rumore di un canale non prende un numero finito di valori: in ogni istante può valere $0{,}3$ V, $-1{,}27$ V, qualunque numero reale. Per descrivere queste variabili aleatorie si usa una densità invece di una somma di probabilità. La nota precedente tratta il caso discreto: Probabilità per le telecomunicazioni - eventi e variabili aleatorie discreteGli eventi hanno probabilità tra 0 e 1 e P(x∪y) = P(x) + P(y) − P(x∩y). Una variabile aleatoria discreta ha un alfabeto A_x e una densità p_x(a) = P(x = a) con somma 1. Si definiscono probabilità condizionata, indipendenza (p_{x,y}(a,b) = p_x(a)p_y(b)), valore atteso E(x) = m_x, potenza M_x = E(x²), varianza σ_x² con M_x = m_x² + σ_x²; l'aspettazione è lineare e per variabili indipendenti E(xy) = E(x)E(y).Probabilità per le telecomunicazioni - eventi e variabili aleatorie discrete →. La teoria generale è in Variabili aleatorie assolutamente continueX è assolutamente continua se F_X(x) = ∫ da −∞ a x di f_X(t) dt per una densità f_X ≥ 0 con integrale 1; allora P(a < X ≤ b) = ∫ da a a b di f_X, P(X = x) = 0 per ogni x, f_X = F_X' dove F_X è derivabile, E[g(X)] = ∫ g(x) f_X(x) dx, e varianza, momenti e disuguaglianze funzionano come nel caso discreto con gli integrali al posto delle somme.Variabili aleatorie assolutamente continue →, Funzione di distribuzioneLa funzione di distribuzione (FdD) F_X(x) = P(X ≤ x) è definita per ogni v.a., è crescente, continua a destra, va da 0 a 1 e determina la legge; per una v.a. discreta è a gradini, con salti in corrispondenza dei valori e di altezza pari alla densità.Funzione di distribuzione →, Distribuzione gaussiana (normale)N(μ, σ²) ha densità e^(−(x−μ)²/(2σ²)) / √(2πσ²), a campana centrata in μ con larghezza σ; media μ, varianza σ²; si standardizza con Z = (X − μ)/σ ~ N(0, 1) e si calcola P(X ≤ x) = Φ((x − μ)/σ), con Φ(−z) = 1 − Φ(z); aX + b è ancora gaussiana, N(aμ + b, a²σ²).Distribuzione gaussiana (normale) → e Distribuzioni uniforme continua ed esponenzialeU(a, b) ha densità costante 1/(b − a) su [a, b], media (a + b)/2 e varianza (b − a)²/12; Exp(λ) ha densità λe^(−λx) per x ≥ 0, FdD 1 − e^(−λx), P(X > t) = e^(−λt), media 1/λ, varianza 1/λ², ed è l'unica legge continua senza memoria (versione continua della geometrica).Distribuzioni uniforme continua ed esponenziale →. Versioni per le altre lauree: Variabili aleatorie e vettori aleatori per le comunicazioniUna variabile aleatoria è descritta da una PMD (discreta) o da una PDF (continua) e dalla funzione di ripartizione; per la gaussiana $P[x>a]=Q\left(\frac{a-m}{\sigma}\right)$ con la funzione coda $Q$. Media $m_x$, varianza $\sigma_x^2$ e potenza statistica $M_x=\sigma_x^2+m_x^2$. Per un vettore aleatorio contano l'indipendenza, le probabilità condizionate (totali e di Bayes) e la correlazione; combinazioni lineari di gaussiane sono gaussiane, e gaussiane scorrelate sono indipendenti.Variabili aleatorie e vettori aleatori per le comunicazioni → (Ing. Elettronica) e Probabilità d'errore e funzione QPer due segnali di energie $E_1,E_2$ con coefficiente di correlazione $\rho=\frac{\langle s_1,s_2\rangle}{\sqrt{E_1E_2}}$ la distanza è $d_{12}=\sqrt{E_1+E_2-2\rho\sqrt{E_1E_2}}$ e, con rumore AWGN, simboli equiprobabili e criterio MD, $P[E]=Q\left(\frac{d_{12}}{2\sigma_I}\right)=Q\left(\sqrt{\frac{E_s(1-\rho)}{N_0}}\right)$ con $\sigma_I^2=\frac{N_0}2$ e $Q$ la coda della gaussiana. Il caso antipodale ($\rho=-1$) dà $Q\left(\sqrt{\frac{2E_s}{N_0}}\right)$, l'ortogonale ($\rho=0$) $Q\left(\sqrt{\frac{E_s}{N_0}}\right)$: 3 dB peggio. Con $M>2$ segnali si usano limiti: $\frac{N^*}M Q\left(\frac{d_{min}}{2\sigma_I}\right)\le P[E]\le(M-1)Q\left(\frac{d_{min}}{2\sigma_I}\right)$ (union bound); la probabilità dipende solo da $\frac{E_s}{N_0}$, cioè dall'SNR.Probabilità d'errore e funzione Q → (Ing. delle Telecomunicazioni).

Funzione di distribuzione

Per una v.a. $x\in\mathbb R$ la funzione di distribuzione è $$F_x(a)=P(x\le a).$$ Proprietà (si leggono sul grafico, che ha forma a "S"):

• $F_x(-\infty)=0$ e $F_x(+\infty)=1$: quasi nessuna probabilità a sinistra di valori molto negativi, tutta la probabilità a sinistra di valori molto grandi;
• $F_x$ è non decrescente: più si sposta $a$ a destra, più eventi $\{x\le a\}$ sono inclusi.

Per ottenere la probabilità di un intervallo $[A,B]$ si scrive $\{x\le B\}$ come unione disgiunta di $\{x<A\}$ e $\{A\le x\le B\}$: $$P(x\in[A,B])=P(x\le B)-P(x<A)=F_x(B)-F_x(A).$$

Densità di probabilità

La densità $f_x(a)$ (anche scritta $p_x(a)$) è la derivata della distribuzione: $$f_x(a)=\frac{dF_x(a)}{da},\qquad\text{quindi}\qquad\int_A^Bf_x(a)\,da=F_x(B)-F_x(A)=P(x\in[A,B]).$$ La probabilità di un intervallo è l'area sotto la densità. Da qui tre conseguenze.

1. $f_x(a)\ge0$ sempre (altrimenti una $F_x$ non decrescente avrebbe derivata negativa): una funzione che scende sotto lo zero non è una densità.
2. $\int_{-\infty}^{+\infty}f_x(a)\,da=F_x(+\infty)-F_x(-\infty)=1$.
3. $P(x=A)=\int_A^Af_x(a)\,da=0$: ogni valore preso da solo ha probabilità nulla, solo gli intervalli hanno probabilità positiva. Perciò per le v.a. continue $[A,B]$, $(A,B)$ e $[A,B)$ hanno la stessa probabilità.

Per questo $f_x(a)$ non è una probabilità e può essere maggiore di $1$: è una probabilità per unità di $a$. Esempio: la v.a. uniforme sull'intervallo $[0,\tfrac13]$ ha $F_x(a)=3a$ nell'intervallo e densità costante $f_x=3$: l'area $3\cdot\tfrac13=1$ è giusta, ma l'altezza è $3$.

Valore atteso, potenza e varianza

Le somme del caso discreto diventano integrali (Probabilità per le telecomunicazioni - eventi e variabili aleatorie discreteGli eventi hanno probabilità tra 0 e 1 e P(x∪y) = P(x) + P(y) − P(x∩y). Una variabile aleatoria discreta ha un alfabeto A_x e una densità p_x(a) = P(x = a) con somma 1. Si definiscono probabilità condizionata, indipendenza (p_{x,y}(a,b) = p_x(a)p_y(b)), valore atteso E(x) = m_x, potenza M_x = E(x²), varianza σ_x² con M_x = m_x² + σ_x²; l'aspettazione è lineare e per variabili indipendenti E(xy) = E(x)E(y).Probabilità per le telecomunicazioni - eventi e variabili aleatorie discrete →): $$m_x=E(x)=\int_{-\infty}^{+\infty}a\,f_x(a)\,da,\qquad M_x=E(x^2)=\int_{-\infty}^{+\infty}a^2f_x(a)\,da,$$ $$\sigma_x^2=E\big[(x-m_x)^2\big]=\int_{-\infty}^{+\infty}(a-m_x)^2f_x(a)\,da=M_x-m_x^2.$$ Valgono la linearità e la relazione $M_x=m_x^2+\sigma_x^2$ già viste. Più in generale $E(g(x))=\int g(a)f_x(a)\,da$.

Variabile uniforme

La v.a. uniforme $\mathcal U([a_1,a_2])$ ha densità costante nell'intervallo e nulla fuori; per avere area $1$ l'altezza è $\frac1{a_2-a_1}$. La media è il punto medio $\frac{a_1+a_2}2$. Per la varianza basta considerare un intervallo centrato in $0$ di larghezza $w$ (spostare l'intervallo cambia la media, non la varianza): $$\sigma^2=\int_{-w/2}^{w/2}\frac{a^2}{w}\,da=\frac1w\cdot\frac{2}{3}\Big(\frac w2\Big)^3=\frac{w^2}{12}.$$ Quindi per $\mathcal U([a_1,a_2])$ la varianza è $\frac{(a_2-a_1)^2}{12}$. Il caso $w=\Delta$ è l'errore di quantizzazione (Quantizzazione uniforme - saturazione, errore granulare e SNR di quantizzazioneUn quantizzatore uniforme a L = 2^b livelli e range [−v_sat, v_sat] ha passo Δ = 2v_sat/L. L'errore e = x − x^(q) è di saturazione fuori range (illimitato, da rendere raro con P_sat piccola) e granulare dentro (|e| ≤ Δ/2, uniforme con potenza Δ²/12). L'SNR di quantizzazione Λ_q = E[x²]/E[e²] vale in decibel 20log₁₀(σ_x/v_sat) + 4,77 + 6,02·b: ogni bit in più dà 6 dB. Per b minimo che garantisce una specifica: ⌈(specifica − c)/6,02⌉ con c = 20log₁₀(σ_x/v_sat) + 4,77.Quantizzazione uniforme - saturazione, errore granulare e SNR di quantizzazione →): la sua potenza vale $\frac{\Delta^2}{12}$.

Esempio. $x\sim\mathcal U([-4,4])$: densità $\frac18$. $P(x\in[3,4]\cup[-4,-3])$ è l'area di due rettangoli di base $1$ e altezza $\frac18$ (intervalli disgiunti: le aree si sommano): $\frac18+\frac18=\frac14=0{,}25$.

Variabile esponenziale unilatera

La v.a. esponenziale di media $m$ prende solo valori positivi, con densità $$f_x(a)=\frac1m\,e^{-a/m}\,\mathbb 1(a)=\begin{cases}0&a<0\\ \frac1me^{-a/m}&a\ge0,\end{cases}$$ dove $\mathbb 1(a)$ è il gradino. Alla lavagna è scritta nella forma $e^{-(a-A)/B}\,\mathbb 1(a)$ con due costanti da trovare: la normalizzazione $\int_0^{\infty}e^{-(a-A)/B}da=Be^{A/B}=1$ e la media $B=m$ danno $B=m$ e $e^{A/B}=\frac1m$, cioè la formula sopra. I momenti si trovano per parti: $E(x)=m$, $E(x^2)=2m^2$, $\sigma_x^2=m^2$. La coda è semplice: $$P(x>a)=\int_a^{+\infty}\frac1me^{-u/m}du=e^{-a/m}\qquad(a\ge0).$$

Esempio. $x$ esponenziale di media $m=2$: $P(x\in[3,4])=e^{-3/2}-e^{-4/2}=0{,}2231-0{,}1353=0{,}0878$. L'intervallo $[-4,-3]$ ha probabilità $0$, perché $x$ non è mai negativa.

Variabile gaussiana e funzione $Q$

La v.a. gaussiana (o normale) $x\sim\mathcal N(m,\sigma^2)$ ha densità $$f_x(a)=\frac1{\sqrt{2\pi}\,\sigma}\,e^{-\frac12\left(\frac{a-m}{\sigma}\right)^2}.$$ È una campana simmetrica attorno alla media $m$; $\sigma$ è la deviazione standard, e i punti di flesso sono in $m\pm\sigma$. (Alla lavagna si scrive $\mathcal N(2,3)$ intendendo media $2$ e deviazione standard $3$; qui si scrive $\mathcal N(2,3^2)$ per tenere la varianza al quadrato.) La gaussiana standard ha $m=0$, $\sigma=1$.

L'integrale della gaussiana non si esprime con funzioni elementari, quindi si definisce una funzione tabulata. La funzione $Q$ è la coda destra della gaussiana standard: $$Q(A)=P(x>A)\quad\text{con }x\sim\mathcal N(0,1),\qquad F_x(A)=P(x\le A)=1-Q(A).$$ È la funzione di distribuzione complementare della gaussiana standard.

Proprietà che servono sempre:

• $Q(0)=\frac12$, e per la simmetria $Q(-A)=1-Q(A)$;
• $P(x\in[A,B])=F_x(B)-F_x(A)=(1-Q(B))-(1-Q(A))=Q(A)-Q(B)$ per $A<B$: la probabilità di un intervallo è la differenza delle code;
• $Q$ è decrescente: valori utili $Q(1)=0{,}1587$, $Q(2)=0{,}02275$, $Q(3)=1{,}35\cdot10^{-3}$, $Q(4)=3{,}17\cdot10^{-5}$, $Q(5)=2{,}87\cdot10^{-7}$, $Q(6)=9{,}9\cdot10^{-10}$. Perciò $P(|x-m|>k\sigma)=2Q(k)$ vale $0{,}317$, $0{,}0455$, $0{,}0027$ per $k=1,2,3$: il $99{,}7\%$ della gaussiana sta entro $\pm3\sigma$.
• L'inversa $Q^{-1}$ dà il valore di $A$ per una probabilità assegnata, per esempio $Q^{-1}(5\cdot10^{-4})=3{,}29$ (serve per fissare la saturazione di un quantizzatore). Si calcola con una calcolatrice scientifica o con $Q(A)=\tfrac12\operatorname{erfc}\big(A/\sqrt2\big)$.

Gaussiana non standard. Per $x\sim\mathcal N(m,\sigma^2)$ si cambia variabile $b=\frac{a-m}{\sigma}$, cioè $a=\sigma b+m$ e $da=\sigma\,db$: $$P(x\ge A)=\int_A^{+\infty}\frac1{\sqrt{2\pi}\,\sigma}e^{-\frac12\left(\frac{a-m}\sigma\right)^2}da=\int_{\frac{A-m}\sigma}^{+\infty}\frac{\sigma}{\sqrt{2\pi}\,\sigma}\,e^{-\frac{b^2}2}db=Q\Big(\frac{A-m}{\sigma}\Big).$$ Il fattore $\sigma$ del differenziale cancella quello a denominatore. In parole: si standardizza, cioè si sottrae la media e si divide per $\sigma$, e poi si usa $Q$. Per un intervallo, $P(A\le x\le B)=Q\big(\frac{A-m}\sigma\big)-Q\big(\frac{B-m}\sigma\big)$.

Esempio completo. Calcolare $P\big(x\in[3,4]\cup x\in[-4,-3]\big)$ con $x\sim\mathcal N(2,3^2)$. I due intervalli sono disgiunti, quindi si sommano le probabilità, ciascuna con la formula dell'intervallo ($m=2$, $\sigma=3$): $$P(x\in[3,4])=Q\Big(\frac{3-2}{3}\Big)-Q\Big(\frac{4-2}{3}\Big)=Q(0{,}333)-Q(0{,}667)=0{,}3694-0{,}2525=0{,}1169,$$ $$P(x\in[-4,-3])=Q\Big(\frac{-4-2}{3}\Big)-Q\Big(\frac{-3-2}{3}\Big)=Q(-2)-Q(-1{,}667)=0{,}9772-0{,}9522=0{,}0250.$$ Totale $0{,}1169+0{,}0250=0{,}1420$. Con la stessa richiesta sulle altre due variabili (uniforme $\mathcal U([-4,4])$ di sopra: $0{,}25$; esponenziale di media $2$: $0{,}0878$) si vede che la probabilità dipende molto dalla forma della densità. (Tutti i conti sono stati ricontrollati con Python.)

Combinazioni lineari di gaussiane

Una combinazione lineare di v.a. congiuntamente gaussiane è ancora gaussiana. In particolare, se $x\sim\mathcal N(m,\sigma^2)$ e $\alpha,\beta$ sono costanti, $\alpha x+\beta\sim\mathcal N\big(\alpha m+\beta,\ \alpha^2\sigma^2\big)$: la media si trasforma come $x$, la varianza si moltiplica per $\alpha^2$ (la costante additiva $\beta$ non la cambia).

Se $x$ e $y$ sono gaussiane indipendenti con medie $m_x,m_y$ e varianze $\sigma_x^2,\sigma_y^2$, la somma $z=x+y$ è gaussiana con $$z\sim\mathcal N\big(m_x+m_y,\ \sigma_x^2+\sigma_y^2\big).$$ Le medie si sommano per la linearità; le varianze si sommano perché l'incorrelazione fa sparire il termine misto (Probabilità per le telecomunicazioni - eventi e variabili aleatorie discreteGli eventi hanno probabilità tra 0 e 1 e P(x∪y) = P(x) + P(y) − P(x∩y). Una variabile aleatoria discreta ha un alfabeto A_x e una densità p_x(a) = P(x = a) con somma 1. Si definiscono probabilità condizionata, indipendenza (p_{x,y}(a,b) = p_x(a)p_y(b)), valore atteso E(x) = m_x, potenza M_x = E(x²), varianza σ_x² con M_x = m_x² + σ_x²; l'aspettazione è lineare e per variabili indipendenti E(xy) = E(x)E(y).Probabilità per le telecomunicazioni - eventi e variabili aleatorie discrete →). Il fatto che la forma gaussiana si conservi è un caso particolare del calcolo della densità della somma di due v.a. indipendenti, che è la convoluzione $$f_z(c)=\int_{-\infty}^{+\infty}f_x(a)\,f_y(c-a)\,da\qquad\text{([[Somma di variabili aleatorie indipendenti]])}.$$ Con due uniformi $\mathcal U([0,1])$ la convoluzione di due rettangoli dà un triangolo su $[0,2]$ con picco $1$ in $c=1$.

Indipendenza e incorrelazione. In generale indipendenti $\Rightarrow$ incorrelate. Per due v.a. congiuntamente gaussiane vale anche l'inverso: se $E(xy)=E(x)E(y)$ allora sono indipendenti, cioè $f_{x,y}(a,b)=f_x(a)f_y(b)$. È la proprietà che permette di trattare le componenti del rumore (che sono incorrelate) come indipendenti (Vettori gaussianiX = (X₁, ..., Xₙ) è un vettore gaussiano N(m, Σ) se ogni combinazione lineare a·X è gaussiana (equivalentemente X = m + AZ con Z gaussiane standard indipendenti); se Σ è invertibile ha densità exp(−½(x−m)ᵀΣ⁻¹(x−m)) / √((2π)ⁿ det Σ). Proprietà chiave: AX + b ~ N(Am + b, AΣAᵀ), le marginali sono gaussiane e componenti non correlate sono indipendenti.Vettori gaussiani →).

Teorema del limite centrale

Perché la gaussiana compare dappertutto? Perché la somma di tante piccole componenti indipendenti è quasi gaussiana, qualunque sia la loro densità.

Teorema del limite centrale. Siano $y_1,\dots,y_N$ v.a. indipendenti con la stessa densità, media $m=E(y_i)$ e varianza $\sigma^2=E\big[(y_i-m)^2\big]$. Allora, al crescere di $N$, $$\frac1{\sqrt N}\sum_{i=1}^{N}\big(y_i-m\big)\ \longrightarrow\ \mathcal N(0,\sigma^2).$$

(Alla lavagna è scritto in forma abbreviata con le $y_i$ a media nulla, $\frac1{\sqrt N}\sum y_i\to\mathcal N(0,\sigma^2)$; con media diversa da zero si sottrae $m$ come sopra. Per dimostrazione e approssimazione normale, Teorema del limite centrale e approssimazione normaleSe X₁, X₂, ... sono i.i.d. con media μ e varianza σ² ∈ (0, ∞), la somma standardizzata (Sₙ − nμ)/(σ√n) converge in distribuzione a N(0, 1): per n grande P(Sₙ ≤ x) ≈ Φ((x − nμ)/(σ√n)). Caso binomiale (De Moivre-Laplace): Bin(n, p) ≈ N(np, np(1 − p)), con correzione di continuità ±0,5. Si dimostra con le funzioni caratteristiche e il teorema di Lévy.Teorema del limite centrale e approssimazione normale →.) È il motivo per cui il rumore termico, somma di moltissimi contributi microscopici, si modella come gaussiano.

Esercizi svolti

• Esercizio - bit con rumore gaussiano, decisione a soglia e probabilità totali (esercizi del corso, cap. 2, es. 5, 6 e 11): uso di $Q$ con un ingresso binario.
• Esercizio - combinazioni lineari di variabili gaussiane (esercizi del corso, cap. 2, es. 8 e 10): media e varianza di combinazioni di gaussiane.
• Esercizio - esponenziale più variabile discreta e probabilità condizionate (esercizi del corso, cap. 2, es. 9).

Domande d'esame

1. Definire funzione di distribuzione e densità di una v.a. continua. Perché $P(x=A)=0$? $F_x(a)=P(x\le a)$, $f_x=dF_x/da$; $P(x=A)=\int_A^Af_x=0$ perché l'area di un segmento è nulla.
2. Come si calcola $P(x\ge A)$ per $x\sim\mathcal N(m,\sigma^2)$? Cambio di variabile $b=(a-m)/\sigma$: $P(x\ge A)=Q\big(\frac{A-m}{\sigma}\big)$; per un intervallo $Q(\cdot)-Q(\cdot)$ con gli estremi standardizzati.
3. Enunciare il teorema del limite centrale e dire cosa implica per il rumore. Somma normalizzata di tante v.a. indipendenti e con la stessa densità tende a una gaussiana; il rumore, somma di molti contributi, è gaussiano.