Salta al contenuto
Note per Studenti Processi aleatori - definizioni, media e autocorrelazione

Processi aleatori - definizioni, media e autocorrelazione

In questa pagina 7

Per questi argomenti le dispense non erano disponibili: la nota segue l'elenco degli argomenti delle lezioni e la teoria standard; la probabilità di base è nelle note di Variabili aleatorie assolutamente continueX è assolutamente continua se F_X(x) = ∫ da −∞ a x di f_X(t) dt per una densità f_X ≥ 0 con integrale 1; allora P(a < X ≤ b) = ∫ da a a b di f_X, P(X = x) = 0 per ogni x, f_X = F_X' dove F_X è derivabile, E[g(X)] = ∫ g(x) f_X(x) dx, e varianza, momenti e disuguaglianze funzionano come nel caso discreto con gli integrali al posto delle somme.Variabili aleatorie assolutamente continue →, Vettori aleatori assolutamente continuiUn vettore (X, Y) è assolutamente continuo se P((X, Y) ∈ A) = ∬_A f(x, y) dx dy per una densità congiunta f ≥ 0 con integrale 1; le marginali si ottengono integrando sull'altra variabile (f_X(x) = ∫ f(x, y) dy), X e Y sono indipendenti se f(x, y) = f_X(x) f_Y(y), e E[g(X, Y)] = ∬ g f. Il punto delicato degli esercizi è descrivere bene la regione dove f > 0.Vettori aleatori assolutamente continui →, Valore attesoIl valore atteso E[X] = Σ x p_X(x) è la media dei valori di X pesata con le loro probabilità (esiste se la serie converge assolutamente); per una funzione g vale E[g(X)] = Σ g(x) p_X(x) senza trovare la legge di g(X), ed E è lineare: E[aX + bY + c] = aE[X] + bE[Y] + c.Valore atteso →, Varianza e momentiI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti →, Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione →. Vedi anche la nota di un'altra materia Processi aleatori stazionari e densità spettrale di potenzaUn processo aleatorio è un segnale i cui valori a ogni istante sono variabili aleatorie. Se è stazionario in senso lato (WSS) la media è costante e l'autocorrelazione $r_x(\tau)$ dipende solo dalla differenza dei tempi; la sua trasformata è la densità spettrale di potenza $\mathcal P_x(f)$, il cui integrale è la potenza statistica $r_x(0)$. Un filtro LTI dà $m_y=m_xH(0)$ e $\mathcal P_y=\mathcal P_x\lvert H\rvert^2$; se l'ingresso è gaussiano anche l'uscita lo è. Il rumore bianco ha $\mathcal P(f)=\frac{N_0}2$.Processi aleatori stazionari e densità spettrale di potenza → (convenzioni leggermente diverse).

Che cos'è un processo aleatorio

I segnali dei sistemi di telecomunicazioni (messaggi, rumore) non sono noti in anticipo: si modellano come segnali casuali.

Definizione (processo aleatorio). Un processo aleatorio x(t)x(t), t∈It\in I (con I=RI=\mathbb R o I=Z(T)I=\mathbb Z(T)), è una famiglia di variabili aleatorie x(t)x(t) definite sullo stesso spazio di probabilità: a ogni istante tt corrisponde una variabile aleatoria. Equivalentemente è un esperimento aleatorio il cui esito è un segnale.

Per ogni esito ω\omega dello spazio di probabilità si ha un segnale determinato x(t;ω)x(t;\omega), detto realizzazione (o traiettoria) del processo. Si possono quindi leggere tre oggetti:

Esempio (laboratorio). x(t)=Acos⁡(2πf0t+φ)x(t)=A\cos(2\pi f_0t+\varphi) con A∼U[−1,1]A\sim U[-1,1] e φ∼U[0,2π)\varphi\sim U[0,2\pi) indipendenti: ogni coppia (A,φ)(A,\varphi) estratta dà una sinusoide; x(t1)x(t_1) è una variabile aleatoria, e a ogni estrazione corrisponde una realizzazione (Esercizio - processi aleatori, media d'insieme, correlazione e potenza temporale in Python (laboratorio 6)).

Descrizioni statistiche

Definizione (descrizione statistica completa). La descrizione completa di xx è l'insieme delle funzioni di distribuzione (o densità, o funzioni di probabilità) congiunte di ogni ordine NN e per ogni scelta di istanti t1,…,tNt_1,\dots,t_N: Fx(a1,…,aN;t1,…,tN)=P[x(t1)≤a1,…,x(tN)≤aN]  (equivalentemente fx(a1,…,aN;t1,…,tN)).F_x(a_1,\dots,a_N;t_1,\dots,t_N)=P\big[x(t_1)\le a_1,\dots,x(t_N)\le a_N\big]\ \ \text{(equivalentemente }f_x(a_1,\dots,a_N;t_1,\dots,t_N)\text{)}. Per processi a valori discreti si usa la funzione probabilità px(a1,…,aN;t1,…,tN)=P[x(t1)=a1,… ]p_x(a_1,\dots,a_N;t_1,\dots,t_N)=P[x(t_1)=a_1,\dots].

In pratica due livelli sono i più importanti:

  • descrizione del primo ordine: la densità fx(a;t)f_x(a;t) della singola variabile aleatoria x(t)x(t) (o px(a;t)p_x(a;t) se discreta);
  • descrizione del secondo ordine: la densità congiunta fx(a,b;t,s)f_x(a,b;t,s) delle due variabili x(t),x(s)x(t),x(s).

Il secondo ordine contiene il primo (marginalizzando). La completa contiene tutto; dà come conseguenza anche le descrizioni di potenza (sotto). Non è vero il contrario: conoscere tutti i primi ordini non dice nulla sulla dipendenza tra istanti diversi.

Esempio 1 (simboli binari). Il processo x(t)x(t), t∈Z(T)t\in\mathbb Z(T), ha valori indipendenti in ogni istante, con px(1;t)=px(−1;t)=12p_x(1;t)=p_x(-1;t)=\frac12. Il primo ordine è px(a;t)=12p_x(a;t)=\frac12 per a=±1a=\pm1; il secondo ordine, per t≠st\neq s, è px(a,b;t,s)=14p_x(a,b;t,s)=\frac14 per ogni coppia (a,b)∈{±1}2(a,b)\in\{\pm1\}^2, mentre per t=st=s si ha px(a,b;t,t)=12p_x(a,b;t,t)=\frac12 se a=b=±1a=b=\pm1 e 00 altrimenti.

Esempio 2 (sinusoide con ampiezza casuale). x(t)=Acos⁡2πf0tx(t)=A\cos2\pi f_0t con A∼U[−1,1]A\sim U[-1,1]: per ogni tt con cos⁡2πf0t≠0\cos2\pi f_0t\neq0, x(t)x(t) è uniforme in [−∣c∣,∣c∣][-\lvert c\rvert,\lvert c\rvert] con c=cos⁡2πf0tc=\cos2\pi f_0t (densità 12∣c∣\frac1{2\lvert c\rvert} in quell'intervallo): il primo ordine dipende da tt. In tt con c=0c=0 si ha x=0x=0 con certezza.

Calcolo di probabilità relative a un processo

Ogni probabilità riguardante un numero finito di istanti si calcola dalla densità congiunta dei corrispondenti valori, come per qualsiasi vettore aleatorio (Vettori aleatori assolutamente continuiUn vettore (X, Y) è assolutamente continuo se P((X, Y) ∈ A) = ∬_A f(x, y) dx dy per una densità congiunta f ≥ 0 con integrale 1; le marginali si ottengono integrando sull'altra variabile (f_X(x) = ∫ f(x, y) dy), X e Y sono indipendenti se f(x, y) = f_X(x) f_Y(y), e E[g(X, Y)] = ∬ g f. Il punto delicato degli esercizi è descrivere bene la regione dove f > 0.Vettori aleatori assolutamente continui →, Funzioni di una variabile aleatoriaPer trovare la legge di Y = g(X) si calcola la FdD: F_Y(y) = P(g(X) ≤ y) = P(X ∈ g⁻¹((−∞, y])), poi si deriva; se g è strettamente monotona e derivabile vale la formula f_Y(y) = f_X(g⁻¹(y)) · |(g⁻¹)'(y)|; se g è costante a tratti Y è discreta; se g non è iniettiva (es. X²) si spezza l'evento.Funzioni di una variabile aleatoria →):

P[x(t1)>a]=∫a∞fx(α;t1) dα,P[(x(t1),x(t2))∈D]=∬Dfx(α,β;t1,t2) dα dβ.P\big[x(t_1)>a\big]=\int_a^{\infty}f_x(\alpha;t_1)\,d\alpha,\qquad P\big[(x(t_1),x(t_2))\in\mathcal D\big]=\iint_{\mathcal D}f_x(\alpha,\beta;t_1,t_2)\,d\alpha\,d\beta.

Per eventi come {x(t1)>x(t2)}\{x(t_1)>x(t_2)\} si definisce il dominio D={α>β}\mathcal D=\{\alpha>\beta\}. Se i valori sono indipendenti la densità congiunta è il prodotto delle marginali. Non si possono calcolare con questi mezzi eventi su un'infinità di istanti ("il processo è sempre positivo"): servono tecniche più avanzate.

Esempio. Nel processo a simboli binari indipendenti, P[x(t1)+x(t2)=0]P[x(t_1)+x(t_2)=0] per t1≠t2t_1\neq t_2 è P[x(t1)≠x(t2)]=12P[x(t_1)\neq x(t_2)]=\frac12 (le quattro coppie sono equiprobabili e due su quattro hanno valori opposti).

Specificazione di un processo

Descrivere un processo con tutte le densità è impossibile in generale. Ci sono varie strade per specificare il processo, cioè per ottenere in modo compatto la sua descrizione completa.

  1. Specificazione diretta. Si assegnano esplicitamente le densità (o le funzioni probabilità) di ogni ordine, per ogni scelta degli istanti, con una formula. Possibile solo per processi molto semplici (esempio più sotto).
  2. Specificazione assiomatica. Invece di elencare le densità si assegnano proprietà strutturali (assiomi) più l'informazione minima che manca, e la descrizione completa si ricava per calcolo. Esempio tipico: i processi a simboli indipendenti, descritti qui sotto al punto 3 (altro esempio più sotto).
  3. Processi a simboli indipendenti. I valori x(t)x(t) a istanti diversi sono variabili aleatorie indipendenti. La descrizione completa segue dal solo primo ordine: fx(a1,…,aN;t1,…,tN)=∏i=1Nfx(ai;ti)(ti distinti).f_x(a_1,\dots,a_N;t_1,\dots,t_N)=\prod_{i=1}^Nf_x(a_i;t_i)\qquad(t_i\ \text{distinti}). Se anche il primo ordine non dipende dal tempo (fx(a;t)=fx(a)f_x(a;t)=f_x(a)) il processo è a campioni indipendenti e identicamente distribuiti (i.i.d.).
  4. Specificazione parametrica. Il processo è una funzione deterministica del tempo che contiene parametri casuali: x(t)=ϕ(t;Θ1,…,ΘK)x(t)=\phi(t;\Theta_1,\dots,\Theta_K). La descrizione statistica si ricava da quella dei parametri. Esempio: x(t)=Acos⁡(2πf0t+φ)x(t)=A\cos(2\pi f_0t+\varphi) con A,φA,\varphi casuali (un numero finito di variabili aleatorie genera un'infinità di variabili x(t)x(t)).
  5. Specificazione indiretta. Il processo si ottiene da un altro processo noto mediante una trasformazione: y=φ[x]y=\varphi[x] (instantanea, lineare, filtro, finestra, campionatore, interpolatore, ...). Esempio: y(t)=ex(t)y(t)=e^{x(t)} con xx a simboli binari indipendenti: y(t)y(t) vale ee o e−1e^{-1} con probabilità 12\frac12 e i valori sono ancora indipendenti. Le trasformazioni di processi sono lo scopo di Processi aleatori attraverso sistemi LTIUna trasformazione applicata a ogni realizzazione dà un nuovo processo, ma dalla descrizione statistica di x non sempre si ricava quella di y (controesempi); si può se ogni vettore di y dipende da un vettore finito di x. Per una tf lineare m_y e r_y si calcolano col nucleo; un filtro LTI conserva la stazionarietà in senso lato: m_y = G(0) m_x, R_y = |G|² R_x. Il campionamento di un processo sl dà un processo sl con PSD ripetuta periodicamente. L'interpolazione LTI di un processo discreto sl è ciclostazionaria. Teorema del campionamento per processi: R_x nulla fuori da (-B,B) e Fc ≥ 2B danno ricostruzione esatta in media quadratica; altrimenti la potenza dell'errore è in banda + fuori banda.Processi aleatori attraverso sistemi LTI →.

Nota. L'elenco e il nome delle categorie seguono l'indice della lezione; i confini tra "diretta" e "assiomatica" nelle dispense potrebbero essere tracciati in modo leggermente diverso.

Esempio di specificazione diretta. Il processo x(t)=Zx(t)=Z per ogni tt, con Z=±1Z=\pm1 equiprobabile (ogni realizzazione è una costante, +1+1 oppure −1-1). Per ogni NN e ogni scelta degli istanti la funzione probabilità è px(a1,…,aN;t1,…,tN)={12a1=⋯=aN=1 oppure a1=⋯=aN=−10altrimenti.p_x(a_1,\dots,a_N;t_1,\dots,t_N)=\begin{cases}\frac12&a_1=\dots=a_N=1\ \text{oppure}\ a_1=\dots=a_N=-1\\0&\text{altrimenti.}\end{cases} Il primo ordine è px(±1;t)=12p_x(\pm1;t)=\frac12, uguale a quello dei simboli binari indipendenti dell'Esempio 1 sopra, ma il secondo ordine è px(a,b;t,s)=12p_x(a,b;t,s)=\frac12 per a=ba=b e 00 per a≠ba\ne b (invece di 14\frac14 per ogni coppia): P[x(t)=x(s)]=1P[x(t)=x(s)]=1 invece di 12\frac12. È un altro modo di vedere che il primo ordine non determina il processo.

Esempio di specificazione assiomatica. Si impone che i valori x(nT)x(nT) siano indipendenti e che ciascuno valga +1+1 con probabilità p=0,3p=0{,}3 e −1-1 con probabilità 0,70{,}7 (processo di Bernoulli a valori ±1\pm1). Da questi due dati segue la probabilità di una qualunque sequenza: P[x(0)=1, x(T)=1, x(2T)=−1]=p⋅p⋅(1−p)=0,063P[x(0)=1,\,x(T)=1,\,x(2T)=-1]=p\cdot p\cdot(1-p)=0{,}063 (una simulazione con 2⋅1062\cdot10^6 prove dà 0,06310{,}0631) e P[x(0)=x(T)]=p2+(1−p)2=0,58P[x(0)=x(T)]=p^2+(1-p)^2=0{,}58. Anche la descrizione di potenza si calcola: mx=2p−1=−0,4m_x=2p-1=-0{,}4, Mx=1M_x=1, varianza 1−mx2=0,841-m_x^2=0{,}84, rx(t,s)=mx2=0,16r_x(t,s)=m_x^2=0{,}16 per t≠st\ne s (tutti confermati dalla simulazione). Un altro assioma è "ogni vettore di campioni è gaussiano": da esso, con media e covarianza, si ricava tutto (processi gaussiani, più sotto).

Descrizione statistica di potenza

Spesso si usa una descrizione più povera, ma molto più maneggevole, basata sui soli momenti del primo e del secondo ordine (Valore attesoIl valore atteso E[X] = Σ x p_X(x) è la media dei valori di X pesata con le loro probabilità (esiste se la serie converge assolutamente); per una funzione g vale E[g(X)] = Σ g(x) p_X(x) senza trovare la legge di g(X), ed E è lineare: E[aX + bY + c] = aE[X] + bE[Y] + c.Valore atteso →, Varianza e momentiI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti →, Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione →).

Definizione (descrizione di potenza). Per un processo x(t)x(t), con E[⋅]E[\cdot] il valore atteso:

  • media mx(t)=E[x(t)]m_x(t)=E[x(t)];
  • correlazione (autocorrelazione) rx(t,s)=E[x(t) x∗(s)]r_x(t,s)=E\big[x(t)\,x^*(s)\big];
  • potenza statistica Mx(t)=rx(t,t)=E[∣x(t)∣2]M_x(t)=r_x(t,t)=E\big[\lvert x(t)\rvert^2\big];
  • varianza σx2(t)=Mx(t)−∣mx(t)∣2\sigma_x^2(t)=M_x(t)-\lvert m_x(t)\rvert^2;
  • covarianza cx(t,s)=rx(t,s)−mx(t) mx∗(s)c_x(t,s)=r_x(t,s)-m_x(t)\,m_x^*(s).

Attenzione: nel corso la funzione che si chiama correlazione è E[x(t)x∗(s)]E[x(t)x^*(s)] (non la covarianza): sono uguali solo se mx=0m_x=0. Proprietà:

  • rx(s,t)=rx∗(t,s)r_x(s,t)=r_x^*(t,s) (simmetria hermitiana; per processi reali rxr_x è simmetrica);
  • ∣rx(t,s)∣2≤Mx(t) Mx(s)\lvert r_x(t,s)\rvert^2\le M_x(t)\,M_x(s) (disuguaglianza di Cauchy-Schwarz);
  • rxr_x è semidefinita positiva: per ogni t1,…,tNt_1,\dots,t_N e αi\alpha_i complessi, ∑i,jαiαj∗rx(ti,tj)=E∣∑αix(ti)∣2≥0\sum_{i,j}\alpha_i\alpha_j^*r_x(t_i,t_j)=E\big\lvert\sum\alpha_ix(t_i)\big\rvert^2\ge0;
  • la media e la correlazione di una combinazione lineare y=∑αix(ti)y=\sum\alpha_ix(t_i) seguono dalla linearità: E[y]=∑αimx(ti)E[y]=\sum\alpha_im_x(t_i), E∣y∣2=∑i,jαiαj∗rx(ti,tj)E\lvert y\rvert^2=\sum_{i,j}\alpha_i\alpha_j^*r_x(t_i,t_j).

Per un processo su Z(T)\mathbb Z(T) a simboli indipendenti con media mx(t)m_x(t) e varianza σx2(t)\sigma_x^2(t) la correlazione è rx(t,s)=mx(t)mx∗(s)r_x(t,s)=m_x(t)m_x^*(s) per t≠st\neq s e rx(t,t)=Mx(t)=σx2(t)+∣mx(t)∣2r_x(t,t)=M_x(t)=\sigma_x^2(t)+\lvert m_x(t)\rvert^2.

Esempio (i tre processi del laboratorio, f0f_0 fissata). Con A∼U[−1,1]A\sim U[-1,1] (E[A]=0E[A]=0, E[A2]=13E[A^2]=\frac13) e φ∼U[0,2π)\varphi\sim U[0,2\pi) indipendenti, usando E[cos⁡(α+φ)]=0E[\cos(\alpha+\varphi)]=0 e E[cos⁡(α+φ)cos⁡(β+φ)]=12cos⁡(α−β)E[\cos(\alpha+\varphi)\cos(\beta+\varphi)]=\frac12\cos(\alpha-\beta):

processo mx(t)m_x(t) rx(t,s)r_x(t,s) Mx(t)M_x(t)
Acos⁡2πf0tA\cos2\pi f_0t 00 13cos⁡2πf0tcos⁡2πf0s\frac13\cos2\pi f_0t\cos2\pi f_0s 13cos⁡2(2πf0t)\frac13\cos^2(2\pi f_0t)
cos⁡(2πf0t+φ)\cos(2\pi f_0t+\varphi) 00 12cos⁡2πf0(t−s)\frac12\cos2\pi f_0(t-s) 12\frac12
Acos⁡(2πf0t+φ)A\cos(2\pi f_0t+\varphi) 00 16cos⁡2πf0(t−s)\frac16\cos2\pi f_0(t-s) 16\frac16

Verifica Monte Carlo (4⋅1054\cdot10^5 estrazioni, f0=5f_0=5, t=0,021t=0{,}021, s=0,063s=0{,}063): rx(t,s)=−0,1046r_x(t,s)=-0{,}1046 per il primo (teorico −0,1046-0{,}1046), 0,1250{,}125 per il secondo (0,12430{,}1243), 0,04170{,}0417 per il terzo (0,04140{,}0414); la potenza del primo in tt è 0,2080{,}208 (teorico 0,20810{,}2081). Si vede che la potenza statistica del primo dipende dal tempo, quella degli altri due no: è un anticipo delle definizioni di stazionarietà (Processi stazionari e densità spettrale di potenzaUn processo è stazionario in media, in potenza, nel primo ordine o in correlazione se la rispettiva grandezza non cambia traslando il tempo; stazionario in senso lato (sl) = media costante e r_x(t,s) = r_x(t-s); in senso stretto (ss) = tutte le densità invarianti. La densità spettrale di potenza R_x(f) = F[r_x(τ)] è non negativa e ha integrale = potenza statistica. Rumore bianco: R costante. Ciclostazionario: statistiche periodiche. Ergodico in media: la media temporale di una realizzazione converge a m_x.Processi stazionari e densità spettrale di potenza →).

Processi gaussiani

Definizione (processo gaussiano). x(t)x(t) è un processo gaussiano (reale) se per ogni NN e ogni scelta di istanti t1,…,tNt_1,\dots,t_N il vettore (x(t1),…,x(tN))\big(x(t_1),\dots,x(t_N)\big) è un vettore gaussiano (Vettori gaussianiX = (X₁, ..., Xₙ) è un vettore gaussiano N(m, Σ) se ogni combinazione lineare a·X è gaussiana (equivalentemente X = m + AZ con Z gaussiane standard indipendenti); se Σ è invertibile ha densità exp(−½(x−m)ᵀΣ⁻¹(x−m)) / √((2π)ⁿ det Σ). Proprietà chiave: AX + b ~ N(Am + b, AΣAᵀ), le marginali sono gaussiane e componenti non correlate sono indipendenti.Vettori gaussiani →, Distribuzione gaussiana (normale)N(μ, σ²) ha densità e^(−(x−μ)²/(2σ²)) / √(2πσ²), a campana centrata in μ con larghezza σ; media μ, varianza σ²; si standardizza con Z = (X − μ)/σ ~ N(0, 1) e si calcola P(X ≤ x) = Φ((x − μ)/σ), con Φ(−z) = 1 − Φ(z); aX + b è ancora gaussiana, N(aμ + b, a²σ²).Distribuzione gaussiana (normale) →).

Un vettore gaussiano è determinato da vettore delle medie e matrice di covarianza. Quindi:

Teorema (descrizione completa di un processo gaussiano). La descrizione statistica completa di un processo gaussiano è data dalla sola descrizione di potenza: media mx(t)m_x(t) e covarianza cx(t,s)=rx(t,s)−mx(t)mx(s)c_x(t,s)=r_x(t,s)-m_x(t)m_x(s) (basta la correlazione se la media è nulla). Il vettore dei campioni in t1,…,tNt_1,\dots,t_N ha media (mx(ti))\big(m_x(t_i)\big) e matrice di covarianza [cx(ti,tj)]\big[c_x(t_i,t_j)\big].

Conseguenze: ogni combinazione lineare di campioni è gaussiana (con media e varianza dalla descrizione di potenza); campioni scorrelati sono indipendenti; una trasformazione lineare (derivata, filtro, interpolatore) di un processo gaussiano è un processo gaussiano (Processi aleatori attraverso sistemi LTIUna trasformazione applicata a ogni realizzazione dà un nuovo processo, ma dalla descrizione statistica di x non sempre si ricava quella di y (controesempi); si può se ogni vettore di y dipende da un vettore finito di x. Per una tf lineare m_y e r_y si calcolano col nucleo; un filtro LTI conserva la stazionarietà in senso lato: m_y = G(0) m_x, R_y = |G|² R_x. Il campionamento di un processo sl dà un processo sl con PSD ripetuta periodicamente. L'interpolazione LTI di un processo discreto sl è ciclostazionaria. Teorema del campionamento per processi: R_x nulla fuori da (-B,B) e Fc ≥ 2B danno ricostruzione esatta in media quadratica; altrimenti la potenza dell'errore è in banda + fuori banda.Processi aleatori attraverso sistemi LTI →).

Esempio di calcolo. Sia x(t)x(t) gaussiano a media nulla con rx(t,s)=sinc⁡2t−s2Tr_x(t,s)=\operatorname{sinc}^2\frac{t-s}{2T}. Allora rx(0)=1r_x(0)=1 (potenza e varianza 11), rx(T)=sinc⁡212=(2π)2=0,4053r_x(T)=\operatorname{sinc}^2\frac12=\left(\frac2\pi\right)^2=0{,}4053, rx(2T)=sinc⁡21=0r_x(2T)=\operatorname{sinc}^21=0.

  1. P[x(0)>1]=Q(1rx(0))=Q(1)=0,1587P[x(0)>1]=Q\left(\frac1{\sqrt{r_x(0)}}\right)=Q(1)=0{,}1587, perché x(0)∼N(0,1)x(0)\sim N(0,1) (Probabilità d'errore e funzione QPer due segnali di energie $E_1,E_2$ con coefficiente di correlazione $\rho=\frac{\langle s_1,s_2\rangle}{\sqrt{E_1E_2}}$ la distanza è $d_{12}=\sqrt{E_1+E_2-2\rho\sqrt{E_1E_2}}$ e, con rumore AWGN, simboli equiprobabili e criterio MD, $P[E]=Q\left(\frac{d_{12}}{2\sigma_I}\right)=Q\left(\sqrt{\frac{E_s(1-\rho)}{N_0}}\right)$ con $\sigma_I^2=\frac{N_0}2$ e $Q$ la coda della gaussiana. Il caso antipodale ($\rho=-1$) dà $Q\left(\sqrt{\frac{2E_s}{N_0}}\right)$, l'ortogonale ($\rho=0$) $Q\left(\sqrt{\frac{E_s}{N_0}}\right)$: 3 dB peggio. Con $M>2$ segnali si usano limiti: $\frac{N^*}M Q\left(\frac{d_{min}}{2\sigma_I}\right)\le P[E]\le(M-1)Q\left(\frac{d_{min}}{2\sigma_I}\right)$ (union bound); la probabilità dipende solo da $\frac{E_s}{N_0}$, cioè dall'SNR.Probabilità d'errore e funzione Q →).
  2. P[x(0)>x(T)]=P[x(0)−x(T)>0]=12P[x(0)>x(T)]=P[x(0)-x(T)>0]=\frac12: la differenza è gaussiana a media nulla, e per la simmetria P[w>0]=12P[w>0]=\frac12 qualunque sia la varianza (diversa da zero).
  3. P[x(0)+x(T)>1]P[x(0)+x(T)>1]: la somma w=x(0)+x(T)w=x(0)+x(T) è gaussiana con media 00 e varianza rx(0)+rx(0)+2rx(T)=2+0,8106=2,8106r_x(0)+r_x(0)+2r_x(T)=2+0{,}8106=2{,}8106. Quindi P[w>1]=Q(12,8106)=Q(0,5965)=0,2754P[w>1]=Q\left(\frac1{\sqrt{2{,}8106}}\right)=Q(0{,}5965)=0{,}2754 (verificato numericamente).
  4. P[x(0)+x(T)>x(2T)]=12P[x(0)+x(T)>x(2T)]=\frac12 (di nuovo gaussiana a media nulla; qui la varianza è 33).

Il metodo è sempre lo stesso: (i) scrivere l'evento come {w>c}\{w>c\} con ww combinazione lineare dei campioni; (ii) calcolare media e varianza di ww con le formule della descrizione di potenza; (iii) standardizzare.

Errori comuni

  • Confondere correlazione E[x(t)x∗(s)]E[x(t)x^*(s)] con covarianza: coincidono solo a media nulla.
  • Dedurre l'indipendenza da scorrelazione per processi non gaussiani: vale solo per gaussiani.
  • Pensare che il primo ordine determini il processo: servono le dipendenze tra istanti.
  • Dimenticare che x(t)x(t) e x(s)x(s) con t=st=s non sono indipendenti (sono lo stesso valore): per processi a simboli indipendenti la formula del prodotto vale per istanti distinti.

Versione ripasso

  • Processo x(t)x(t), t∈It\in I (I=RI=\mathbb R o I=Z(T)I=\mathbb Z(T)): famiglia di variabili aleatorie sullo stesso spazio di probabilità; fissato l'esito si ha una realizzazione (un segnale). Fissato tt è una v.a.; fissati t1,…,tNt_1,\dots,t_N è un vettore aleatorio.
  • Descrizione completa: densità congiunte di ogni ordine, Fx(a1,…,aN;t1,…,tN)=P[x(t1)≤a1,…,x(tN)≤aN]F_x(a_1,\dots,a_N;t_1,\dots,t_N)=P[x(t_1)\le a_1,\dots,x(t_N)\le a_N]. Primo ordine fx(a;t)f_x(a;t), secondo fx(a,b;t,s)f_x(a,b;t,s); il secondo contiene il primo, non viceversa.
  • Probabilità: P[x(t1)>a]=∫a∞fx(α;t1) dαP[x(t_1)>a]=\int_a^\infty f_x(\alpha;t_1)\,d\alpha. Eventi su infiniti istanti (es. "xx sempre positivo") non si calcolano con queste densità.
  • Specificazione: diretta (formule), assiomatica, a simboli indipendenti, parametrica x(t)=ϕ(t;Θ1,… )x(t)=\phi(t;\Theta_1,\dots), indiretta y=φ[x]y=\varphi[x].
  • Simboli indipendenti: fx(a1,…,aN;t1,…,tN)=∏ifx(ai;ti)f_x(a_1,\dots,a_N;t_1,\dots,t_N)=\prod_if_x(a_i;t_i) per istanti distinti. Con primo ordine indipendente da tt sono i.i.d. Esempio: px(±1;t)=12p_x(\pm1;t)=\frac12 dà P[x(t1)+x(t2)=0]=12P[x(t_1)+x(t_2)=0]=\frac12 per t1≠t2t_1\neq t_2.
  • Descrizione di potenza: mx(t)=E[x(t)]m_x(t)=E[x(t)], rx(t,s)=E[x(t)x∗(s)]r_x(t,s)=E[x(t)x^*(s)], Mx(t)=rx(t,t)=E∣x(t)∣2M_x(t)=r_x(t,t)=E\lvert x(t)\rvert^2, σx2=Mx−∣mx∣2\sigma_x^2=M_x-\lvert m_x\rvert^2, cx(t,s)=rx(t,s)−mx(t)mx∗(s)c_x(t,s)=r_x(t,s)-m_x(t)m_x^*(s).
  • Proprietà di rxr_x: rx(s,t)=rx∗(t,s)r_x(s,t)=r_x^*(t,s); ∣rx(t,s)∣2≤Mx(t)Mx(s)\lvert r_x(t,s)\rvert^2\le M_x(t)M_x(s); semidefinita positiva: ∑i,jαiαj∗rx(ti,tj)=E∣∑iαix(ti)∣2≥0\sum_{i,j}\alpha_i\alpha_j^*r_x(t_i,t_j)=E\big\lvert\sum_i\alpha_ix(t_i)\big\rvert^2\ge0.
  • Combinazione lineare y=∑iαix(ti)y=\sum_i\alpha_ix(t_i): E[y]=∑iαimx(ti)E[y]=\sum_i\alpha_im_x(t_i), E∣y∣2=∑i,jαiαj∗rx(ti,tj)E\lvert y\rvert^2=\sum_{i,j}\alpha_i\alpha_j^*r_x(t_i,t_j).
  • Simboli indipendenti su Z(T)\mathbb Z(T): rx(t,s)=mx(t)mx∗(s)r_x(t,s)=m_x(t)m_x^*(s) per t≠st\neq s; rx(t,t)=σx2(t)+∣mx(t)∣2r_x(t,t)=\sigma_x^2(t)+\lvert m_x(t)\rvert^2.
  • Gaussiano: ogni vettore di campioni è gaussiano; la descrizione completa è data da mxm_x e cxc_x; campioni scorrelati sono indipendenti. Dal Valore attesoIl valore atteso E[X] = Σ x p_X(x) è la media dei valori di X pesata con le loro probabilità (esiste se la serie converge assolutamente); per una funzione g vale E[g(X)] = Σ g(x) p_X(x) senza trovare la legge di g(X), ed E è lineare: E[aX + bY + c] = aE[X] + bE[Y] + c.Valore atteso → e dalla varianza si ricavano media e varianza di ogni combinazione lineare dei campioni.
  • Esempio (laboratorio): Acos⁡(2πf0t+φ)A\cos(2\pi f_0t+\varphi) con A∼U[−1,1]A\sim U[-1,1] e φ∼U[0,2π)\varphi\sim U[0,2\pi) indipendenti: mx=0m_x=0, rx(t,s)=16cos⁡2πf0(t−s)r_x(t,s)=\frac16\cos2\pi f_0(t-s), Mx=16M_x=\frac16. Il solo Acos⁡2πf0tA\cos2\pi f_0t ha rx=13cos⁡2πf0tcos⁡2πf0sr_x=\frac13\cos2\pi f_0t\cos2\pi f_0s e potenza 13cos⁡2(2πf0t)\frac13\cos^2(2\pi f_0t), che dipende da tt.
  • Esempio gaussiano: con rx=sinc⁡2t−s2Tr_x=\operatorname{sinc}^2\frac{t-s}{2T} si ha rx(0)=1r_x(0)=1, rx(T)=0,4053r_x(T)=0{,}4053, rx(2T)=0r_x(2T)=0. La somma w=x(0)+x(T)w=x(0)+x(T) ha varianza 2,81062{,}8106, quindi P[w>1]=Q(0,5965)=0,2754P[w>1]=Q(0{,}5965)=0{,}2754 (come descritto in Probabilità d'errore e funzione QPer due segnali di energie $E_1,E_2$ con coefficiente di correlazione $\rho=\frac{\langle s_1,s_2\rangle}{\sqrt{E_1E_2}}$ la distanza è $d_{12}=\sqrt{E_1+E_2-2\rho\sqrt{E_1E_2}}$ e, con rumore AWGN, simboli equiprobabili e criterio MD, $P[E]=Q\left(\frac{d_{12}}{2\sigma_I}\right)=Q\left(\sqrt{\frac{E_s(1-\rho)}{N_0}}\right)$ con $\sigma_I^2=\frac{N_0}2$ e $Q$ la coda della gaussiana. Il caso antipodale ($\rho=-1$) dà $Q\left(\sqrt{\frac{2E_s}{N_0}}\right)$, l'ortogonale ($\rho=0$) $Q\left(\sqrt{\frac{E_s}{N_0}}\right)$: 3 dB peggio. Con $M>2$ segnali si usano limiti: $\frac{N^*}M Q\left(\frac{d_{min}}{2\sigma_I}\right)\le P[E]\le(M-1)Q\left(\frac{d_{min}}{2\sigma_I}\right)$ (union bound); la probabilità dipende solo da $\frac{E_s}{N_0}$, cioè dall'SNR.Probabilità d'errore e funzione Q →).
  • Metodo gaussiano: scrivere l'evento come {w>c}\{w>c\} con ww combinazione lineare dei campioni; calcolare media e varianza con le formule di potenza; standardizzare.
  • Sinusoide con ampiezza casuale: x(t)=Acos⁡2πf0tx(t)=A\cos2\pi f_0t con A∼U[−1,1]A\sim U[-1,1]: per tt con c=cos⁡2πf0t≠0c=\cos2\pi f_0t\neq0, x(t)x(t) è uniforme in [−∣c∣,∣c∣][-\lvert c\rvert,\lvert c\rvert], quindi il primo ordine dipende da tt; dove c=0c=0 si ha x=0x=0 con certezza.
  • Specificazione indiretta: y(t)=ex(t)y(t)=e^{x(t)} con xx a simboli binari indipendenti: yy vale ee o e−1e^{-1} con probabilità 12\frac12, e i valori restano indipendenti.
  • Verifica Monte Carlo (4⋅1054\cdot10^5 estrazioni, f0=5f_0=5, t=0,021t=0{,}021, s=0,063s=0{,}063): rx(t,s)=−0,1046r_x(t,s)=-0{,}1046 per Acos⁡2πf0tA\cos2\pi f_0t (teorico −0,1046-0{,}1046), 0,1250{,}125 per cos⁡(2πf0t+φ)\cos(2\pi f_0t+\varphi) (teorico 0,12430{,}1243), 0,04170{,}0417 per Acos⁡(2πf0t+φ)A\cos(2\pi f_0t+\varphi) (teorico 0,04140{,}0414); la potenza del primo in tt è 0,2080{,}208 (teorico 0,20810{,}2081).
  • Passi per una descrizione di potenza: (i) identificare la forma di xx e i parametri casuali; (ii) calcolare mxm_x e rx(t,s)r_x(t,s) con la linearità del valore atteso; (iii) controllare Mx(t)=rx(t,t)≥0M_x(t)=r_x(t,t)\ge0 e ∣rx(t,s)∣2≤Mx(t)Mx(s)\lvert r_x(t,s)\rvert^2\le M_x(t)M_x(s).
  • Gaussiano, descrizione completa: il vettore dei campioni in t1,…,tNt_1,\dots,t_N ha media (mx(ti))\big(m_x(t_i)\big) e matrice di covarianza [cx(ti,tj)]\big[c_x(t_i,t_j)\big].

Errori tipici:

  • Confondere la correlazione E[x(t)x∗(s)]E[x(t)x^*(s)] con la covarianza: coincidono solo a media nulla.
  • Dedurre l'indipendenza dalla scorrelazione per processi non gaussiani: vale solo per i gaussiani.
  • Pensare che il primo ordine determini il processo: servono le dipendenze tra istanti.
  • Applicare la formula del prodotto a t=st=s: vale solo per istanti distinti.
  • Calcolare con le densità di ordine finito eventi su infiniti istanti, come "x(t)>0x(t)>0 per ogni tt".

Esercizi su questo argomento

Teoria collegata