Processi aleatori - definizioni, media e autocorrelazione
In questa pagina 7
Per questi argomenti le dispense non erano disponibili: la nota segue l'elenco degli argomenti delle lezioni e la teoria standard; la probabilità di base è nelle note di Variabili aleatorie assolutamente continueX è assolutamente continua se F_X(x) = ∫ da −∞ a x di f_X(t) dt per una densità f_X ≥ 0 con integrale 1; allora P(a < X ≤ b) = ∫ da a a b di f_X, P(X = x) = 0 per ogni x, f_X = F_X' dove F_X è derivabile, E[g(X)] = ∫ g(x) f_X(x) dx, e varianza, momenti e disuguaglianze funzionano come nel caso discreto con gli integrali al posto delle somme.Variabili aleatorie assolutamente continue →, Vettori aleatori assolutamente continuiUn vettore (X, Y) è assolutamente continuo se P((X, Y) ∈ A) = ∬_A f(x, y) dx dy per una densità congiunta f ≥ 0 con integrale 1; le marginali si ottengono integrando sull'altra variabile (f_X(x) = ∫ f(x, y) dy), X e Y sono indipendenti se f(x, y) = f_X(x) f_Y(y), e E[g(X, Y)] = ∬ g f. Il punto delicato degli esercizi è descrivere bene la regione dove f > 0.Vettori aleatori assolutamente continui →, Valore attesoIl valore atteso E[X] = Σ x p_X(x) è la media dei valori di X pesata con le loro probabilità (esiste se la serie converge assolutamente); per una funzione g vale E[g(X)] = Σ g(x) p_X(x) senza trovare la legge di g(X), ed E è lineare: E[aX + bY + c] = aE[X] + bE[Y] + c.Valore atteso →, Varianza e momentiI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti →, Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione →. Vedi anche la nota di un'altra materia Processi aleatori stazionari e densità spettrale di potenzaUn processo aleatorio è un segnale i cui valori a ogni istante sono variabili aleatorie. Se è stazionario in senso lato (WSS) la media è costante e l'autocorrelazione $r_x(\tau)$ dipende solo dalla differenza dei tempi; la sua trasformata è la densità spettrale di potenza $\mathcal P_x(f)$, il cui integrale è la potenza statistica $r_x(0)$. Un filtro LTI dà $m_y=m_xH(0)$ e $\mathcal P_y=\mathcal P_x\lvert H\rvert^2$; se l'ingresso è gaussiano anche l'uscita lo è. Il rumore bianco ha $\mathcal P(f)=\frac{N_0}2$.Processi aleatori stazionari e densità spettrale di potenza → (convenzioni leggermente diverse).
Che cos'è un processo aleatorio
I segnali dei sistemi di telecomunicazioni (messaggi, rumore) non sono noti in anticipo: si modellano come segnali casuali.
Definizione (processo aleatorio). Un processo aleatorio , (con o ), è una famiglia di variabili aleatorie definite sullo stesso spazio di probabilità: a ogni istante corrisponde una variabile aleatoria. Equivalentemente è un esperimento aleatorio il cui esito è un segnale.
Per ogni esito dello spazio di probabilità si ha un segnale determinato , detto realizzazione (o traiettoria) del processo. Si possono quindi leggere tre oggetti:
- fissato , è una variabile aleatoria;
- fissati , è un vettore aleatorio (Vettori aleatori discretiUn vettore aleatorio discreto (X, Y) è descritto dalla densità congiunta p(x, y) = P(X = x, Y = y); le marginali si ottengono sommando sull'altra variabile, X e Y sono indipendenti se p(x, y) = p_X(x) p_Y(y) per ogni coppia, e E[g(X, Y)] = Σ g(x, y) p(x, y).Vettori aleatori discreti →, Vettori aleatori assolutamente continuiUn vettore (X, Y) è assolutamente continuo se P((X, Y) ∈ A) = ∬_A f(x, y) dx dy per una densità congiunta f ≥ 0 con integrale 1; le marginali si ottengono integrando sull'altra variabile (f_X(x) = ∫ f(x, y) dy), X e Y sono indipendenti se f(x, y) = f_X(x) f_Y(y), e E[g(X, Y)] = ∬ g f. Il punto delicato degli esercizi è descrivere bene la regione dove f > 0.Vettori aleatori assolutamente continui →);
- fissato l'esito, è una realizzazione, un segnale ordinario.
Esempio (laboratorio). con e indipendenti: ogni coppia estratta dà una sinusoide; è una variabile aleatoria, e a ogni estrazione corrisponde una realizzazione (Esercizio - processi aleatori, media d'insieme, correlazione e potenza temporale in Python (laboratorio 6)).
Descrizioni statistiche
Definizione (descrizione statistica completa). La descrizione completa di è l'insieme delle funzioni di distribuzione (o densità, o funzioni di probabilità) congiunte di ogni ordine e per ogni scelta di istanti : Per processi a valori discreti si usa la funzione probabilità .
In pratica due livelli sono i più importanti:
- descrizione del primo ordine: la densità della singola variabile aleatoria (o se discreta);
- descrizione del secondo ordine: la densità congiunta delle due variabili .
Il secondo ordine contiene il primo (marginalizzando). La completa contiene tutto; dà come conseguenza anche le descrizioni di potenza (sotto). Non è vero il contrario: conoscere tutti i primi ordini non dice nulla sulla dipendenza tra istanti diversi.
Esempio 1 (simboli binari). Il processo , , ha valori indipendenti in ogni istante, con . Il primo ordine è per ; il secondo ordine, per , è per ogni coppia , mentre per si ha se e altrimenti.
Esempio 2 (sinusoide con ampiezza casuale). con : per ogni con , è uniforme in con (densità in quell'intervallo): il primo ordine dipende da . In con si ha con certezza.
Calcolo di probabilità relative a un processo
Ogni probabilità riguardante un numero finito di istanti si calcola dalla densità congiunta dei corrispondenti valori, come per qualsiasi vettore aleatorio (Vettori aleatori assolutamente continuiUn vettore (X, Y) è assolutamente continuo se P((X, Y) ∈ A) = ∬_A f(x, y) dx dy per una densità congiunta f ≥ 0 con integrale 1; le marginali si ottengono integrando sull'altra variabile (f_X(x) = ∫ f(x, y) dy), X e Y sono indipendenti se f(x, y) = f_X(x) f_Y(y), e E[g(X, Y)] = ∬ g f. Il punto delicato degli esercizi è descrivere bene la regione dove f > 0.Vettori aleatori assolutamente continui →, Funzioni di una variabile aleatoriaPer trovare la legge di Y = g(X) si calcola la FdD: F_Y(y) = P(g(X) ≤ y) = P(X ∈ g⁻¹((−∞, y])), poi si deriva; se g è strettamente monotona e derivabile vale la formula f_Y(y) = f_X(g⁻¹(y)) · |(g⁻¹)'(y)|; se g è costante a tratti Y è discreta; se g non è iniettiva (es. X²) si spezza l'evento.Funzioni di una variabile aleatoria →):
Per eventi come si definisce il dominio . Se i valori sono indipendenti la densità congiunta è il prodotto delle marginali. Non si possono calcolare con questi mezzi eventi su un'infinità di istanti ("il processo è sempre positivo"): servono tecniche più avanzate.
Esempio. Nel processo a simboli binari indipendenti, per è (le quattro coppie sono equiprobabili e due su quattro hanno valori opposti).
Specificazione di un processo
Descrivere un processo con tutte le densità è impossibile in generale. Ci sono varie strade per specificare il processo, cioè per ottenere in modo compatto la sua descrizione completa.
- Specificazione diretta. Si assegnano esplicitamente le densità (o le funzioni probabilità) di ogni ordine, per ogni scelta degli istanti, con una formula. Possibile solo per processi molto semplici (esempio più sotto).
- Specificazione assiomatica. Invece di elencare le densità si assegnano proprietà strutturali (assiomi) più l'informazione minima che manca, e la descrizione completa si ricava per calcolo. Esempio tipico: i processi a simboli indipendenti, descritti qui sotto al punto 3 (altro esempio più sotto).
- Processi a simboli indipendenti. I valori a istanti diversi sono variabili aleatorie indipendenti. La descrizione completa segue dal solo primo ordine: Se anche il primo ordine non dipende dal tempo () il processo è a campioni indipendenti e identicamente distribuiti (i.i.d.).
- Specificazione parametrica. Il processo è una funzione deterministica del tempo che contiene parametri casuali: . La descrizione statistica si ricava da quella dei parametri. Esempio: con casuali (un numero finito di variabili aleatorie genera un'infinità di variabili ).
- Specificazione indiretta. Il processo si ottiene da un altro processo noto mediante una trasformazione: (instantanea, lineare, filtro, finestra, campionatore, interpolatore, ...). Esempio: con a simboli binari indipendenti: vale o con probabilità e i valori sono ancora indipendenti. Le trasformazioni di processi sono lo scopo di Processi aleatori attraverso sistemi LTIUna trasformazione applicata a ogni realizzazione dà un nuovo processo, ma dalla descrizione statistica di x non sempre si ricava quella di y (controesempi); si può se ogni vettore di y dipende da un vettore finito di x. Per una tf lineare m_y e r_y si calcolano col nucleo; un filtro LTI conserva la stazionarietà in senso lato: m_y = G(0) m_x, R_y = |G|² R_x. Il campionamento di un processo sl dà un processo sl con PSD ripetuta periodicamente. L'interpolazione LTI di un processo discreto sl è ciclostazionaria. Teorema del campionamento per processi: R_x nulla fuori da (-B,B) e Fc ≥ 2B danno ricostruzione esatta in media quadratica; altrimenti la potenza dell'errore è in banda + fuori banda.Processi aleatori attraverso sistemi LTI →.
Nota. L'elenco e il nome delle categorie seguono l'indice della lezione; i confini tra "diretta" e "assiomatica" nelle dispense potrebbero essere tracciati in modo leggermente diverso.
Esempio di specificazione diretta. Il processo per ogni , con equiprobabile (ogni realizzazione è una costante, oppure ). Per ogni e ogni scelta degli istanti la funzione probabilità è Il primo ordine è , uguale a quello dei simboli binari indipendenti dell'Esempio 1 sopra, ma il secondo ordine è per e per (invece di per ogni coppia): invece di . È un altro modo di vedere che il primo ordine non determina il processo.
Esempio di specificazione assiomatica. Si impone che i valori siano indipendenti e che ciascuno valga con probabilità e con probabilità (processo di Bernoulli a valori ). Da questi due dati segue la probabilità di una qualunque sequenza: (una simulazione con prove dà ) e . Anche la descrizione di potenza si calcola: , , varianza , per (tutti confermati dalla simulazione). Un altro assioma è "ogni vettore di campioni è gaussiano": da esso, con media e covarianza, si ricava tutto (processi gaussiani, più sotto).
Descrizione statistica di potenza
Spesso si usa una descrizione più povera, ma molto più maneggevole, basata sui soli momenti del primo e del secondo ordine (Valore attesoIl valore atteso E[X] = Σ x p_X(x) è la media dei valori di X pesata con le loro probabilità (esiste se la serie converge assolutamente); per una funzione g vale E[g(X)] = Σ g(x) p_X(x) senza trovare la legge di g(X), ed E è lineare: E[aX + bY + c] = aE[X] + bE[Y] + c.Valore atteso →, Varianza e momentiI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti →, Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione →).
Definizione (descrizione di potenza). Per un processo , con il valore atteso:
- media ;
- correlazione (autocorrelazione) ;
- potenza statistica ;
- varianza ;
- covarianza .
Attenzione: nel corso la funzione che si chiama correlazione è (non la covarianza): sono uguali solo se . Proprietà:
- (simmetria hermitiana; per processi reali è simmetrica);
- (disuguaglianza di Cauchy-Schwarz);
- è semidefinita positiva: per ogni e complessi, ;
- la media e la correlazione di una combinazione lineare seguono dalla linearità: , .
Per un processo su a simboli indipendenti con media e varianza la correlazione è per e .
Esempio (i tre processi del laboratorio, fissata). Con (, ) e indipendenti, usando e :
| processo | |||
|---|---|---|---|
Verifica Monte Carlo ( estrazioni, , , ): per il primo (teorico ), per il secondo (), per il terzo (); la potenza del primo in è (teorico ). Si vede che la potenza statistica del primo dipende dal tempo, quella degli altri due no: è un anticipo delle definizioni di stazionarietà (Processi stazionari e densità spettrale di potenzaUn processo è stazionario in media, in potenza, nel primo ordine o in correlazione se la rispettiva grandezza non cambia traslando il tempo; stazionario in senso lato (sl) = media costante e r_x(t,s) = r_x(t-s); in senso stretto (ss) = tutte le densità invarianti. La densità spettrale di potenza R_x(f) = F[r_x(τ)] è non negativa e ha integrale = potenza statistica. Rumore bianco: R costante. Ciclostazionario: statistiche periodiche. Ergodico in media: la media temporale di una realizzazione converge a m_x.Processi stazionari e densità spettrale di potenza →).
Processi gaussiani
Definizione (processo gaussiano). è un processo gaussiano (reale) se per ogni e ogni scelta di istanti il vettore è un vettore gaussiano (Vettori gaussianiX = (X₁, ..., Xₙ) è un vettore gaussiano N(m, Σ) se ogni combinazione lineare a·X è gaussiana (equivalentemente X = m + AZ con Z gaussiane standard indipendenti); se Σ è invertibile ha densità exp(−½(x−m)ᵀΣ⁻¹(x−m)) / √((2π)ⁿ det Σ). Proprietà chiave: AX + b ~ N(Am + b, AΣAᵀ), le marginali sono gaussiane e componenti non correlate sono indipendenti.Vettori gaussiani →, Distribuzione gaussiana (normale)N(μ, σ²) ha densità e^(−(x−μ)²/(2σ²)) / √(2πσ²), a campana centrata in μ con larghezza σ; media μ, varianza σ²; si standardizza con Z = (X − μ)/σ ~ N(0, 1) e si calcola P(X ≤ x) = Φ((x − μ)/σ), con Φ(−z) = 1 − Φ(z); aX + b è ancora gaussiana, N(aμ + b, a²σ²).Distribuzione gaussiana (normale) →).
Un vettore gaussiano è determinato da vettore delle medie e matrice di covarianza. Quindi:
Teorema (descrizione completa di un processo gaussiano). La descrizione statistica completa di un processo gaussiano è data dalla sola descrizione di potenza: media e covarianza (basta la correlazione se la media è nulla). Il vettore dei campioni in ha media e matrice di covarianza .
Conseguenze: ogni combinazione lineare di campioni è gaussiana (con media e varianza dalla descrizione di potenza); campioni scorrelati sono indipendenti; una trasformazione lineare (derivata, filtro, interpolatore) di un processo gaussiano è un processo gaussiano (Processi aleatori attraverso sistemi LTIUna trasformazione applicata a ogni realizzazione dà un nuovo processo, ma dalla descrizione statistica di x non sempre si ricava quella di y (controesempi); si può se ogni vettore di y dipende da un vettore finito di x. Per una tf lineare m_y e r_y si calcolano col nucleo; un filtro LTI conserva la stazionarietà in senso lato: m_y = G(0) m_x, R_y = |G|² R_x. Il campionamento di un processo sl dà un processo sl con PSD ripetuta periodicamente. L'interpolazione LTI di un processo discreto sl è ciclostazionaria. Teorema del campionamento per processi: R_x nulla fuori da (-B,B) e Fc ≥ 2B danno ricostruzione esatta in media quadratica; altrimenti la potenza dell'errore è in banda + fuori banda.Processi aleatori attraverso sistemi LTI →).
Esempio di calcolo. Sia gaussiano a media nulla con . Allora (potenza e varianza ), , .
- , perché (Probabilità d'errore e funzione QPer due segnali di energie $E_1,E_2$ con coefficiente di correlazione $\rho=\frac{\langle s_1,s_2\rangle}{\sqrt{E_1E_2}}$ la distanza è $d_{12}=\sqrt{E_1+E_2-2\rho\sqrt{E_1E_2}}$ e, con rumore AWGN, simboli equiprobabili e criterio MD, $P[E]=Q\left(\frac{d_{12}}{2\sigma_I}\right)=Q\left(\sqrt{\frac{E_s(1-\rho)}{N_0}}\right)$ con $\sigma_I^2=\frac{N_0}2$ e $Q$ la coda della gaussiana. Il caso antipodale ($\rho=-1$) dà $Q\left(\sqrt{\frac{2E_s}{N_0}}\right)$, l'ortogonale ($\rho=0$) $Q\left(\sqrt{\frac{E_s}{N_0}}\right)$: 3 dB peggio. Con $M>2$ segnali si usano limiti: $\frac{N^*}M Q\left(\frac{d_{min}}{2\sigma_I}\right)\le P[E]\le(M-1)Q\left(\frac{d_{min}}{2\sigma_I}\right)$ (union bound); la probabilità dipende solo da $\frac{E_s}{N_0}$, cioè dall'SNR.Probabilità d'errore e funzione Q →).
- : la differenza è gaussiana a media nulla, e per la simmetria qualunque sia la varianza (diversa da zero).
- : la somma è gaussiana con media e varianza . Quindi (verificato numericamente).
- (di nuovo gaussiana a media nulla; qui la varianza è ).
Il metodo è sempre lo stesso: (i) scrivere l'evento come con combinazione lineare dei campioni; (ii) calcolare media e varianza di con le formule della descrizione di potenza; (iii) standardizzare.
Errori comuni
- Confondere correlazione con covarianza: coincidono solo a media nulla.
- Dedurre l'indipendenza da scorrelazione per processi non gaussiani: vale solo per gaussiani.
- Pensare che il primo ordine determini il processo: servono le dipendenze tra istanti.
- Dimenticare che e con non sono indipendenti (sono lo stesso valore): per processi a simboli indipendenti la formula del prodotto vale per istanti distinti.
Versione ripasso
- Processo , ( o ): famiglia di variabili aleatorie sullo stesso spazio di probabilità; fissato l'esito si ha una realizzazione (un segnale). Fissato è una v.a.; fissati è un vettore aleatorio.
- Descrizione completa: densità congiunte di ogni ordine, . Primo ordine , secondo ; il secondo contiene il primo, non viceversa.
- Probabilità: . Eventi su infiniti istanti (es. " sempre positivo") non si calcolano con queste densità.
- Specificazione: diretta (formule), assiomatica, a simboli indipendenti, parametrica , indiretta .
- Simboli indipendenti: per istanti distinti. Con primo ordine indipendente da sono i.i.d. Esempio: dà per .
- Descrizione di potenza: , , , , .
- Proprietà di : ; ; semidefinita positiva: .
- Combinazione lineare : , .
- Simboli indipendenti su : per ; .
- Gaussiano: ogni vettore di campioni è gaussiano; la descrizione completa è data da e ; campioni scorrelati sono indipendenti. Dal Valore attesoIl valore atteso E[X] = Σ x p_X(x) è la media dei valori di X pesata con le loro probabilità (esiste se la serie converge assolutamente); per una funzione g vale E[g(X)] = Σ g(x) p_X(x) senza trovare la legge di g(X), ed E è lineare: E[aX + bY + c] = aE[X] + bE[Y] + c.Valore atteso → e dalla varianza si ricavano media e varianza di ogni combinazione lineare dei campioni.
- Esempio (laboratorio): con e indipendenti: , , . Il solo ha e potenza , che dipende da .
- Esempio gaussiano: con si ha , , . La somma ha varianza , quindi (come descritto in Probabilità d'errore e funzione QPer due segnali di energie $E_1,E_2$ con coefficiente di correlazione $\rho=\frac{\langle s_1,s_2\rangle}{\sqrt{E_1E_2}}$ la distanza è $d_{12}=\sqrt{E_1+E_2-2\rho\sqrt{E_1E_2}}$ e, con rumore AWGN, simboli equiprobabili e criterio MD, $P[E]=Q\left(\frac{d_{12}}{2\sigma_I}\right)=Q\left(\sqrt{\frac{E_s(1-\rho)}{N_0}}\right)$ con $\sigma_I^2=\frac{N_0}2$ e $Q$ la coda della gaussiana. Il caso antipodale ($\rho=-1$) dà $Q\left(\sqrt{\frac{2E_s}{N_0}}\right)$, l'ortogonale ($\rho=0$) $Q\left(\sqrt{\frac{E_s}{N_0}}\right)$: 3 dB peggio. Con $M>2$ segnali si usano limiti: $\frac{N^*}M Q\left(\frac{d_{min}}{2\sigma_I}\right)\le P[E]\le(M-1)Q\left(\frac{d_{min}}{2\sigma_I}\right)$ (union bound); la probabilità dipende solo da $\frac{E_s}{N_0}$, cioè dall'SNR.Probabilità d'errore e funzione Q →).
- Metodo gaussiano: scrivere l'evento come con combinazione lineare dei campioni; calcolare media e varianza con le formule di potenza; standardizzare.
- Sinusoide con ampiezza casuale: con : per con , è uniforme in , quindi il primo ordine dipende da ; dove si ha con certezza.
- Specificazione indiretta: con a simboli binari indipendenti: vale o con probabilità , e i valori restano indipendenti.
- Verifica Monte Carlo ( estrazioni, , , ): per (teorico ), per (teorico ), per (teorico ); la potenza del primo in è (teorico ).
- Passi per una descrizione di potenza: (i) identificare la forma di e i parametri casuali; (ii) calcolare e con la linearità del valore atteso; (iii) controllare e .
- Gaussiano, descrizione completa: il vettore dei campioni in ha media e matrice di covarianza .
Errori tipici:
- Confondere la correlazione con la covarianza: coincidono solo a media nulla.
- Dedurre l'indipendenza dalla scorrelazione per processi non gaussiani: vale solo per i gaussiani.
- Pensare che il primo ordine determini il processo: servono le dipendenze tra istanti.
- Applicare la formula del prodotto a : vale solo per istanti distinti.
- Calcolare con le densità di ordine finito eventi su infiniti istanti, come " per ogni ".
Esercizi su questo argomento
- Esercizio - esponenziale di un processo a simboli binari indipendenti (prova scritta del 30 maggio 2025)
- Esercizio - processi aleatori, media d'insieme, correlazione e potenza temporale in Python (laboratorio 6)
- Esercizio - processi gaussiani con correlazione modulata e filtro passa-basso (prova scritta del 17 settembre 2025)
- Esercizio - processo a campioni indipendenti attraverso una finestra (prova scritta dell'11 luglio 2025)
- Esercizio - processo gaussiano campionato, interpolato ed elevato al quadrato (prova scritta del 6 febbraio 2026)
- Esercizio - rumore bianco gaussiano e filtro passa-basso in Python (laboratorio 6)
- Esercizio - variabili aleatorie, istogrammi e momenti in Python (laboratorio 6)