Processi stazionari e densità spettrale di potenza

Si usano le definizioni di Processi aleatori - definizioni, media e autocorrelazioneUn processo aleatorio x(t), t in I (R o Z(T)), è una famiglia di variabili aleatorie sullo stesso spazio di probabilità; fissato l'esito si ottiene una realizzazione (un segnale). Si descrive con le densità di ordine N (complete), in particolare del primo e del secondo ordine, oppure solo con media m_x(t) e correlazione r_x(t,s) = E[x(t)x*(s)] (descrizione di potenza). Un processo gaussiano è determinato da media e correlazione.Processi aleatori - definizioni, media e autocorrelazione → e la trasformata di Fourier (Trasformata di FourierLa trasformata di Fourier $S(f)=\int s(t)e^{-i2\pi ft}dt$ associa a un segnale continuo (anche aperiodico) la sua rappresentazione in frequenza; l'antitrasformata $s(t)=\int S(f)e^{i2\pi ft}df$ lo ricostruisce, perché gli esponenziali $e^{i2\pi ft}$ sono ortogonali su tutto $\mathbb R$ ($\int e^{i2\pi ft}dt=\delta(f)$). Per un segnale reale $S(-f)=S^(f)$. Si calcola per i segnali notevoli (rect $\leftrightarrow$ sinc, $e^{-\alpha t}\mathbf 1(t)\leftrightarrow\frac1{\alpha+i2\pi f}$, gaussiana, $\delta\leftrightarrow1$, $1\leftrightarrow\delta$, gradino) e per i segnali periodici, la cui trasformata è un treno di impulsi di area $S_n$ in $nF$.Trasformata di Fourier →, Trasformata di Fourier a tempo discretoLa trasformata di Fourier di un segnale discreto è $S(f)=\sum_nT,s(nT),e^{-i2\pi fnT}$: una funzione continua e periodica in $f$ di periodo $F_p=1/T$. L'antitrasformata è l'integrale su un periodo, $s(nT)=\int_0^{F_p}S(f)e^{i2\pi fnT}df$. Le regole sono quelle del caso continuo (traslazione, convoluzione $\leftrightarrow$ prodotto, Parseval $\sum T|s|^2=\int_0^{F_p}|S|^2$), con incremento e somma corrente al posto di derivata e integrale. Per segnali reali $S(f)=S^(-f)$, quindi basta $[0,F_p/2]$. Esempi: $\delta\to1$, $1\to\delta_{F_p}$, rect $\to$ sinc periodico, $a^n\mathbf 1_0\to\frac T{1-ae^{-i2\pi fT}}$.Trasformata di Fourier a tempo discreto →). Per questi argomenti le dispense non erano disponibili: la nota segue l'elenco degli argomenti delle lezioni e la teoria standard. Vedi anche Processi aleatori stazionari e densità spettrale di potenzaUn processo aleatorio è un segnale i cui valori a ogni istante sono variabili aleatorie. Se è stazionario in senso lato (WSS) la media è costante e l'autocorrelazione $r_x(\tau)$ dipende solo dalla differenza dei tempi; la sua trasformata è la densità spettrale di potenza $\mathcal P_x(f)$, il cui integrale è la potenza statistica $r_x(0)$. Un filtro LTI dà $m_y=m_xH(0)$ e $\mathcal P_y=\mathcal P_x\lvert H\rvert^2$; se l'ingresso è gaussiano anche l'uscita lo è. Il rumore bianco ha $\mathcal P(f)=\frac{N_0}2$.Processi aleatori stazionari e densità spettrale di potenza → in un'altra materia.

Stazionarietà

Un processo è stazionario rispetto a una proprietà statistica se questa non cambia quando si trasla l'asse dei tempi: dal punto di vista del processo, "essere osservato oggi o domani" è equivalente.

Definizione (forme di stazionarietà). Il processo $x(t)$, $t\in I$, è stazionario

• in media se $m_x(t)=m_x$ non dipende da $t$;
• in potenza statistica se $M_x(t)=E\lvert x(t)\rvert^2$ non dipende da $t$;
• nella descrizione del primo ordine se la densità $f_x(a;t)=f_x(a)$ non dipende da $t$ (allora tutti i momenti di $x(t)$, in particolare media e potenza, sono costanti);
• in correlazione se $r_x(t,s)=r_x(t-s)$ dipende solo dalla differenza $\tau=t-s$ (allora $M_x=r_x(0)$ è costante);
• in senso lato (sl, o debolmente) se è stazionario in media e in correlazione;
• in senso stretto (ss) se la descrizione statistica di ogni ordine è invariante per traslazioni: $f_x(a_1,\dots,a_N;t_1+\theta,\dots,t_N+\theta)=f_x(a_1,\dots,a_N;t_1,\dots,t_N)$ per ogni $N$, $t_i$, $\theta$ (con $\theta\in I$).

Relazioni: ss $\Rightarrow$ sl (quando $M_x<\infty$), perché media e correlazione sono calcolate dalle densità del primo e secondo ordine. Il viceversa è falso in generale, ma per i processi gaussiani sl $\Leftrightarrow$ ss (la descrizione completa dipende solo da media e correlazione, Processi aleatori - definizioni, media e autocorrelazioneUn processo aleatorio x(t), t in I (R o Z(T)), è una famiglia di variabili aleatorie sullo stesso spazio di probabilità; fissato l'esito si ottiene una realizzazione (un segnale). Si descrive con le densità di ordine N (complete), in particolare del primo e del secondo ordine, oppure solo con media m_x(t) e correlazione r_x(t,s) = E[x(t)x*(s)] (descrizione di potenza). Un processo gaussiano è determinato da media e correlazione.Processi aleatori - definizioni, media e autocorrelazione →). Un processo a campioni i.i.d. è ss. Se un processo con $M_x<\infty$ non è sl, certamente non è ss.

Esempio (i tre processi del laboratorio, $f_0$ fissata). Con $A\sim U[-1,1]$ e $\varphi\sim U[0,2\pi)$ indipendenti:

Il secondo e il terzo sono ss perché traslare il tempo di $\theta$ equivale a sostituire $\varphi$ con $\varphi+2\pi f_0\theta$ (mod $2\pi$), che è ancora uniforme in $[0,2\pi)$ e indipendente da $A$: la distribuzione di ogni vettore di campioni non cambia.

Esempio (processo non stazionario). Il processo gaussiano a media nulla con $r_x(t,s)=e^{-f_0\lvert t-s\rvert}\lvert\cos2\pi f_0t\rvert$ ha potenza $M_x(t)=\lvert\cos2\pi f_0t\rvert$, non costante: non è stazionario in potenza, quindi non è sl né ss. Il processo con $r_y(t,s)=e^{-f_0\lvert t-s\rvert}\lvert\cos2\pi f_0(t-s)\rvert$ dipende solo da $t-s$: è sl e, essendo gaussiano, anche ss.

Un altro esempio importante: un processo a simboli indipendenti con primo ordine $f_x(a;t)$ non dipendente da $t$ è ss; se il primo ordine varia con $t$ (per esempio per effetto di una finestra) non lo è.

Densità spettrale di potenza

Definizione (densità spettrale di potenza, PSD). Per un processo sl $x$, la densità spettrale di potenza statistica è la trasformata di Fourier della correlazione: $$R_x(f)=\mathcal F[r_x](f)=\int_{-\infty}^{\infty}r_x(\tau)\,e^{-\mathrm i2\pi f\tau}\,d\tau.$$ Per un processo su $\mathbb Z(T)$: $R_x(f)=\sum_{k}T\,r_x(kT)\,e^{-\mathrm i2\pi fkT}$ (periodica di periodo $\frac1T$).

Proprietà:

• $R_x(f)\ge0$ per ogni $f$ (perché $r_x$ è semidefinita positiva: è il teorema di Wiener-Khinchin);
• se $x$ è reale, $r_x$ è pari e quindi $R_x$ è reale e pari;
• $\displaystyle\int R_x(f)\,df=r_x(0)=M_x$: l'area della PSD è la potenza statistica; per processi discreti l'integrale è su un periodo;
• la potenza nella banda $\mathcal B$ è $\int_{\mathcal B}R_x(f)\,df$: $R_x(f)$ dice come la potenza si distribuisce nelle frequenze (unità: potenza per hertz). Una riga $A\,\delta(f)$ è una componente costante (potenza $A$); una coppia di righe in $\pm f_0$ è una sinusoide.

Esempi (tutti verificati):

(Per $\sigma^2=2$, $\tau_c=0{,}5$ l'integrale numerico della PSD dà $2{,}000$ e la trasformata numerica di $r_x$ in $f=1$ coincide con la formula: $0{,}18400$.)

Estensione spettrale e banda di un processo. L'estensione spettrale $\mathcal E(x)$ del processo è l'estensione di $R_x$ (l'insieme dove $R_x\neq0$); la larghezza di banda ne è la misura e, per un processo reale, la banda è la misura della sola parte con $f>0$ (come per i segnali, Trasformata di FourierLa trasformata di Fourier $S(f)=\int s(t)e^{-i2\pi ft}dt$ associa a un segnale continuo (anche aperiodico) la sua rappresentazione in frequenza; l'antitrasformata $s(t)=\int S(f)e^{i2\pi ft}df$ lo ricostruisce, perché gli esponenziali $e^{i2\pi ft}$ sono ortogonali su tutto $\mathbb R$ ($\int e^{i2\pi ft}dt=\delta(f)$). Per un segnale reale $S(-f)=S^*(f)$. Si calcola per i segnali notevoli (rect $\leftrightarrow$ sinc, $e^{-\alpha t}\mathbf 1(t)\leftrightarrow\frac1{\alpha+i2\pi f}$, gaussiana, $\delta\leftrightarrow1$, $1\leftrightarrow\delta$, gradino) e per i segnali periodici, la cui trasformata è un treno di impulsi di area $S_n$ in $nF$.Trasformata di Fourier →). Per esempio il processo con $R_x=\frac{r_0}{F_1}\operatorname{triang}\frac f{F_1}$ ha estensione $(-F_1,F_1)$ e banda $F_1$.

Processi bianchi

Definizione (rumore bianco). Un processo sl a media nulla è bianco se la PSD è costante a tutte le frequenze, $R_x(f)=\frac{N_0}2$ (densità bilatera), cioè $r_x(\tau)=\frac{N_0}2\,\delta(\tau)$: valori in istanti distinti scorrelati. Un rumore gaussiano bianco a media nulla è un processo gaussiano di questo tipo: i valori in istanti distinti sono anche indipendenti.

Il rumore bianco continuo è un'idealizzazione (potenza infinita $\int\frac{N_0}2df=\infty$): descrive bene il rumore termico nella banda di interesse (Rumore termico, temperatura e cifra di rumoreOgni dispositivo elettrico produce un rumore additivo $w(t)$; la causa principale è il rumore termico (effetto Johnson-Nyquist): una resistenza $R$ alla temperatura $T$ ha PSD $\mathcal P_w=2kTR,\gamma(f)\approx2kTR$, e su un carico adattato la densità di potenza elettrica è $\frac12kT$ (bianca), cioè in banda $B$ una potenza $kTB$ ($kT_0=-174$ dBm/Hz). Si descrive il rumore di una sorgente con la temperatura di rumore $T_s=\frac{p_w}{k/2}$, e quello aggiunto da un doppio bipolo con $T_A$ o con la cifra di rumore $F=1+\frac{T_A}{T_0}$ ($T_0=290$ K, $F\ge1$). Un doppio bipolo passivo a $T_0$ ha $F=a$. In cascata $T_c=T_1+\frac{T_2}{g_1}+\dots$, $F_c=F_1+\frac{F_2-1}{g_1}+\dots$: il primo stadio è il più importante.Rumore termico, temperatura e cifra di rumore →). Un processo bianco filtrato da un passa-basso ideale di banda $B$ ha $R=\frac{N_0}2\operatorname{rect}\frac f{2B}$, potenza $N_0B$ e correlazione $r_x(\tau)=N_0B\operatorname{sinc}(2B\tau)$, che si annulla in tutti i multipli di $\frac1{2B}$: se il processo è gaussiano i campioni presi a passo $\frac1{2B}$ sono quindi indipendenti (con $N_0=2$, $B=3$: $r_x(0)=6$ e $r_x\!\left(\frac k6\right)=0$, verificato).

Nel discreto, un processo su $\mathbb Z(T)$ a campioni indipendenti a media nulla e varianza $\sigma^2$ ha $r_x(kT)=\sigma^2$ per $k=0$ e $0$ per $k\neq0$; poiché $\delta_{\mathbb Z(T)}(0)=\frac1T$, $r_x(\tau)=\sigma^2T\,\delta_{\mathbb Z(T)}(\tau)$ e $$R_x(f)=T\,\sigma^2\quad\text{(costante: processo bianco).}$$ Con $T=\frac1{F_s}$ si ritrova il livello $\frac{\sigma^2}{F_s}$ del laboratorio (Esercizio - rumore bianco gaussiano e filtro passa-basso in Python (laboratorio 6)).

Processi ciclostazionari

Definizione (processo ciclostazionario). Un processo è ciclostazionario con periodo $T_p$ se le sue statistiche sono periodiche nel tempo: $m_x(t+T_p)=m_x(t)$ e $r_x(t+T_p,s+T_p)=r_x(t,s)$ (per la descrizione di potenza; in senso stretto, se ogni densità è invariante per traslazioni di multipli di $T_p$).

Sono i processi che nascono dalle operazioni periodicamente tempo-invarianti: la modulazione e l'interpolazione di una sequenza.

Esempio (modulatore). $y(t)=x(t)\cos2\pi f_0t$ con $x$ sl a media $m_x$: $m_y(t)=m_x\cos2\pi f_0t$ e $r_y(t,s)=r_x(t-s)\cos2\pi f_0t\cos2\pi f_0s$, periodici di periodo $T_p=\frac1{f_0}$ (la correlazione anche di $\frac1{2f_0}$). Non è stazionario ($M_y(t)=r_x(0)\cos^2(2\pi f_0t)$), ma è ciclostazionario.

Per un ciclostazionario si usa la descrizione "media in un periodo" di potenza: $$\bar r_x(\tau)=\frac1{T_p}\int_0^{T_p}r_x(t+\tau,t)\,dt,\qquad\bar R_x(f)=\mathcal F[\bar r_x],\qquad\bar M_x=\bar r_x(0)=\frac1{T_p}\int_0^{T_p}M_x(t)\,dt=\int\bar R_x\,df.$$ Per il modulatore: $\frac1{T_p}\int_0^{T_p}\cos2\pi f_0(t+\tau)\cos2\pi f_0t\,dt=\frac12\cos2\pi f_0\tau$, quindi $\bar r_y=\frac12r_x(\tau)\cos2\pi f_0\tau$ e $$\bar R_y(f)=\tfrac14\big[R_x(f-f_0)+R_x(f+f_0)\big]:$$ la PSD si sposta alle frequenze $\pm f_0$ e la potenza media si dimezza ($\bar M_y=\frac12M_x$). Se l'uscita è sl la media in un periodo coincide con la descrizione ordinaria.

Processi ergodici

Finora le medie sono medie d'insieme (valori attesi su tutte le realizzazioni). Spesso si dispone di una sola realizzazione e si calcolano medie nel tempo.

Definizione (ergodicità in media). Un processo sl $x$ è ergodico in media se la media temporale su una realizzazione $$\langle x\rangle_{T_0}=\frac1{2T_0}\int_{-T_0}^{T_0}x(t)\,dt\quad\text{(somma }\textstyle\frac1{2N+1}\sum_{n=-N}^{N}x(nT)\text{ nel discreto)}$$ converge in media quadratica a $m_x$ per $T_0\to\infty$.

Poiché $E\langle x\rangle_{T_0}=m_x$ (la stima è non polarizzata), basta che la sua varianza tenda a zero: $$\operatorname{Var}\langle x\rangle_{T_0}=\frac1{2T_0}\int_{-2T_0}^{2T_0}\left(1-\frac{\lvert\tau\rvert}{2T_0}\right)c_x(\tau)\,d\tau\ \to\ 0$$ (con $c_x(\tau)=r_x(\tau)-\lvert m_x\rvert^2$ la covarianza). Una condizione sufficiente è che $c_x(\tau)\to0$ per $\tau\to\infty$ (o che sia assolutamente integrabile): le variabili lontane nel tempo sono quasi scorrelate, quindi una realizzazione lunga "visita" tutti i valori.

Esempio. Un processo i.i.d. è ergodico in media. Per $x(t)=\cos(2\pi f_0t+\varphi)$ la media temporale è $0=m_x$ (ergodico in media); per $x(t)=A\cos(2\pi f_0t+\varphi)$ pure. Non è ergodico il processo $x(t)=Z$ con $Z$ variabile aleatoria costante in $t$ (è sl, ma ogni realizzazione ha media temporale $Z\neq m_x$). Anche l'ergodicità in potenza fallisce per $A\cos(\cdot)$: la potenza temporale di una realizzazione è $\frac{A^2}2$, che varia con la realizzazione, mentre $M_x=\frac16$ (è quello che si vede nel laboratorio, Esercizio - processi aleatori, media d'insieme, correlazione e potenza temporale in Python (laboratorio 6)). Numericamente, per un processo AR(1) $x(n)=0{,}9\,x(n-1)+w(n)+1$ ($w$ i.i.d. $N(0,1)$) di media vera $\frac1{1-0{,}9}=10$, la media temporale su $2\cdot10^5$ campioni vale $10{,}002$.

L'ergodicità è ciò che permette di stimare con un solo segnale (media temporale, correlazione temporale, periodogramma) le quantità statistiche del processo.

Errori comuni

• Dire "stazionario" senza specificare in che cosa: media, potenza, correlazione, senso lato, senso stretto sono cose diverse.
• Concludere ss da sl senza l'ipotesi gaussiana.
• Confondere la media temporale di una realizzazione con la media d'insieme: coincidono solo per processi ergodici.
• Per il rumore bianco scrivere $R=N_0$ invece di $\frac{N_0}2$ (densità bilatera), o dimenticare il fattore $T$ nel discreto.