Covarianza e coefficiente di correlazione

Punto 4 del programma ("covarianza e coefficiente di correlazione; indipendenza e non-correlazione"). Prerequisiti: Vettori aleatori discretiUn vettore aleatorio discreto (X, Y) è descritto dalla densità congiunta p(x, y) = P(X = x, Y = y); le marginali si ottengono sommando sull'altra variabile, X e Y sono indipendenti se p(x, y) = p_X(x) p_Y(y) per ogni coppia, e E[g(X, Y)] = Σ g(x, y) p(x, y).Vettori aleatori discreti →, Vettori aleatori assolutamente continuiUn vettore (X, Y) è assolutamente continuo se P((X, Y) ∈ A) = ∬_A f(x, y) dx dy per una densità congiunta f ≥ 0 con integrale 1; le marginali si ottengono integrando sull'altra variabile (f_X(x) = ∫ f(x, y) dy), X e Y sono indipendenti se f(x, y) = f_X(x) f_Y(y), e E[g(X, Y)] = ∬ g f. Il punto delicato degli esercizi è descrivere bene la regione dove f > 0.Vettori aleatori assolutamente continui →, Varianza e momentiI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti →. Seguito: Vettori gaussianiX = (X₁, ..., Xₙ) è un vettore gaussiano N(m, Σ) se ogni combinazione lineare a·X è gaussiana (equivalentemente X = m + AZ con Z gaussiane standard indipendenti); se Σ è invertibile ha densità exp(−½(x−m)ᵀΣ⁻¹(x−m)) / √((2π)ⁿ det Σ). Proprietà chiave: AX + b ~ N(Am + b, AΣAᵀ), le marginali sono gaussiane e componenti non correlate sono indipendenti.Vettori gaussiani →.

Il problema: la varianza di una somma

Per la media di una somma vale sempre $E[X + Y] = E[X] + E[Y]$. Per la varianza no: sviluppando il quadrato, con $\mu_X = E[X]$ e $\mu_Y = E[Y]$,

$$\text{Var}(X + Y) = E\big[((X - \mu_X) + (Y - \mu_Y))^2\big] = \text{Var}(X) + \text{Var}(Y) + 2\,E[(X - \mu_X)(Y - \mu_Y)].$$

Il termine in più misura come le due v.a. si muovono insieme rispetto alle loro medie, e gli si dà un nome.

Definizione

La covarianza di $X$ e $Y$ (con momento secondo finito) è $$\text{Cov}(X, Y) := E\big[(X - E[X])(Y - E[Y])\big].$$

Significato del segno. Il prodotto $(X - \mu_X)(Y - \mu_Y)$ è positivo quando $X$ e $Y$ stanno dalla stessa parte delle rispettive medie (entrambe sopra o entrambe sotto) e negativo quando stanno da parti opposte.

• $\text{Cov} > 0$: quando $X$ è grande, tende a esserlo anche $Y$ (altezza e peso).
• $\text{Cov} < 0$: quando $X$ è grande, $Y$ tende a essere piccola (estrazioni senza reinserimento: una nera alla prima rende meno probabile una nera alla seconda).
• $\text{Cov} = 0$: nessuna tendenza lineare. Si dice che $X$ e $Y$ sono non correlate (o scorrelate).

Formula di calcolo

$$\text{Cov}(X, Y) = E[XY] - E[X]\,E[Y].$$

Dimostrazione. Si sviluppa il prodotto e si usa la linearità ($\mu_X, \mu_Y$ sono numeri):

$$E[(X - \mu_X)(Y - \mu_Y)] = E[XY] - \mu_Y E[X] - \mu_X E[Y] + \mu_X\mu_Y = E[XY] - \mu_X\mu_Y - \mu_X\mu_Y + \mu_X\mu_Y = E[XY] - \mu_X\mu_Y. \ ∎$$

È l'analogo di $\text{Var}(X) = E[X^2] - E[X]^2$, che si ritrova con $Y = X$.

Esempio (urna, da Vettori aleatori discretiUn vettore aleatorio discreto (X, Y) è descritto dalla densità congiunta p(x, y) = P(X = x, Y = y); le marginali si ottengono sommando sull'altra variabile, X e Y sono indipendenti se p(x, y) = p_X(x) p_Y(y) per ogni coppia, e E[g(X, Y)] = Σ g(x, y) p(x, y).Vettori aleatori discreti →). 2 nere e 3 bianche, due estrazioni senza reinserimento, $X, Y$ indicatrici di "nera" alla prima e alla seconda: $E[XY] = P(X = 1, Y = 1) = \frac{1}{10}$, $E[X] = E[Y] = \frac25$, quindi $\text{Cov}(X, Y) = \frac{1}{10} - \frac{4}{25} = -\frac{3}{50}$.

Proprietà

1. Simmetria: $\text{Cov}(X, Y) = \text{Cov}(Y, X)$.
2. $\text{Cov}(X, X) = \text{Var}(X)$.
3. Costanti: $\text{Cov}(X, c) = 0$ e $\text{Cov}(X + c, Y) = \text{Cov}(X, Y)$.
4. Bilinearità: $\text{Cov}(aX + bY, Z) = a\,\text{Cov}(X, Z) + b\,\text{Cov}(Y, Z)$, e lo stesso nel secondo argomento.
5. Varianza di una combinazione lineare: $$\text{Var}(aX + bY) = a^2\,\text{Var}(X) + b^2\,\text{Var}(Y) + 2ab\,\text{Cov}(X, Y).$$

Perché. 1 e 2 sono evidenti dalla definizione. 3: una costante coincide con la sua media, quindi $c - E[c] = 0$; e aggiungere $c$ a $X$ aggiunge $c$ anche alla sua media, quindi $X - E[X]$ non cambia. 4: segue dalla formula $E[XY] - E[X]E[Y]$ e dalla linearità della media. 5: si usa la bilinearità su $\text{Cov}(aX + bY, aX + bY)$, che produce i quattro termini $a^2\text{Cov}(X, X) + ab\,\text{Cov}(X, Y) + ba\,\text{Cov}(Y, X) + b^2\text{Cov}(Y, Y)$.

Come si usa la bilinearità (è lo strumento principale negli esercizi): si "moltiplica" come un prodotto, termine per termine.

$$\text{Cov}(X - Y, X + Y) = \text{Cov}(X, X) + \text{Cov}(X, Y) - \text{Cov}(Y, X) - \text{Cov}(Y, Y) = \text{Var}(X) - \text{Var}(Y).$$

Se $X$ e $Y$ hanno la stessa varianza, $X - Y$ e $X + Y$ sono non correlate (II parziale 15.01.2026, Esercizio 19 · differenza e somma di gaussiane standard).

Più addendi: $\text{Var}(X_1 + \dots + X_n) = \sum_i \text{Var}(X_i) + 2\sum_{i < j} \text{Cov}(X_i, X_j)$.

Indipendenza e non correlazione

Se $X$ e $Y$ sono indipendenti, allora $\text{Cov}(X, Y) = 0$, e quindi $\text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y)$.

Perché: per v.a. indipendenti $E[XY] = E[X]E[Y]$ (Vettori aleatori discretiUn vettore aleatorio discreto (X, Y) è descritto dalla densità congiunta p(x, y) = P(X = x, Y = y); le marginali si ottengono sommando sull'altra variabile, X e Y sono indipendenti se p(x, y) = p_X(x) p_Y(y) per ogni coppia, e E[g(X, Y)] = Σ g(x, y) p(x, y).Vettori aleatori discreti →, Vettori aleatori assolutamente continuiUn vettore (X, Y) è assolutamente continuo se P((X, Y) ∈ A) = ∬_A f(x, y) dx dy per una densità congiunta f ≥ 0 con integrale 1; le marginali si ottengono integrando sull'altra variabile (f_X(x) = ∫ f(x, y) dy), X e Y sono indipendenti se f(x, y) = f_X(x) f_Y(y), e E[g(X, Y)] = ∬ g f. Il punto delicato degli esercizi è descrivere bene la regione dove f > 0.Vettori aleatori assolutamente continui →).

Il viceversa è falso. Controesempio: $X$ uniforme su $\{-1, 0, 1\}$ e $Y = X^2$.

• $E[X] = 0$ e $E[XY] = E[X^3] = \frac{-1 + 0 + 1}{3} = 0$, quindi $\text{Cov}(X, Y) = 0 - 0 \cdot E[Y] = 0$: non correlate.
• Ma $Y$ è una funzione di $X$: $P(X = 0, Y = 1) = 0$ mentre $P(X = 0)P(Y = 1) = \frac13 \cdot \frac23 \ne 0$: non indipendenti.

La covarianza vede solo i legami lineari: qui il legame è quadratico e simmetrico, e "in media" la tendenza lineare si annulla.

Coefficiente di correlazione

La covarianza dipende dalle unità di misura (se $X$ si misura in centimetri invece che in metri, la covarianza si moltiplica per $100$). Per avere un numero puro si normalizza.

Se $\text{Var}(X), \text{Var}(Y) > 0$, il coefficiente di correlazione è $$\rho(X, Y) := \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X)\,\text{Var}(Y)}} = \frac{\text{Cov}(X, Y)}{\sigma_X\,\sigma_Y}.$$

Teorema. $-1 \le \rho(X, Y) \le 1$. Inoltre $|\rho| = 1$ se e solo se $Y = aX + b$ (quasi certamente) per qualche $a \ne 0$, con $\rho = 1$ se $a > 0$ e $\rho = -1$ se $a < 0$.

Dimostrazione. Siano $X^* = \frac{X - \mu_X}{\sigma_X}$ e $Y^* = \frac{Y - \mu_Y}{\sigma_Y}$ le versioni standardizzate (media $0$, varianza $1$); per bilinearità $\text{Cov}(X^*, Y^*) = \rho$. Una varianza non è mai negativa, quindi

$$0 \le \text{Var}(X^* \pm Y^*) = 1 + 1 \pm 2\rho = 2(1 \pm \rho).$$

Il segno $+$ dà $\rho \ge -1$, il segno $-$ dà $\rho \le 1$. Se $\rho = 1$, allora $\text{Var}(X^* - Y^*) = 0$, quindi $X^* - Y^*$ è costante (uguale alla sua media, $0$): $Y^* = X^*$, cioè $Y$ è funzione affine crescente di $X$. Analogamente per $\rho = -1$. ∎

Lettura di $\rho$. $\rho$ vicino a $\pm 1$: i punti $(X, Y)$ si dispongono quasi su una retta. $\rho$ vicino a $0$: nessuna tendenza lineare (ma potrebbe esserci un legame non lineare). $\rho$ non dipende da cambi di scala positivi: $\rho(aX + b, cY + d) = \rho(X, Y)$ se $a, c > 0$.

Esempio (urna): $\text{Var}(X) = \text{Var}(Y) = \frac25 \cdot \frac35 = \frac{6}{25}$, quindi $\rho = \frac{-3/50}{6/25} = -\frac14$.

Matrice di covarianza

Per un vettore $(X_1, \dots, X_n)$ si raccolgono tutte le covarianze in una matrice:

$$\Sigma = (\Sigma_{ij}), \qquad \Sigma_{ij} = \text{Cov}(X_i, X_j).$$

Sulla diagonale ci sono le varianze. Per due v.a.:

$$\Sigma = \begin{pmatrix} \text{Var}(X) & \text{Cov}(X, Y) \\ \text{Cov}(X, Y) & \text{Var}(Y) \end{pmatrix}.$$

$\Sigma$ è simmetrica e semidefinita positiva: per ogni vettore di numeri $a = (a_1, \dots, a_n)$,

$$a^T \Sigma\, a = \sum_{i,j} a_i a_j \text{Cov}(X_i, X_j) = \text{Var}\Big(\sum_i a_i X_i\Big) \ge 0.$$

Combinazioni lineari. Se $U = a^T X = \sum a_i X_i$, allora $E[U] = a^T E[X]$ e $\text{Var}(U) = a^T \Sigma a$. Per $U = X - 2Y$ con $\Sigma = \begin{pmatrix} 4 & 2 \\ 2 & 2 \end{pmatrix}$ (III appello 24.06.2026, Esercizio 20 · vettore gaussiano, combinazione lineare e correlazione):

$$\text{Var}(U) = 1^2 \cdot 4 + (-2)^2 \cdot 2 + 2 \cdot 1 \cdot (-2) \cdot 2 = 4 + 8 - 8 = 4,$$ $$\text{Cov}(X, U) = \text{Cov}(X, X) - 2\,\text{Cov}(X, Y) = 4 - 4 = 0.$$

Esempio (II parziale 15.01.2026): $X, Y \sim N(0, 1)$ indipendenti e $Z = X - Y$. $\text{Cov}(X, Z) = \text{Var}(X) - \text{Cov}(X, Y) = 1 - 0 = 1$ e $\text{Var}(Z) = 2$, quindi la matrice di covarianza di $(X, Z)$ è $\begin{pmatrix} 1 & 1 \\ 1 & 2 \end{pmatrix}$.

Riepilogo

Errori comuni

• Dimenticare il doppio prodotto in $\text{Var}(X + Y)$ quando le v.a. non sono indipendenti.
• Scrivere $\text{Var}(X - Y) = \text{Var}(X) - \text{Var}(Y)$: il coefficiente $-1$ si eleva al quadrato; il termine che cambia segno è solo quello con la covarianza.
• Concludere l'indipendenza da $\text{Cov} = 0$ fuori dal caso gaussiano.
• Dimenticare la radice nel denominatore di $\rho$: si divide per le deviazioni standard, non per le varianze.