Varianza e covarianza di variabili discrete

Lezione 6 di probabilità, Unità 3-4. Prerequisiti: Valore atteso di variabili discreteIl valore atteso di una v.a. discreta è la media dei valori pesata con le probabilità, E[X] = Σ xₖ P(X = xₖ) (se la serie converge assolutamente): il "baricentro" della distribuzione. Valori notevoli: Be(p) → p, B(n,p) → np, Po(λ) → λ, Ge(p) → 1/p. Per le composte E[g(X)] = Σ g(x) pₓ(x), senza cercare la legge di g(X); linearità E[aX + b] = aE[X] + b e E[X₁ + ⋯ + Xₘ] = Σ E[Xᵢ] sempre (anche senza indipendenza: i cappelli); E[XY] = E[X]E[Y] se X, Y sono indipendenti.Valore atteso di variabili discrete →.

Varianza e deviazione standard

Il valore atteso dice dove è "centrata" una variabile, ma non quanto i valori sono sparpagliati attorno al centro. Due variabili con media $0$, una che vale sempre $0$ e una che vale $\pm 1000$ con probabilità $\frac12$, sono molto diverse.

Definizione. Se $E[X]$ ed $E[X^2]$ sono finiti, la varianza di $X$ è $$\operatorname{Var}[X] := E\left[(X - \mu_X)^2\right], \qquad \mu_X := E[X]$$ e la deviazione standard è $\sigma_X := \sqrt{\operatorname{Var}[X]}$.

È la media del quadrato della distanza dalla media: sempre $\ge 0$, nulla solo se $X$ è (quasi certamente) costante. Si usa il quadrato perché i segni delle deviazioni non si compensino; $\sigma$ riporta alla stessa unità di misura di $X$.

Proposizione (formula alternativa). $\operatorname{Var}[X] = E[X^2] - \mu_X^2$.

Dimostrazione. Sviluppando il quadrato e usando la linearità: $$E[(X - \mu)^2] = E[X^2 - 2\mu X + \mu^2] = E[X^2] - 2\mu\,E[X] + \mu^2 = E[X^2] - \mu^2$$ ∎

Esempio del prof. $X = -2$ con probabilità $\frac14$, $X = 1$ con probabilità $\frac34$.

• $E[X] = -\frac24 + \frac34 = \frac14$.
• Con la definizione: $\operatorname{Var}[X] = \left(-2 - \frac14\right)^2\frac14 + \left(1 - \frac14\right)^2\frac34 = \frac{81}{64} + \frac{27}{64} = \frac{27}{16}$.
• Con la formula alternativa: $E[X^2] = 4\cdot\frac14 + 1\cdot\frac34 = \frac74$, e $\frac74 - \frac1{16} = \frac{27}{16}$ ✓.

Proposizione.

1. $\operatorname{Var}[\text{costante}] = 0$;
2. $\operatorname{Var}[aX + b] = a^2\operatorname{Var}[X]$;
3. se $X \sim \operatorname{Be}(p)$: $\operatorname{Var}[X] = p(1 - p)$.

La 2: la traslazione $b$ sposta anche la media e non cambia la dispersione; il fattore $a$ dilata le distanze di $|a|$ e quindi i quadrati di $a^2$. La 3: $X^2 = X$, quindi $E[X^2] = p$ e $\operatorname{Var}[X] = p - p^2$. Quando è massima? $p(1 - p)$ è una parabola con massimo in $p = \frac12$ (valore $\frac14$): la Bernoulli più "incerta" è la moneta equilibrata; per $p = 0$ o $1$ non c'è incertezza e la varianza è nulla.

Variabile normalizzata. Se $\operatorname{Var}[X] \ne 0$, $\;Y := \dfrac{X - E[X]}{\sigma_X}$ ha $E[Y] = 0$ e $\operatorname{Var}[Y] = 1$.

(Per la linearità e per la 2 con $a = \frac1{\sigma_X}$.) Normalizzare serve a confrontare variabili diverse sulla stessa scala, e sarà essenziale per il teorema centrale del limiteSe X₁, X₂, … sono i.i.d. con media μ e varianza σ², la somma standardizzata (X₁ + ⋯ + Xₙ − nμ)/√(nσ²) tende in distribuzione a N(0,1): P(Sₙ ≤ a) ≈ Φ((a − nμ)/√(nσ²)) per n grande, qualunque sia la legge delle Xᵢ (servono indipendenza e stessa legge). Per la media campionaria: media μ, varianza σ²/n. Casi particolari: B(n,p) ≈ N(np, np(1−p)) per n grande; Po(λ) ≈ N(λ, λ) per λ ≥ 50. Per variabili a valori interi si usa la correzione di continuità: P(X ≤ k) ≈ P(Y ≤ k + 0.5), P(X = k) ≈ P(k − 0.5 ≤ Y ≤ k + 0.5).Teorema centrale del limite e correzione di continuità →.

Legge	$E[X]$	$\operatorname{Var}[X]$
$\operatorname{Be}(p)$	$p$	$p(1 - p)$
$B(n, p)$	$np$	$np(1 - p)$
$\operatorname{Po}(\lambda)$	$\lambda$	$\lambda$
$\operatorname{Ge}(p)$	$\frac1p$	$\frac{1 - p}{p^2}$

Per la Poisson media e varianza coincidono (per questo approssima la binomiale solo quando $1 - p \approx 1$).

Covarianza

Definizione. La covarianza di $X$ e $Y$ (con varianze finite) è $$\operatorname{Cov}[X, Y] := E\left[(X - \mu_X)(Y - \mu_Y)\right]$$ Formula alternativa: $\operatorname{Cov}[X, Y] = E[XY] - \mu_X\mu_Y$.

È simmetrica, e $\operatorname{Cov}[X, X] = \operatorname{Var}[X]$. Segno: positiva se $X$ e $Y$ tendono a stare insieme sopra o sotto le rispettive medie, negativa se quando una è sopra l'altra tende a stare sotto.

Esempio del prof. Due palline estratte senza reimmissione da un'urna con $3$ rosse e $2$ nere; $X = 1$ se la prima è rossa, $Y = 1$ se la seconda è rossa. $E[X] = E[Y] = \frac35$; $E[XY] = P(\text{entrambe rosse}) = \frac35\cdot\frac24 = \frac3{10}$. $$\operatorname{Cov}[X, Y] = \frac3{10} - \frac9{25} = -\frac{3}{50}$$ Negativa: se la prima è rossa resta una rossa in meno, e la seconda è meno probabilmente rossa.

Indicatrici di eventi. Con $\mathbb{1}_A(\omega) = 1$ se $\omega \in A$ e $0$ altrimenti: $E[\mathbb{1}_A] = P(A)$ ed $E[\mathbb{1}_A\mathbb{1}_B] = E[\mathbb{1}_{A \cap B}] = P(AB)$, quindi $$\operatorname{Cov}[\mathbb{1}_A, \mathbb{1}_B] = P(AB) - P(A)P(B)$$ nulla esattamente quando $A$ e $B$ sono indipendenti.

Corollario. Se $X$ e $Y$ sono indipendenti, $\operatorname{Cov}[X, Y] = 0$ (perché $E[XY] = E[X]E[Y]$).

Il viceversa è falso. Esempio del prof: $X$ uniforme su $\{-1, 0, 1\}$ e $Y = X^2$. Non sono indipendenti: $P(X = 0, Y = 0) = P(X = 0) = \frac13$, mentre $P(X = 0)P(Y = 0) = \frac19$ (se si conosce $X$ si conosce $Y$!). Eppure $\operatorname{Cov}[X, Y] = E[X^3] - E[X]E[X^2] = 0 - 0\cdot\frac23 = 0$ ($X^3 = X$ ha media $0$). La covarianza misura solo la dipendenza lineare; qui la relazione è quadratica e simmetrica.

Varianza di una somma

Attenzione: $\operatorname{Var}[X + X] = \operatorname{Var}[2X] = 4\operatorname{Var}[X] \ne 2\operatorname{Var}[X]$. Le varianze non si sommano sempre.

Proposizione. $$\operatorname{Var}[X + Y] = \operatorname{Var}[X] + \operatorname{Var}[Y] + 2\operatorname{Cov}[X, Y]$$ e più in generale $$\operatorname{Var}[X_1 + \cdots + X_m] = \sum_i\operatorname{Var}[X_i] + 2\sum_{i<j}\operatorname{Cov}[X_i, X_j]$$ Se le $X_i$ sono indipendenti (basta a due a due), $\operatorname{Var}[X_1 + \cdots + X_m] = \operatorname{Var}[X_1] + \cdots + \operatorname{Var}[X_m]$.

Dimostrazione (due variabili). Con $\tilde X = X - \mu_X$, $\tilde Y = Y - \mu_Y$: $\operatorname{Var}[X + Y] = E[(\tilde X + \tilde Y)^2] = E[\tilde X^2] + E[\tilde Y^2] + 2E[\tilde X\tilde Y]$ ∎.

Corollario. Se $X \sim B(n, p)$, $\operatorname{Var}[X] = np(1 - p)$ (somma di $n$ Bernoulli indipendenti, ciascuna di varianza $p(1-p)$).

Le palline, di nuovo. Il numero di rosse estratte $X + Y$ ha varianza $\frac35\cdot\frac25\cdot 2 + 2\left(-\frac3{50}\right) = \frac{12}{25} - \frac{6}{50} = \frac{9}{25}$, minore di quella binomiale $2\cdot\frac35\cdot\frac25 = \frac{12}{25}$ (senza reimmissione la composizione del campione è più "controllata").

I cappelli (vedi Valore atteso di variabili discreteIl valore atteso di una v.a. discreta è la media dei valori pesata con le probabilità, E[X] = Σ xₖ P(X = xₖ) (se la serie converge assolutamente): il "baricentro" della distribuzione. Valori notevoli: Be(p) → p, B(n,p) → np, Po(λ) → λ, Ge(p) → 1/p. Per le composte E[g(X)] = Σ g(x) pₓ(x), senza cercare la legge di g(X); linearità E[aX + b] = aE[X] + b e E[X₁ + ⋯ + Xₘ] = Σ E[Xᵢ] sempre (anche senza indipendenza: i cappelli); E[XY] = E[X]E[Y] se X, Y sono indipendenti.Valore atteso di variabili discrete →). $\operatorname{Var}[X_i] = \frac1{10}\cdot\frac9{10} = \frac9{100}$. Per $i \ne j$: $E[X_iX_j] = P(i \text{ e } j \text{ riprendono il proprio}) = \frac1{10}\cdot\frac19 = \frac1{90}$, quindi $\operatorname{Cov}[X_i, X_j] = \frac1{90} - \frac1{100} = \frac1{900}$. Le coppie ordinate $(i, j)$ con $i \ne j$ sono $90$: $$\operatorname{Var}[X] = 10\cdot\frac{9}{100} + 90\cdot\frac{1}{900} = 0.9 + 0.1 = 1$$ Media e varianza valgono entrambe $1$, come per una $\operatorname{Po}(1)$: per $n$ grande il numero di persone che ritrovano il cappello è approssimativamente di Poisson di parametro $1$.

Esercizi: Esercizio 51 · valori attesi, varianze e i cappelli.

Errori comuni

• $\operatorname{Var}[aX + b] = a\operatorname{Var}[X] + b$: sbagliato, è $a^2\operatorname{Var}[X]$.
• Sommare le varianze di variabili non indipendenti (senza le covarianze).
• Dedurre l'indipendenza da covarianza nulla.
• $\operatorname{Var}[X - Y] = \operatorname{Var}[X] - \operatorname{Var}[Y]$: sbagliato; per indipendenti è $\operatorname{Var}[X] + \operatorname{Var}[Y]$.