Legge dei grandi numeri e metodo Monte Carlo

Punto 7 del programma ("legge dei grandi numeri in senso debole e forte: enunciati con dimostrazione, esempi ed applicazioni; metodo Monte Carlo per il calcolo di integrali definiti"). Prerequisiti: Convergenza di successioni di variabili aleatorieQuattro modi in cui X_n → X: quasi certa (P(X_n → X) = 1), in probabilità (P(|X_n − X| > ε) → 0 per ogni ε), in media p-esima (E|X_n − X|^p → 0), in distribuzione (F_(X_n)(x) → F_X(x) nei punti di continuità di F_X). Relazioni: q.c. ⇒ prob., L^p ⇒ prob. ⇒ distr., L² ⇒ L¹; in distribuzione verso una costante ⇔ in probabilità. Teorema di Lévy: convergenza in distribuzione ⇔ convergenza puntuale delle funzioni caratteristiche.Convergenza di successioni di variabili aleatorie →, Disuguaglianze di Markov, Chebyshev e JensenMarkov: per X ≥ 0, P(X ≥ a) ≤ E[X]/a; Chebyshev: P(|X − μ| ≥ ε) ≤ Var(X)/ε²; Jensen: per φ convessa, φ(E[X]) ≤ E[φ(X)]. Stimano probabilità e medie conoscendo solo media e varianza.Disuguaglianze di Markov, Chebyshev e Jensen →, Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione →.

Il problema

All'inizio del corso (Lezione 1 · Introduzione, spazio campionario ed eventi) la probabilità è stata introdotta in modo assiomatico, ma con l'idea intuitiva che "la probabilità di un evento è la frequenza con cui si verifica su tante ripetizioni". La legge dei grandi numeri è il teorema che giustifica questa idea dentro la teoria: la frequenza relativa, e più in generale la media dei risultati, converge alla probabilità, e più in generale al valore atteso.

Media campionaria

Sia $X_1, X_2, \dots$ una successione di v.a. i.i.d. (indipendenti e identicamente distribuiteIndipendenti tra loro e tutte con la stessa legge: le ripetizioni indipendenti dello stesso esperimento.) con media $\mu = E[X_1]$ e varianza $\sigma^2 = \text{Var}(X_1)$. La media campionaria è

$$\bar X_n := \frac{X_1 + \dots + X_n}{n}.$$

Per linearità e indipendenza:

$$E[\bar X_n] = \frac{n\mu}{n} = \mu, \qquad \text{Var}(\bar X_n) = \frac{1}{n^2}\sum_{k=1}^n \text{Var}(X_k) = \frac{n\sigma^2}{n^2} = \frac{\sigma^2}{n}.$$

La media campionaria ha la stessa media delle singole osservazioni, ma varianza $n$ volte più piccola: mediando, le fluttuazioni si compensano. La deviazione standard scende come $\frac{\sigma}{\sqrt n}$.

Legge debole dei grandi numeri

Teorema (legge debole). Siano $X_1, X_2, \dots$ i.i.d. con media $\mu$ e varianza $\sigma^2$ finita. Allora per ogni $\varepsilon > 0$ $$P\big(|\bar X_n - \mu| > \varepsilon\big) \le \frac{\sigma^2}{n\varepsilon^2} \xrightarrow[n\to\infty]{} 0,$$ cioè $\bar X_n \xrightarrow{p} \mu$.

Dimostrazione. È la disuguaglianza di ChebyshevP(lontananza dalla media maggiore di ε) ≤ varianza / ε².Disuguaglianze di Markov, Chebyshev e Jensen → applicata a $\bar X_n$, che ha media $\mu$ e varianza $\frac{\sigma^2}{n}$: $$P(|\bar X_n - \mu| > \varepsilon) \le \frac{\text{Var}(\bar X_n)}{\varepsilon^2} = \frac{\sigma^2}{n\varepsilon^2}. \ ∎$$

Due osservazioni.

• La dimostrazione usa solo che le $X_k$ sono non correlate con la stessa media e varianza: l'indipendenza serve solo per $\text{Var}(\sum X_k) = \sum \text{Var}(X_k)$.
• Si dimostra anche la convergenza in $L^2$: $E[(\bar X_n - \mu)^2] = \text{Var}(\bar X_n) = \frac{\sigma^2}{n} \to 0$.

Il caso delle frequenze. Se $X_k = \mathbb 1_A$ (vale $1$ se alla prova $k$ si verifica $A$), allora $X_k \sim \text{Be}(p)$ con $p = P(A)$, e $\bar X_n$ è la frequenza relativa di $A$ nelle prime $n$ prove. La legge debole dice che la frequenza relativa converge in probabilità a $P(A)$. Con $\sigma^2 = p(1 - p) \le \frac14$: $$P(|\bar X_n - p| > \varepsilon) \le \frac{1}{4n\varepsilon^2}.$$

Esempio: quante prove servono? Si vuole stimare la probabilità $p$ che un pacchetto vada perso, con errore al più $0{,}01$ e probabilità di sbagliare al più $5\%$. Basta $\frac{1}{4n(0{,}01)^2} \le 0{,}05$, cioè $n \ge \frac{1}{4 \cdot 0{,}0001 \cdot 0{,}05} = 50\,000$ pacchetti. (Chebyshev è prudente: col teorema del limite centraleSe X₁, X₂, ... sono i.i.d. con media μ e varianza σ² ∈ (0, ∞), la somma standardizzata (Sₙ − nμ)/(σ√n) converge in distribuzione a N(0, 1): per n grande P(Sₙ ≤ x) ≈ Φ((x − nμ)/(σ√n)). Caso binomiale (De Moivre-Laplace): Bin(n, p) ≈ N(np, np(1 − p)), con correzione di continuità ±0,5. Si dimostra con le funzioni caratteristiche e il teorema di Lévy.Teorema del limite centrale e approssimazione normale → ne bastano circa $9\,600$.)

Legge forte dei grandi numeri

Teorema (legge forte, Kolmogorov). Siano $X_1, X_2, \dots$ i.i.d. con $E[|X_1|] < \infty$ e media $\mu$. Allora $$\bar X_n \xrightarrow{q.c.} \mu, \qquad \text{cioè} \quad P\left(\lim_{n\to\infty}\bar X_n = \mu\right) = 1.$$

Differenza con la legge debole. La legge debole dice che, per ogni $n$ grande fissato, è improbabile essere lontani da $\mu$. La legge forte dice di più: per quasi ogni sequenza di risultati, la successione numerica $\bar X_n(\omega)$ converge a $\mu$. Lanciando una moneta all'infinito, l'insieme delle sequenze in cui la frazione di teste non tende a $\frac12$ ha probabilità zero.

Idea della dimostrazione (caso con momento quarto finito, $E[X_1^4] < \infty$, e $\mu = 0$). Sviluppando $(X_1 + \dots + X_n)^4$ e usando l'indipendenza, sopravvivono in media solo i termini $X_k^4$ ($n$ termini) e $X_j^2X_k^2$ (circa $3n^2$ termini), quindi $E[(X_1 + \dots + X_n)^4] \le Cn^2$ e $E[\bar X_n^4] \le \frac{C}{n^2}$. Per Markov: $$\sum_n P(|\bar X_n| > \varepsilon) \le \sum_n \frac{E[\bar X_n^4]}{\varepsilon^4} \le \sum_n \frac{C}{\varepsilon^4 n^2} < \infty.$$ Per il lemma di Borel-CantelliSe la somma delle probabilità degli eventi A_n è finita, con probabilità 1 se ne verificano solo un numero finito., quasi certamente $|\bar X_n| > \varepsilon$ solo per un numero finito di $n$; essendo $\varepsilon$ arbitrario, $\bar X_n \to 0$ quasi certamente.

Esempio d'esame

(II parziale 15.01.2026, Esercizio 27 · media campionaria e massimo di uniformi.) $X_k \sim U(0, 1)$ i.i.d.: $\mu = \frac12$, $\sigma^2 = \frac1{12}$ finita. Per la legge dei grandi numeri $\bar X_n \xrightarrow{p} \frac12$, e quindi anche in distribuzione (alla costante $\frac12$). Per la legge forte, anche quasi certamente.

Metodo Monte Carlo

L'idea

Un integrale si può scrivere come un valore atteso; un valore atteso si stima con una media campionaria; una media campionaria si calcola simulando v.a. al computer. È il metodo Monte Carlo.

Sia $g : [0, 1] \to \mathbb R$ integrabile e $U \sim U(0, 1)$. Per il teorema fondamentale del valor medio

$$E[g(U)] = \int_0^1 g(u) \cdot 1 \, du = \int_0^1 g(u) \, du =: I.$$

Se $U_1, U_2, \dots$ sono uniformi indipendenti, le $g(U_k)$ sono i.i.d. con media $I$, quindi per la legge dei grandi numeri

$$\hat I_n := \frac{1}{n}\sum_{k=1}^n g(U_k) \xrightarrow[n\to\infty]{} \int_0^1 g(u) \, du \quad \text{(q.c. e in probabilità)}.$$

Su un intervallo qualsiasi $[a, b]$: con $U_k \sim U(a, b)$, $E[g(U)] = \frac{1}{b - a}\int_a^b g$, quindi $\int_a^b g \approx (b - a)\hat I_n$.

Errore

$\text{Var}(\hat I_n) = \frac{\sigma_g^2}{n}$, con $\sigma_g^2 = \text{Var}(g(U)) = \int_0^1 g^2 - I^2$. L'errore tipico è dell'ordine di $\frac{\sigma_g}{\sqrt n}$: per guadagnare una cifra decimale servono 100 volte più simulazioni. È lento in una dimensione, dove i metodi numerici classici (trapezi, Simpson) sono migliori; ma la velocità $\frac{1}{\sqrt n}$ non dipende dalla dimensione, ed è per questo che Monte Carlo è il metodo standard per integrali in molte dimensioni (finanza, fisica, simulazione di reti).

Esempio: stimare $\pi$

Si scelgono punti $(U, V)$ uniformi nel quadrato $[0, 1]^2$. La probabilità di cadere nel quarto di cerchio $\{u^2 + v^2 \le 1\}$ è la sua area, $\frac\pi4$. Con $X_k = \mathbb 1\{U_k^2 + V_k^2 \le 1\}$ (Bernoulli di parametro $\frac\pi4$):

$$4\bar X_n \xrightarrow{q.c.} \pi.$$

Equivalentemente è il Monte Carlo per $\int_0^1 \sqrt{1 - u^2}\,du = \frac\pi4$.

import random, math

def stima_pi(n):
    dentro = 0
    for _ in range(n):
        u, v = random.random(), random.random()   # punto uniforme nel quadrato
        if u*u + v*v <= 1:                         # cade nel quarto di cerchio?
            dentro += 1
    return 4 * dentro / n                          # 4 × frequenza relativa

for n in (100, 10_000, 1_000_000):
    print(n, stima_pi(n), "errore tipico ≈", 4 * math.sqrt((math.pi/4) * (1 - math.pi/4) / n))

Con $n = 10^6$ l'errore tipico è circa $4\sqrt{0{,}785 \cdot 0{,}215 / 10^6} \approx 0{,}0016$: si ottengono 2-3 cifre corrette.

Esempio: un integrale senza primitiva elementare

$I = \int_0^1 e^{-x^2} dx$ non ha primitiva elementare. Monte Carlo: si generano $U_1, \dots, U_n$ uniformi e si fa la media di $e^{-U_k^2}$. Il valore vero è $I \approx 0{,}7468$ (legato a $\Phi$: $I = \sqrt{\pi}\,(\Phi(\sqrt2) - \frac12)$).

Riepilogo

Errori comuni

• Credere che dopo tante croci "debba" uscire testa per riequilibrare: la legge dei grandi numeri non dice che gli scarti si compensano, ma che vengono diluiti dividendo per $n$ (il numero assoluto di teste meno $n/2$ tipicamente cresce, come $\sqrt n$).
• Applicare la legge a v.a. senza media finita (es. Cauchy): la media campionaria di v.a. di Cauchy è ancora Cauchy e non converge.
• Dimenticare il fattore $(b - a)$ nel Monte Carlo su $[a, b]$.