Formulario - calcolo delle probabilità

Spazio di probabilità

Note: Spazio campionario ed eventiUno spazio di probabilità è la terna (Ω, F, P); Ω raccoglie gli esiti possibili dell'esperimento, un evento è un sottoinsieme di Ω, e le operazioni logiche tra eventi sono unione, intersezione e complementare.Spazio campionario ed eventi → · Sigma-algebre di eventiUna σ-algebra è una famiglia di eventi che contiene ∅ ed è chiusa per complementare e unioni numerabili; è la famiglia degli eventi a cui si assegna una probabilità. Nel caso discreto si prende tutto 𝒫(Ω).Sigma-algebre di eventi → · Misura di probabilità e sue proprietàUna misura di probabilità è una funzione P: F → [0,1] con P(Ω) = 1 e σ-additiva; ne seguono P(Aᶜ) = 1 − P(A), P(∅) = 0, monotonia, P(A ∪ B) = P(A) + P(B) − P(A ∩ B) e la formula di inclusione-esclusione.Misura di probabilità e sue proprietà → · Spazi di probabilità discreti e uniformiIn uno spazio discreto la probabilità è determinata dalla densità discreta p(ω) = P({ω}), con somma 1, e P(A) è la somma di p(ω) sugli esiti di A; negli spazi uniformi (esiti equiprobabili) P(A) = |A| / |Ω|, casi favorevoli su casi possibili.Spazi di probabilità discreti e uniformi → · Calcolo combinatorio per la probabilitàNegli spazi uniformi bisogna contare: principio di moltiplicazione, disposizioni con ripetizione n^k, disposizioni semplici n!/(n−k)!, permutazioni n!, combinazioni (n su k); estrazioni con e senza reinserimento e distribuzione ipergeometrica.Calcolo combinatorio per la probabilità →

• PartizioneFamiglia di eventi a due a due disgiunti la cui unione è tutto Ω: ogni esito sta in uno e un solo evento. di $\Omega$: eventi $A_i$ a due a due disgiunti con $\bigcup A_i=\Omega$. $\sigma$-algebra $\mathcal F$: $\emptyset\in\mathcal F$, chiusa per complementare e unioni numerabili (nel caso discreto $\mathcal F=\mathcal P(\Omega)$).
• Misura di probabilità $P:\mathcal F\to[0,1]$: $P(\Omega)=1$ e $\sigma$-additività $P(\bigcup A_n)=\sum P(A_n)$ per $A_n$ a due a due disgiunti. Ne seguono $P(\emptyset)=0$, $P(A^c)=1-P(A)$, monotonia, $P(A\cup B)=P(A)+P(B)-P(A\cap B)$ e l'inclusione-esclusione.
• Spazio discreto: $P(A)=\sum_{\omega\in A}p(\omega)$ con $p(\omega)=P(\{\omega\})\ge0$ e $\sum_\omega p(\omega)=1$. Uniforme: $p(\omega)=\frac1{|\Omega|}$, $P(A)=\frac{|A|}{|\Omega|}$ (casi favorevoli su casi possibili).
• Conteggio: principio di moltiplicazione $n_1\cdots n_k$; disposizioni con ripetizione $n^k$; senza ripetizione $\frac{n!}{(n-k)!}$; permutazioni $n!$; combinazioni $\binom nk=\frac{n!}{k!(n-k)!}$. Estrazioni di $n$ palline da $N$ con $M$ nere: con reinserimento $\binom nk\big(\frac MN\big)^k\big(1-\frac MN\big)^{n-k}$; senza reinserimento (ipergeometrica) $\displaystyle\frac{\binom Mk\binom{N-M}{n-k}}{\binom Nn}$.

Probabilità condizionata e indipendenza

Note: Probabilità condizionataLa probabilità di A sapendo che si è verificato B è P(A ∣ B) = P(A ∩ B) / P(B), con P(B) > 0; è una nuova misura di probabilità, e da essa seguono la regola del prodotto e la regola della catena.Probabilità condizionata → · Formula delle probabilità totali e formula di BayesSe (A_i) è una partizione di Ω, P(B) = Σ P(B ∣ A_i) P(A_i) (probabilità totali); la formula di Bayes inverte il condizionamento: P(A_k ∣ B) = P(B ∣ A_k) P(A_k) / P(B).Formula delle probabilità totali e formula di Bayes → · Indipendenza di eventiA e B sono indipendenti se P(A ∩ B) = P(A) P(B), cioè se sapere che uno si è verificato non cambia la probabilità dell'altro; l'indipendenza passa ai complementari, non va confusa con l'incompatibilità, e per più eventi va richiesta su ogni sottofamiglia.Indipendenza di eventi → · Prove ripetute e modello binomialen prove indipendenti, ciascuna con probabilità di successo p: una sequenza con k successi ha probabilità p^k (1−p)^(n−k), e la probabilità di esattamente k successi è (n su k) p^k (1−p)^(n−k) (modello binomiale); il primo successo alla prova k ha probabilità (1−p)^(k−1) p.Prove ripetute e modello binomiale →

• $P(B)>0$: $\displaystyle P(A\mid B)=\frac{P(A\cap B)}{P(B)}$; $A\mapsto P(A\mid B)$ è una misura di probabilità; regola del prodotto $P(A\cap B)=P(A\mid B)P(B)$.
• Partizione $(A_i)$ con $P(A_i)>0$: probabilità totali $\displaystyle P(B)=\sum_iP(B\mid A_i)P(A_i)$; Bayes (se $P(B)>0$) $\displaystyle P(A_k\mid B)=\frac{P(B\mid A_k)P(A_k)}{\sum_iP(B\mid A_i)P(A_i)}$.
• $A,B$ indipendenti se $P(A\cap B)=P(A)P(B)$ (allora lo sono anche $A,B^c$ e le altre coppie); $A_1,\dots,A_n$ mutuamente indipendenti se $P(\bigcap_{i\in I}A_i)=\prod_{i\in I}P(A_i)$ per ogni sottofamiglia $I$ con almeno due elementi. Indipendenza non è incompatibilità.
• $n$ prove indipendenti con successo $p$: $P(k\text{ successi})=\binom nkp^k(1-p)^{n-k}$; primo successo alla prova $k$: $(1-p)^{k-1}p$.

Variabili aleatorie discrete

Note: Variabili aleatorie discrete e densità discretaUna variabile aleatoria discreta è una funzione X da Ω in R che assume un insieme finito o numerabile di valori (l'alfabeto); la sua densità discreta p_X(x) = P(X = x) basta a calcolare la probabilità di ogni evento che riguarda X.Variabili aleatorie discrete e densità discreta → · Funzione di distribuzioneLa funzione di distribuzione (FdD) F_X(x) = P(X ≤ x) è definita per ogni v.a., è crescente, continua a destra, va da 0 a 1 e determina la legge; per una v.a. discreta è a gradini, con salti in corrispondenza dei valori e di altezza pari alla densità.Funzione di distribuzione → · Bernoulli, binomiale e uniforme discretaBernoulli Be(p): un solo tentativo, vale 1 con probabilità p; binomiale Bin(n, p): numero di successi in n prove indipendenti, P(X = k) = C(n,k) p^k (1−p)^(n−k), media np e varianza np(1−p); uniforme discreta: n valori equiprobabili.Bernoulli, binomiale e uniforme discreta → · Distribuzione geometricaGeo(p) è il numero della prova in cui arriva il primo successo in prove indipendenti: P(X = n) = (1−p)^(n−1) p per n ≥ 1, P(X > n) = (1−p)^n (lunga attesa), media 1/p, varianza (1−p)/p², ed è senza memoria.Distribuzione geometrica → · Distribuzione di PoissonPoi(λ) conta eventi rari: P(X = k) = e^(−λ) λ^k / k! per k = 0, 1, 2, …, con media e varianza entrambe uguali a λ; approssima la binomiale Bin(n, p) quando n è grande e p piccolo, con λ = np.Distribuzione di Poisson → · Valore attesoIl valore atteso E[X] = Σ x p_X(x) è la media dei valori di X pesata con le loro probabilità (esiste se la serie converge assolutamente); per una funzione g vale E[g(X)] = Σ g(x) p_X(x) senza trovare la legge di g(X), ed E è lineare: E[aX + bY + c] = aE[X] + bE[Y] + c.Valore atteso → · Varianza e momentiI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti → · Disuguaglianze di Markov, Chebyshev e JensenMarkov: per X ≥ 0, P(X ≥ a) ≤ E[X]/a; Chebyshev: P(|X − μ| ≥ ε) ≤ Var(X)/ε²; Jensen: per φ convessa, φ(E[X]) ≤ E[φ(X)]. Stimano probabilità e medie conoscendo solo media e varianza.Disuguaglianze di Markov, Chebyshev e Jensen →

• V.a. discreta $X:\Omega\to\mathbb R$ con alfabeto finito o numerabile; densità $p_X(x)=P(X=x)$. FdD $F_X(x)=P(X\le x)$: crescente, limiti $0$ e $1$, continua a destra; discreta = a gradini con salti $p_X(x)$.
• Leggi: Be$(p)$: $p_X(1)=p$, $p_X(0)=1-p$. Bin$(n,p)$: $\binom nkp^k(1-p)^{n-k}$, $k=0,\dots,n$. Geo$(p)$: $(1-p)^{n-1}p$, $n\ge1$, $P(X>n)=(1-p)^n$, senza memoria $P(X>n+m\mid X>n)=P(X>m)$. Poi$(\lambda)$: $e^{-\lambda}\frac{\lambda^k}{k!}$, $k\ge0$; se $X_n\sim\mathrm{Bin}(n,\frac\lambda n)$ allora $P(X_n=k)\to e^{-\lambda}\frac{\lambda^k}{k!}$. Uniforme discreta: $p_X(x_i)=\frac1n$.
• $E[X]=\sum x\,p_X(x)$ (se $\sum|x|p_X(x)<\infty$); $E[g(X)]=\sum g(x)p_X(x)$; $E[aX+bY+c]=aE[X]+bE[Y]+c$ anche senza indipendenza; $E[\mathbb 1_A]=P(A)$; per valori in $\mathbb N$: $E[X]=\sum_{n\ge0}P(X>n)$.
• MomentoIl momento k-esimo di X è il valore atteso di X elevato alla k. $k$-esimo $E[X^k]$; $\mathrm{Var}(X)=E[(X-\mu)^2]=E[X^2]-E[X]^2$, $\sigma=\sqrt{\mathrm{Var}}$; $\mathrm{Var}(aX+b)=a^2\mathrm{Var}(X)$; $\mathrm{Var}(X)=0\iff X=\mu$ quasi certamente.
• Markov ($X\ge0$, $a>0$): $\displaystyle P(X\ge a)\le\frac{E[X]}a$. Chebyshev: $\displaystyle P(|X-\mu|\ge\varepsilon)\le\frac{\mathrm{Var}(X)}{\varepsilon^2}$. Jensen: $\varphi$ convessa $\Rightarrow\varphi(E[X])\le E[\varphi(X)]$ (concava: verso opposto).

Variabili aleatorie assolutamente continue

Note: Spazi di probabilità generali e sigma-algebra di BorelNegli spazi non discreti la probabilità non si ricava più dai singoli esiti: si usa la σ-algebra di Borel (generata dagli intervalli), la continuità della probabilità lungo successioni monotone di eventi e la definizione generale di v.a. come funzione X con {X ≤ x} evento per ogni x.Spazi di probabilità generali e sigma-algebra di Borel → · Variabili aleatorie assolutamente continueX è assolutamente continua se F_X(x) = ∫ da −∞ a x di f_X(t) dt per una densità f_X ≥ 0 con integrale 1; allora P(a < X ≤ b) = ∫ da a a b di f_X, P(X = x) = 0 per ogni x, f_X = F_X' dove F_X è derivabile, E[g(X)] = ∫ g(x) f_X(x) dx, e varianza, momenti e disuguaglianze funzionano come nel caso discreto con gli integrali al posto delle somme.Variabili aleatorie assolutamente continue → · Distribuzioni uniforme continua ed esponenzialeU(a, b) ha densità costante 1/(b − a) su [a, b], media (a + b)/2 e varianza (b − a)²/12; Exp(λ) ha densità λe^(−λx) per x ≥ 0, FdD 1 − e^(−λx), P(X > t) = e^(−λt), media 1/λ, varianza 1/λ², ed è l'unica legge continua senza memoria (versione continua della geometrica).Distribuzioni uniforme continua ed esponenziale → · Distribuzione gammaΓ(α, λ) ha densità λ^α x^(α−1) e^(−λx) / Γ(α) per x > 0, dove Γ(α) = ∫ x^(α−1) e^(−x) dx è la funzione Gamma (Γ(n) = (n − 1)!, Γ(1/2) = √π); media α/λ, varianza α/λ²; Γ(1, λ) = Exp(λ), e la somma di n esponenziali Exp(λ) indipendenti è Γ(n, λ), il tempo d'attesa dell'n-esimo evento.Distribuzione gamma → · Distribuzione gaussiana (normale)N(μ, σ²) ha densità e^(−(x−μ)²/(2σ²)) / √(2πσ²), a campana centrata in μ con larghezza σ; media μ, varianza σ²; si standardizza con Z = (X − μ)/σ ~ N(0, 1) e si calcola P(X ≤ x) = Φ((x − μ)/σ), con Φ(−z) = 1 − Φ(z); aX + b è ancora gaussiana, N(aμ + b, a²σ²).Distribuzione gaussiana (normale) → · Funzioni di una variabile aleatoriaPer trovare la legge di Y = g(X) si calcola la FdD: F_Y(y) = P(g(X) ≤ y) = P(X ∈ g⁻¹((−∞, y])), poi si deriva; se g è strettamente monotona e derivabile vale la formula f_Y(y) = f_X(g⁻¹(y)) · |(g⁻¹)'(y)|; se g è costante a tratti Y è discreta; se g non è iniettiva (es. X²) si spezza l'evento.Funzioni di una variabile aleatoria → · Variabili aleatorie misteUna v.a. mista ha una FdD con salti (parte discreta, masse p_i nei punti x_i) e tratti crescenti continui (parte con densità f): E[g(X)] = Σ g(x_i) p_i + ∫ g(x) f(x) dx, con Σ p_i + ∫ f = 1; varianza come sempre E[X²] − E[X]².Variabili aleatorie miste →

• Continuità della probabilità: $A_n\uparrow\Rightarrow P(\bigcup A_n)=\lim P(A_n)$; $A_n\downarrow\Rightarrow P(\bigcap A_n)=\lim P(A_n)$. Borel $\mathcal B(\mathbb R)$ = $\sigma$-algebra generata dagli intervalli $(a,b]$.
• $X$ assolutamente continua: $F_X(x)=\int_{-\infty}^xf_X$ con $f_X\ge0$, $\int_{\mathbb R}f_X=1$; $P(a<X\le b)=\int_a^bf_X$, $P(X=x)=0$, $f_X=F_X'$ dove esiste; $E[g(X)]=\int g(x)f_X(x)\,dx$ (se $\int|g|f_X<\infty$).
• $U(a,b)$: $f=\frac1{b-a}\mathbb 1_{[a,b]}$, $F=\frac{x-a}{b-a}$ su $[a,b]$. Exp$(\lambda)$: $f=\lambda e^{-\lambda x}$ ($x\ge0$), $F=1-e^{-\lambda x}$, $P(X>t)=e^{-\lambda t}$, senza memoria $P(X>s+t\mid X>s)=P(X>t)$.
• Gamma: $\Gamma(\alpha)=\int_0^{+\infty}x^{\alpha-1}e^{-x}dx$ ($\Gamma(n)=(n-1)!$); $\Gamma(\alpha,\lambda)$: $\displaystyle f=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}$ ($x>0$); $\Gamma(1,\lambda)=\mathrm{Exp}(\lambda)$; $X\sim\Gamma(\alpha,\lambda)$, $Y\sim\Gamma(\beta,\lambda)$ indipendenti $\Rightarrow X+Y\sim\Gamma(\alpha+\beta,\lambda)$.
• Normale: $Z\sim N(0,1)$, $\varphi(z)=\frac1{\sqrt{2\pi}}e^{-z^2/2}$, $\Phi(z)=\int_{-\infty}^z\varphi$, $\Phi(-z)=1-\Phi(z)$. $X\sim N(\mu,\sigma^2)$: $f=\frac1{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$; $P(X\le x)=\Phi\big(\frac{x-\mu}\sigma\big)$; $aX+b\sim N(a\mu+b,a^2\sigma^2)$; $X,Y$ indipendenti $\Rightarrow X+Y\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$.
• $Y=g(X)$: $F_Y(y)=P(g(X)\le y)=P(X\in g^{-1}((-\infty,y]))$, poi si deriva; $g$ strettamente monotona e derivabile con inversa $h$: $f_Y(y)=f_X(h(y))\,|h'(y)|$. Se $F_Y$ è a gradini $Y$ è discreta.
• Mista: $\displaystyle F_X(x)=\sum_{x_i\le x}p_i+\int_{-\infty}^xf$, con $\sum p_i+\int f=1$; $E[g(X)]=\sum g(x_i)p_i+\int g\,f\,dx$.

Vettori aleatori

Note: Vettori aleatori discretiUn vettore aleatorio discreto (X, Y) è descritto dalla densità congiunta p(x, y) = P(X = x, Y = y); le marginali si ottengono sommando sull'altra variabile, X e Y sono indipendenti se p(x, y) = p_X(x) p_Y(y) per ogni coppia, e E[g(X, Y)] = Σ g(x, y) p(x, y).Vettori aleatori discreti → · Vettori aleatori assolutamente continuiUn vettore (X, Y) è assolutamente continuo se P((X, Y) ∈ A) = ∬_A f(x, y) dx dy per una densità congiunta f ≥ 0 con integrale 1; le marginali si ottengono integrando sull'altra variabile (f_X(x) = ∫ f(x, y) dy), X e Y sono indipendenti se f(x, y) = f_X(x) f_Y(y), e E[g(X, Y)] = ∬ g f. Il punto delicato degli esercizi è descrivere bene la regione dove f > 0.Vettori aleatori assolutamente continui → · Somma di variabili aleatorie indipendentiSe X e Y sono indipendenti, la legge di Z = X + Y è la convoluzione: p_Z(n) = Σ_k p_X(k) p_Y(n − k) nel discreto, f_Z(z) = ∫ f_X(z − y) f_Y(y) dy nel continuo. Casi notevoli: Bin(n,p) + Bin(m,p) = Bin(n+m,p), Poi(λ) + Poi(μ) = Poi(λ+μ), Geo + Geo con densità (n−1)p²(1−p)^(n−2), Exp(λ) + Exp(λ) = Γ(2,λ), gaussiane indipendenti sommano medie e varianze.Somma di variabili aleatorie indipendenti → · Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione → · Vettori gaussianiX = (X₁, ..., Xₙ) è un vettore gaussiano N(m, Σ) se ogni combinazione lineare a·X è gaussiana (equivalentemente X = m + AZ con Z gaussiane standard indipendenti); se Σ è invertibile ha densità exp(−½(x−m)ᵀΣ⁻¹(x−m)) / √((2π)ⁿ det Σ). Proprietà chiave: AX + b ~ N(Am + b, AΣAᵀ), le marginali sono gaussiane e componenti non correlate sono indipendenti.Vettori gaussiani →

• Discreti: $p_{X,Y}(x,y)=P(X=x,Y=y)$; marginali $p_X(x)=\sum_yp_{X,Y}(x,y)$, $p_Y(y)=\sum_xp_{X,Y}(x,y)$; indipendenti $\iff p_{X,Y}=p_Xp_Y$; $E[g(X,Y)]=\sum_{x,y}g(x,y)p_{X,Y}(x,y)$.
• Assolutamente continui: $P((X,Y)\in A)=\iint_Af_{X,Y}$, $\iint f_{X,Y}=1$, FdR $F_{X,Y}(x,y)=P(X\le x,Y\le y)$; marginali $f_X(x)=\int f_{X,Y}(x,y)\,dy$; indipendenti $\iff f_{X,Y}=f_Xf_Y$ ($\iff F_{X,Y}=F_XF_Y$); $E[g(X,Y)]=\iint g\,f_{X,Y}$.
• Somma di indipendenti (convoluzione): $p_Z(n)=\sum_kp_X(k)p_Y(n-k)$; $\displaystyle f_Z(z)=\int f_X(z-y)f_Y(y)\,dy$. Bin$(n,p)+$Bin$(m,p)=$Bin$(n+m,p)$; Poi$(\lambda)+$Poi$(\mu)=$Poi$(\lambda+\mu)$; Exp$(\lambda)+$Exp$(\lambda)=\Gamma(2,\lambda)$.
• $\mathrm{Cov}(X,Y)=E[(X-E X)(Y-E Y)]=E[XY]-E[X]E[Y]$; bilineare, $\mathrm{Cov}(X,X)=\mathrm{Var}(X)$; $\mathrm{Var}(aX+bY)=a^2\mathrm{Var}X+b^2\mathrm{Var}Y+2ab\,\mathrm{Cov}(X,Y)$. Indipendenti $\Rightarrow\mathrm{Cov}=0$ (non viceversa). $\rho=\frac{\mathrm{Cov}(X,Y)}{\sigma_X\sigma_Y}\in[-1,1]$, $|\rho|=1\iff Y=aX+b$. Matrice di covarianza $\Sigma_{ij}=\mathrm{Cov}(X_i,X_j)$ simmetrica e semidefinita positiva.
• Vettore gaussiano $X\sim N(m,\Sigma)$: ogni combinazione lineare è gaussiana ($\iff X=m+AZ$, $AA^T=\Sigma$). Se $\det\Sigma>0$: $\displaystyle f_X(x)=\frac{e^{-\frac12(x-m)^T\Sigma^{-1}(x-m)}}{\sqrt{(2\pi)^n\det\Sigma}}$. $BX+b\sim N(Bm+b,B\Sigma B^T)$. Nei vettori gaussiani componenti non correlate sono indipendenti ($\Sigma$ diagonale).

Densità e media condizionata

Note: Densità e media condizionataLa densità condizionata di X dato Y = y è p(x, y)/p_Y(y) nel discreto e f(x, y)/f_Y(y) nel continuo; la sua media è E[X | Y = y], e E[X | Y] è la v.a. che si ottiene sostituendo y con Y. Proprietà della torre: E[E[X | Y]] = E[X]. Per un vettore gaussiano, X dato Y = y è gaussiana con media m₁ + (Cov/Var Y)(y − m₂) e varianza σ₁²(1 − ρ²).Densità e media condizionata →

• Discreto: $p_{X\mid Y}(x\mid y)=\frac{p_{X,Y}(x,y)}{p_Y(y)}$, $E[X\mid Y=y]=\sum_xx\,p_{X\mid Y}(x\mid y)$. Continuo: $f_{X\mid Y}(x\mid y)=\frac{f_{X,Y}(x,y)}{f_Y(y)}$, $E[X\mid Y=y]=\int x\,f_{X\mid Y}(x\mid y)\,dx$. $E[X\mid Y]=h(Y)$ con $h(y)=E[X\mid Y=y]$.
• Torre: $E\big[E[X\mid Y]\big]=E[X]$, cioè $E[X]=\int E[X\mid Y=y]f_Y(y)\,dy$ (o $\sum_yE[X\mid Y=y]p_Y(y)$).
• Gaussiano: $X\mid Y=y\sim N\Big(m_1+\rho\frac{\sigma_1}{\sigma_2}(y-m_2),\ \sigma_1^2(1-\rho^2)\Big)$, quindi $E[X\mid Y]=m_1+\frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(Y)}(Y-m_2)$.

Funzioni generatrici

Note: Funzione generatrice dei momentiLa funzione generatrice dei momenti M_X(t) = E[e^(tX)] (quando è finita vicino a 0) produce i momenti per derivazione, E[X^k] = M_X^(k)(0); trasforma le somme di v.a. indipendenti in prodotti, M_(X+Y) = M_X M_Y, e se finita in un intorno di 0 determina la legge.Funzione generatrice dei momenti → · Funzione caratteristicaLa funzione caratteristica φ_X(θ) = E[e^(iθX)] = E[cos θX] + iE[sin θX] esiste per ogni v.a. e ogni θ, vale 1 in 0, ha modulo ≤ 1, determina la legge (è la trasformata di Fourier della densità), trasforma le somme di v.a. indipendenti in prodotti e dà i momenti: E[X^k] = φ^(k)(0) / i^k. Per N(μ, σ²) vale e^(iμθ − σ²θ²/2).Funzione caratteristica →

• $M_X(t)=E[e^{tX}]$ (finita in un intorno di $0$): $E[X^k]=M_X^{(k)}(0)$; $M_{aX+b}(t)=e^{bt}M_X(at)$; indipendenti: $M_{X+Y}=M_XM_Y$; due v.a. con la stessa $M$ vicino a $0$ hanno la stessa legge. Esempio: Exp$(1)$ ha $M(t)=\frac1{1-t}$ per $t<1$.
• $\varphi_X(\theta)=E[e^{i\theta X}]$ esiste sempre: $\varphi_X(0)=1$, $|\varphi_X|\le1$, $\varphi_X(-\theta)=\overline{\varphi_X(\theta)}$, uniformemente continua, $\varphi_{aX+b}(\theta)=e^{ib\theta}\varphi_X(a\theta)$; $X$ simmetrica $\Rightarrow\varphi_X$ reale e pari.
• $E[X^k]=\frac{\varphi_X^{(k)}(0)}{i^k}$; indipendenti: $\varphi_{X+Y}=\varphi_X\varphi_Y$; unicità: stessa $\varphi$ $\Rightarrow$ stessa legge. Inversione (se $\int|\varphi_X|<\infty$): $\displaystyle f_X(x)=\frac1{2\pi}\int e^{-i\theta x}\varphi_X(\theta)\,d\theta$. $N(\mu,\sigma^2)$: $e^{i\mu\theta-\sigma^2\theta^2/2}$. Bochner: $\varphi$ è caratteristica $\iff\varphi(0)=1$, continua e definita positiva.

Convergenze e teoremi limite

Note: Convergenza di successioni di variabili aleatorieQuattro modi in cui X_n → X: quasi certa (P(X_n → X) = 1), in probabilità (P(|X_n − X| > ε) → 0 per ogni ε), in media p-esima (E|X_n − X|^p → 0), in distribuzione (F_(X_n)(x) → F_X(x) nei punti di continuità di F_X). Relazioni: q.c. ⇒ prob., L^p ⇒ prob. ⇒ distr., L² ⇒ L¹; in distribuzione verso una costante ⇔ in probabilità. Teorema di Lévy: convergenza in distribuzione ⇔ convergenza puntuale delle funzioni caratteristiche.Convergenza di successioni di variabili aleatorie → · Legge dei grandi numeri e metodo Monte CarloSe X₁, X₂, ... sono i.i.d. con media μ, la media campionaria X̄ₙ = (X₁ + ... + Xₙ)/n converge a μ: in probabilità (legge debole, dimostrata con Chebyshev se la varianza è finita: P(|X̄ₙ − μ| > ε) ≤ σ²/(nε²)) e quasi certamente (legge forte). Metodo Monte Carlo: ∫ g = E[g(U)] si stima con la media di g(U₁), ..., g(Uₙ) per uniformi indipendenti.Legge dei grandi numeri e metodo Monte Carlo → · Teorema del limite centrale e approssimazione normaleSe X₁, X₂, ... sono i.i.d. con media μ e varianza σ² ∈ (0, ∞), la somma standardizzata (Sₙ − nμ)/(σ√n) converge in distribuzione a N(0, 1): per n grande P(Sₙ ≤ x) ≈ Φ((x − nμ)/(σ√n)). Caso binomiale (De Moivre-Laplace): Bin(n, p) ≈ N(np, np(1 − p)), con correzione di continuità ±0,5. Si dimostra con le funzioni caratteristiche e il teorema di Lévy.Teorema del limite centrale e approssimazione normale →

• $X_n\to X$: quasi certamenteCon probabilità 1: l'insieme degli esiti in cui la convergenza non vale ha probabilità zero. se $P(X_n\to X)=1$; in probabilità se $P(|X_n-X|>\varepsilon)\to0$ $\forall\varepsilon>0$; in $L^p$ se $E[|X_n-X|^p]\to0$; in distribuzione se $F_{X_n}(x)\to F_X(x)$ nei punti di continuità di $F_X$.
• Implicazioni: q.c. $\Rightarrow$ prob.; $L^p\Rightarrow$ prob. $\Rightarrow$ distr.; $L^q\Rightarrow L^p$ se $q\ge p$; in distribuzione verso una costante $\iff$ in probabilità. Lévy: $X_n\xrightarrow{d}X\iff\varphi_{X_n}(\theta)\to\varphi_X(\theta)$ $\forall\theta$ (limite continuo in $0$).
• Legge debole ($X_i$ i.i.d.Indipendenti e identicamente distribuite: indipendenti tra loro e con la stessa legge., media $\mu$, varianza $\sigma^2$): $\displaystyle P(|\bar X_n-\mu|>\varepsilon)\le\frac{\sigma^2}{n\varepsilon^2}\to0$. Legge forte (Kolmogorov, $E|X_1|<\infty$): $\bar X_n\to\mu$ quasi certamente. Monte Carlo: $\frac1n\sum g(U_k)\to\int_0^1g$ con $U_k$ uniformi indipendenti.
• TLC: $\displaystyle P\Big(\frac{S_n-n\mu}{\sigma\sqrt n}\le x\Big)\to\Phi(x)$ ($\sigma^2\in(0,\infty)$); per $n$ grande $S_n\approx N(n\mu,n\sigma^2)$, $\bar X_n\approx N(\mu,\frac{\sigma^2}n)$, $P(S_n\le x)\approx\Phi\big(\frac{x-n\mu}{\sigma\sqrt n}\big)$.
• De Moivre-Laplace: Bin$(n,p)\approx N(np,np(1-p))$; con correzione di continuità (valori interi) $\displaystyle P(X\le k)\approx\Phi\Big(\frac{k+0{,}5-np}{\sqrt{np(1-p)}}\Big)$, $\displaystyle P(X\ge k)\approx1-\Phi\Big(\frac{k-0{,}5-np}{\sqrt{np(1-p)}}\Big)$.