Esercizio - Correlazione di Pearson su tre e quattro osservazioni

Questa pagina non ha ancora la versione ripasso: qui sotto c'è il testo completo.

Testo (dalle slide sulla correlazione). Calcolare il coefficiente di correlazione di Pearson tra $X$ e $Y$ nei casi:

1. $X=[1,0,2]$, $Y=[2,-1,5]$;
2. $X=[0,1,2,5]$, $Y=[4,1,3,0]$;
3. $X=[1,2,3,4,5]$, $Y=X^2=[1,4,9,16,25]$: confrontare Pearson e Spearman e commentare.

Teoria usata: Correlazione e visualizzazione dei datiLa correlazione di Pearson $r=\sum(X_i-\bar X)(Y_i-\bar Y)/\big(\sqrt{\sum(X_i-\bar X)^2}\sqrt{\sum(Y_i-\bar Y)^2}\big)\in[-1,1]$ misura la relazione lineare tra due variabili (covarianza divisa per le deviazioni standard); correlazione non implica causalità. Serve a capire quali variabili contano per il target e a eliminare quelle quasi duplicate (|r| molto alto). Gli indicatori di sintesi non bastano (quartetto di Anscombe, Datasaurus): vanno affiancati ai grafici: istogramma, KDE, box plot, violin plot, heatmap di correlazione, scatter plot e matrice di scatter plot.Correlazione e visualizzazione dei dati → (Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione → per la definizione probabilistica). Il significato geometrico usa Prodotto scalare, norma e angoliIl prodotto scalare aggiunge a uno spazio vettoriale lunghezze e angoli: norma, disuguaglianza di Cauchy-Schwarz, angolo tra vettori in R^n, ortogonalità, proiezione su una retta, aree e volumi con il determinante della matrice dei prodotti scalari.Prodotto scalare, norma e angoli →.

Formula

$$r=\frac{\sum_i(X_i-\bar X)(Y_i-\bar Y)}{\sqrt{\sum_i(X_i-\bar X)^2}\ \sqrt{\sum_i(Y_i-\bar Y)^2}}.$$ Si procede sempre allo stesso modo: medie, scarti, somma dei prodotti degli scarti (numeratore), somme dei quadrati degli scarti (denominatore).

1. $X=[1,0,2]$, $Y=[2,-1,5]$

• Medie: $\bar X=\frac{1+0+2}3=1$, $\bar Y=\frac{2-1+5}3=2$.
• Scarti: $X_i-\bar X=[0,-1,1]$, $Y_i-\bar Y=[0,-3,3]$.
• Numeratore: $0\cdot0+(-1)(-3)+1\cdot3=0+3+3=6$.
• Quadrati: $\sum(X_i-\bar X)^2=0+1+1=2$, $\sum(Y_i-\bar Y)^2=0+9+9=18$.
• $r=\dfrac{6}{\sqrt2\,\sqrt{18}}=\dfrac{6}{\sqrt{36}}=\dfrac66=1$.

Correlazione perfetta positiva: gli scarti di $Y$ sono esattamente $3$ volte quelli di $X$ ($[0,-3,3]=3\cdot[0,-1,1]$), cioè i punti sono su una retta crescente ($Y=3X-1$). Geometricamente i due vettori degli scarti sono paralleli e concordi: $r$ è il coseno dell'angolo tra loro, quindi $\cos0^\circ=1$.

2. $X=[0,1,2,5]$, $Y=[4,1,3,0]$

• Medie: $\bar X=\frac{0+1+2+5}4=2$, $\bar Y=\frac{4+1+3+0}4=2$.
• Scarti: $X_i-\bar X=[-2,-1,0,3]$, $Y_i-\bar Y=[2,-1,1,-2]$.
• Numeratore: $(-2)(2)+(-1)(-1)+0\cdot1+3\cdot(-2)=-4+1+0-6=-9$.
• Quadrati: $4+1+0+9=14$ e $4+1+1+4=10$.
• $r=\dfrac{-9}{\sqrt{14}\,\sqrt{10}}=\dfrac{-9}{\sqrt{140}}=\dfrac{-9}{11{,}832}=-0{,}761$.

Correlazione negativa e abbastanza forte: all'aumentare di $X$, $Y$ tende a scendere, ma non in modo esattamente lineare. La retta dei minimi quadrati ha pendenza $\frac{-9}{14}=-0{,}643$ e passa per $(\bar X,\bar Y)=(2,2)$: $\hat Y=2-0{,}643\,(X-2)=3{,}286-0{,}643X$ (vedi il grafico in Correlazione e visualizzazione dei datiLa correlazione di Pearson $r=\sum(X_i-\bar X)(Y_i-\bar Y)/\big(\sqrt{\sum(X_i-\bar X)^2}\sqrt{\sum(Y_i-\bar Y)^2}\big)\in[-1,1]$ misura la relazione lineare tra due variabili (covarianza divisa per le deviazioni standard); correlazione non implica causalità. Serve a capire quali variabili contano per il target e a eliminare quelle quasi duplicate (|r| molto alto). Gli indicatori di sintesi non bastano (quartetto di Anscombe, Datasaurus): vanno affiancati ai grafici: istogramma, KDE, box plot, violin plot, heatmap di correlazione, scatter plot e matrice di scatter plot.Correlazione e visualizzazione dei dati →). Si noti che $r^2=\frac{81}{140}=0{,}579$ è la frazione di varianza di $Y$ spiegata dalla retta (Regressione lineareNell'apprendimento supervisionato si impara una funzione $F(x)$ dagli esempi $(x,y)$: regressione se $y$ è continua, classificazione se è categorica. Il modello lineare è $F_\beta(x)=\beta_0+\beta_1x_1+\dots+\beta_px_p=X\beta$ (con una colonna di uni per $\beta_0$) e i parametri si scelgono minimizzando l'errore quadratico medio $\mathrm{MSE}=\frac1n\sum_i(y_i-F_\beta(x_i))^2$, funzione convessa dei parametri. Annullando il gradiente di $J(\beta)=|y-X\beta|^2$ si ottengono le equazioni normali $X^TX\beta=X^Ty$ e la soluzione dei minimi quadrati ordinari $\beta=(X^TX)^{-1}X^Ty$. Il coefficiente di determinazione $R^2=1-SS_{res}/SS_{tot}$ misura la qualità del fit (0 = come la media, negativo = peggio della media). Un modello va valutato su un test set mai usato per addestrare: l'errore sul training è ottimistico e un polinomio di grado alto lo azzera senza generalizzare.Regressione lineare →).

3. $Y=X^2$: Pearson contro Spearman

$X=[1,2,3,4,5]$, $\bar X=3$, scarti $[-2,-1,0,1,2]$; $Y=[1,4,9,16,25]$, $\bar Y=11$, scarti $[-10,-7,-2,5,14]$.

• Numeratore: $(-2)(-10)+(-1)(-7)+0\cdot(-2)+1\cdot5+2\cdot14=20+7+0+5+28=60$.
• Quadrati: $\sum(X_i-\bar X)^2=4+1+0+1+4=10$; $\sum(Y_i-\bar Y)^2=100+49+4+25+196=374$.
• $r=\dfrac{60}{\sqrt{10}\,\sqrt{374}}=\dfrac{60}{61{,}16}=0{,}981$.

Pearson è molto alto ma non $1$, perché la relazione è crescente ma non lineare. La correlazione di Spearman usa i ranghi: i ranghi di $X$ sono $[1,2,3,4,5]$ e quelli di $Y$ sono gli stessi $[1,2,3,4,5]$ (la relazione è monotona), quindi Pearson sui ranghi vale $\rho=1$.

Verifica

import numpy as np
from scipy.stats import spearmanr
print(np.corrcoef([1,0,2], [2,-1,5])[0,1])            # 1.0
print(np.corrcoef([0,1,2,5], [4,1,3,0])[0,1])         # -0.7606
a = np.arange(1, 6); print(np.corrcoef(a, a**2)[0,1], spearmanr(a, a**2)[0])   # 0.9811 1.0

Con np.corrcoef(X, rowvar=False) per una matrice con le osservazioni sulle righe si ottiene la matrice di correlazione di tutte le variabili.