Lezione 04 - Correlazione e visualizzazione dei dati

Settimana: 2 · Fonte: slide del corso Machine Learning, Ingegneria dell'Automazione UniPD (lezione 4)

Argomenti trattati

1. Correlazione di Pearson: covarianza divisa per le deviazioni standard, valori in $[-1,1]$, correlazione e causalità.
2. A che cosa serve nel ML: scegliere le variabili legate al target ed eliminare quelle quasi duplicate.
3. Gli indicatori di sintesi non bastano: quartetto di Anscombe e Datasaurus.
4. Grafici principali: istogramma e KDE, box plot, violin plot, heatmap di correlazione, scatter plot e matrice di scatter plot.

Teoria

• Correlazione e visualizzazione dei datiLa correlazione di Pearson $r=\sum(X_i-\bar X)(Y_i-\bar Y)/\big(\sqrt{\sum(X_i-\bar X)^2}\sqrt{\sum(Y_i-\bar Y)^2}\big)\in[-1,1]$ misura la relazione lineare tra due variabili (covarianza divisa per le deviazioni standard); correlazione non implica causalità. Serve a capire quali variabili contano per il target e a eliminare quelle quasi duplicate (|r| molto alto). Gli indicatori di sintesi non bastano (quartetto di Anscombe, Datasaurus): vanno affiancati ai grafici: istogramma, KDE, box plot, violin plot, heatmap di correlazione, scatter plot e matrice di scatter plot.Correlazione e visualizzazione dei dati →

Esercizi

• Esercizio - Correlazione di Pearson su tre e quattro osservazioni

Lezione precedente: Lezione 3 · Laboratorio Python, Colab e JupyterLab Lezione successiva: Lezione 5 · Visualizzazione di dati multidimensionali e PCA