Lezione 05 - Visualizzazione di dati multidimensionali e PCA

Settimana: 2 · Fonte: slide del corso Machine Learning, Ingegneria dell'Automazione UniPD (lezione 5)

Argomenti trattati

1. Il problema: con più di tre variabili il dataset non si può disegnare.
2. PCA: componenti principali come autovettori della matrice di covarianza, varianza spiegata, scree plot; equivalenza tra minimizzare le distanze e massimizzare la varianza.
3. Standardizzare prima della PCA quando le scale sono diverse; metodo della covarianza e tramite SVD.
4. Metodi non lineari di visualizzazione (t-SNE, UMAP) e limiti della PCA.

Teoria

• Analisi delle componenti principali (PCA)Con $p>3$ variabili non si può disegnare il dataset. La PCA (analisi delle componenti principali) lo proietta su pochi assi ortogonali, le componenti principali: dopo aver centrato (e di solito standardizzato) i dati, le direzioni sono gli autovettori della matrice di covarianza $S=\frac1{n-1}X_c^TX_c$ ordinati per autovalore $\lambda_1\ge\lambda_2\ge\dots$; $\lambda_k$ è la varianza lungo la componente $k$ e $\lambda_k/\sum\lambda_j$ la frazione spiegata (scree plot). Trovare la retta che minimizza le distanze dai punti equivale a massimizzare la varianza delle proiezioni (Pitagora). È lineare e conserva la struttura globale, non quella locale; t-SNE e UMAP sono alternative non lineari solo per visualizzare. Approfondimento: non nel programma di Telecomunicazioni.Analisi delle componenti principali (PCA) →

Esercizi

• Esercizio - PCA da zero sul dataset California Housing

Lezione precedente: Lezione 4 · Correlazione e visualizzazione dei dati Lezione successiva: Lezione 6 · Laboratorio di statistica, visualizzazioni e PCA