Lezione 07 - Regressione lineare

Settimana: 3 · Fonte: slide del corso Machine Learning, Ingegneria dell'Automazione UniPD (lezione 7)

Argomenti trattati

1. Il problema supervisionato: funzione $F(x)$ appresa da esempi $(x,y)$; regressione e classificazione.
2. Modello lineare $F_\beta (x)=X \beta$ con colonna di uni per l'intercetta.
3. Errore quadratico medio come funzione di costo convessa; equazioni normali $X^TX \beta = X^T y$ e soluzione OLS.
4. Coefficiente di determinazione $R^2$; aumento delle feature (espansione di base polinomiale) e overfitting.
5. Training e test: perché la prestazione sul training non basta.

Teoria

• Regressione lineareNell'apprendimento supervisionato si impara una funzione $F(x)$ dagli esempi $(x,y)$: regressione se $y$ è continua, classificazione se è categorica. Il modello lineare è $F_\beta(x)=\beta_0+\beta_1x_1+\dots+\beta_px_p=X\beta$ (con una colonna di uni per $\beta_0$) e i parametri si scelgono minimizzando l'errore quadratico medio $\mathrm{MSE}=\frac1n\sum_i(y_i-F_\beta(x_i))^2$, funzione convessa dei parametri. Annullando il gradiente di $J(\beta)=|y-X\beta|^2$ si ottengono le equazioni normali $X^TX\beta=X^Ty$ e la soluzione dei minimi quadrati ordinari $\beta=(X^TX)^{-1}X^Ty$. Il coefficiente di determinazione $R^2=1-SS_{res}/SS_{tot}$ misura la qualità del fit (0 = come la media, negativo = peggio della media). Un modello va valutato su un test set mai usato per addestrare: l'errore sul training è ottimistico e un polinomio di grado alto lo azzera senza generalizzare.Regressione lineare →

Esercizi

• Esercizio - Regressione ai minimi quadrati su quattro punti
• Esercizio - OLS, R quadro e aumento polinomiale delle feature

Lezione precedente: Lezione 6 · Laboratorio di statistica, visualizzazioni e PCA Lezione successiva: Lezione 8 · Ridge regression, overfitting e cross-validation