Lezione 08 - Ridge regression, overfitting e cross-validation

Settimana: 3 · Fonte: slide del corso Machine Learning, Ingegneria dell'Automazione UniPD (lezione 8)

Argomenti trattati

1. Overfitting e underfitting: scomposizione dell'errore in bias al quadrato, varianza e rumore.
2. Cross-validation: K-fold, Monte Carlo, leave-one-out.
3. Ridge regression: penalità $L_2$, soluzione in forma chiusa $(X^TX + \lambda I)^{-1} X^T y$, standardizzazione e intercetta non penalizzata.
4. Scelta di lambda con la cross-validation e cross-validation annidata per non barare sulla stima dell'errore.

Teoria

• Overfitting, ridge regression e cross-validationUna buona prestazione sul training non basta: serve stimare quella su dati nuovi. La cross-validation (K-fold: $k$ parti, ciascuna a turno come test, errore medio; Monte Carlo: $k$ divisioni casuali con quota di test $q$; leave-one-out se $k=n$) evita di dipendere da una sola divisione casuale. L'errore atteso si scompone in $\text{bias}^2+\text{varianza}+\sigma^2$: i modelli semplici fanno underfitting (bias alto), quelli complessi overfitting (varianza alta). La regolarizzazione aggiunge alla perdita una penalità: la ridge regression minimizza $|y-X\beta|^2+\lambda\sum_{j\ge1}\beta_j^2$ e ha soluzione $\beta=(X^TX+\lambda\tilde I)^{-1}X^Ty$ (l'intercetta non si penalizza, le feature si standardizzano): riduce i coefficienti, rende l'inversa stabile con feature collineari, e $\lambda$ è un iperparametro scelto con la validazione (cross-validation annidata per non contaminare il test).Overfitting, ridge regression e cross-validation →

Esercizi

• Esercizio - Ridge regression con standardizzazione e coefficienti in unità originali

Lezione precedente: Lezione 7 · Regressione lineare Lezione successiva: Lezione 9 · Laboratorio di regressione lineare e ridge