Lezione 10LASSO e discesa del gradiente

Settimana: 4 · Fonte: slide del corso Machine Learning, Ingegneria dell'Automazione UniPD (lezione 10)

Argomenti trattati

1. LASSO: penalità $L_1$, soluzioni sparse e selezione delle feature; interpretazione geometrica (rombo contro cerchio).
2. Confronto ridge e LASSO, traceplot dei coefficienti e Elastic Net.
3. Discesa del gradiente: passo $\eta$, condizione di convergenza sul passo, subgradiente per il valore assoluto.
4. Scelta del passo e di lambda con la cross-validation.

Teoria

• LASSO e discesa del gradienteIl LASSO è la regressione regolarizzata con penalità $L_1$: minimizza $\sum_i(y_i-x_i^T\beta)^2+\lambda\sum_{j\ge1}|\beta_j|$. A differenza della ridge, porta alcuni coefficienti esattamente a zero (soluzione sparsa, selezione delle feature): geometricamente le curve di livello dell'errore toccano il vincolo $\sum|\beta_j|\le s$ (un rombo) in uno spigolo. Non ha formula chiusa, quindi si minimizza con la discesa del gradiente $W\leftarrow W-\eta,\nabla J(W)$, usando il subgradiente $\operatorname{sign}(\beta_j)$ per il valore assoluto (nel punto 0 qualunque valore in $[-1,1]$). Il passo $\eta$ è critico: per l'errore quadratico converge se $\eta<1/\mu_{\max}(X^TX)$; si può usare $\eta_t=\eta_0/(1+\gamma t)$. L'Elastic Net combina le penalità $L_1$ e $L_2$ con $\lambda_1=\alpha\lambda$, $\lambda_2=(1-\alpha)\lambda$.LASSO e discesa del gradiente →

Esercizi

• Esercizio - Discesa del gradiente per il LASSO e scelta del passo

Lezione precedente: Lezione 9 · Laboratorio di regressione lineare e ridge Lezione successiva: Lezione 11 · Classificazione e k-nearest neighbors