Lezione 13Regressione logistica, softmax e metriche di classificazione

Settimana: 5 · Fonte: slide del corso Machine Learning, Ingegneria dell'Automazione UniPD (lezione 13)

Argomenti trattati

1. Regressione logistica: sigmoide, probabilità $P(y=1\mid x)$, bordo lineare; perché non la regressione lineare e non l'errore quadratico.
2. Log-verosimiglianza negativa (cross-entropy) convessa, gradiente $X^T(\hat y - y)$ e discesa del gradiente.
3. Più classi: one-vs-one, one-vs-all e softmax.
4. Metriche: matrice di confusione, accuracy, specificità, precision, recall, $F_1$; dati sbilanciati, soglia di decisione, curva ROC e AUC, cross-validation stratificata.
5. Collegamento: il Perceptron è un classificatore lineare a soglia (vedi la nota su halfspace e Perceptron, ripresa dalla Lezione 23).
6. Approfondimento: la regressione logistica non è nel programma di Telecomunicazioni.

Teoria

• Regressione logistica e softmaxLa regressione lineare non è adatta alla classificazione (valori fuori da [0,1], retta tirata dai punti lontani). La regressione logistica passa il predittore lineare dalla sigmoide $\sigma(z)=1/(1+e^{-z})$ e interpreta $\hat y=\sigma(x^T\beta)$ come $P(y=1\mid x)$: si predice la classe 1 se $\hat y\ge0{,}5$, cioè $x^T\beta\ge0$ (bordo lineare). L'errore quadratico dà una funzione non convessa; si usa la log-verosimiglianza negativa $-\sum[y\log\hat y+(1-y)\log(1-\hat y)]$, convessa, con gradiente $X^T(\hat y-y)$ e nessuna formula chiusa (discesa del gradiente). Per più classi: one-vs-one ($C(C-1)/2$ classificatori, voto), one-vs-all ($C$ classificatori, massima probabilità), o la softmax $p_c=e^{z_c}/\sum_ke^{z_k}$ con cross-entropia. Si può regolarizzare (ridge, LASSO, Elastic Net) e la cross-validation si fa stratificata. Approfondimento: non nel programma di Telecomunicazioni.Regressione logistica e softmax →
• Metriche di classificazioneIn classificazione binaria ogni previsione è vero positivo (TP), vero negativo (TN), falso positivo (FP, errore di tipo I) o falso negativo (FN, errore di tipo II). Da queste quattro quantità: accuracy $=\frac{TP+TN}{TP+TN+FP+FN}$, specificità $=\frac{TN}{TN+FP}$, precision $=\frac{TP}{TP+FP}$, recall $=\frac{TP}{TP+FN}$, e la loro media armonica $F_1=\frac{2PR}{P+R}$. Con dati sbilanciati l'accuracy inganna (un modello che predice sempre la classe maggioritaria ha 99%): si usano precision, recall, F1, ROC-AUC, la cross-validation stratificata e il riequilibrio con undersampling o oversampling (non SMOTE). Cambiando la soglia sulla probabilità si ottiene la curva ROC (TPR contro FPR) e l'area AUC. Approfondimento: non nel programma di Telecomunicazioni.Metriche di classificazione →
• Halfspace e PerceptronUn halfspace (semispazio) classifica con un iperpiano: $h(x)=\operatorname{sign}(w^Tx+b)$, con $w$ normale al piano e $|w^Tx+b|/|w|$ distanza dal piano; aggiungendo una componente costante $1$ a $x$ si scrive $\operatorname{sign}(\tilde w^T\tilde x)$. Il Perceptron (Rosenblatt, 1958) è il neurone con attivazione a gradino e impara con una regola semplice: per ogni errore $y_i,w^Tx_i\le0$ si aggiorna $w\leftarrow w+y_ix_i$. Teorema di convergenza (Novikoff): se i dati sono linearmente separabili con margine $\gamma$ ($y_iw^{T}x_i\ge\gamma$, $|w^|=1$) e $|x_i|\le R$, il Perceptron fa al più $(R/\gamma)^2$ errori e si ferma. Non risolve problemi non separabili (XOR), non ha un criterio di margine ottimale (le SVM sì) e il suo analogo morbido è la regressione logistica. Programma di Telecomunicazioni: halfspace model, Perceptron.Halfspace e Perceptron →

Esercizi

• Esercizio - Regressione logistica su sei punti con discesa del gradiente
• Esercizio - Metriche di classificazione da una matrice di confusione
• Esercizio - Perceptron a mano su quattro punti
• Esercizio - Halfspace, distanza dal piano e problema XOR

Lezione precedente: Lezione 12 · Laboratorio di regolarizzazione Lezione successiva: Lezione 14 · Test di esempio e ripasso