Lezione 35Laboratorio di ripasso - XAI

Settimana: 14 · Fonte: notebook LAB9_XAI del repository dei laboratori del corso Machine Learning, Ingegneria dell'Automazione UniPD

Argomenti trattati

1. Laboratorio senza slide, dal notebook LAB9_XAI (la pagina Moodle lo indica come «LAB ripasso»): dataset Heart (cardiopatia AHD, $13$ attributi).
2. Codifica one-hot contro label encoding; divisione in training e test, normalizzazione con le statistiche del training.
3. Regressione logistica: coefficienti come spiegazione, effetto della scala delle feature, accuratezza di training $0{,}857$ e test $0{,}85$.
4. LASSO: percorso dei pesi al variare di $\alpha$.
5. Random forest: curve ICE, PDP (media delle ICE), mappa a due feature.
6. SHAP: summary_plot (spiegazione globale) e waterfall_plot (spiegazione locale).

Teoria

• Explainable AI (XAI)approfondimento: non nel programma di Telecomunicazioni. L'interpretabilità è l'arte di produrre descrizioni di un modello abbastanza semplici da essere capite da un umano; la spiegabilità aggiunge la completezza (permettere di anticipare la previsione). I metodi si classificano in intrinseci o post-hoc, agnostici o specifici del modello, globali o locali. Modelli intrinsecamente interpretabili: regressione lineare (pesi $\beta_j$, intervalli di confidenza, LASSO per la sparsità), regressione logistica ($\log\frac y{1-y}=\beta_0+\sum\beta_jx_j$), alberi. Importanza nelle foreste: MDI $=\sum_{\text{nodi}}\frac{n_p}{n_{TOT}}\Delta Gini$ (con feature selection bias). Metodi agnostici: permutation importance (aumento dell'errore dopo aver mescolato una feature), PDP $\hat f_S(x_S)=\frac1n\sum_if(x_S,x_C^{(i)})$ (media delle curve ICE), LIME (modello semplice locale pesato sui punti perturbati), SHAP (valori di Shapley: media dei contributi marginali su tutti gli ordini, somma $=f(x)-f(\text{base})$). Per le reti profonde: mappe di salienza, Grad-CAM, occlusione. Valutazione: livello applicativo, umano, funzionale. Lab: cardiopatia AHD con logistica, LASSO, random forest, ICE, PDP, SHAP.Explainable AI (XAI) →
• Regressione logistica e softmaxLa regressione lineare non è adatta alla classificazione (valori fuori da [0,1], retta tirata dai punti lontani). La regressione logistica passa il predittore lineare dalla sigmoide $\sigma(z)=1/(1+e^{-z})$ e interpreta $\hat y=\sigma(x^T\beta)$ come $P(y=1\mid x)$: si predice la classe 1 se $\hat y\ge0{,}5$, cioè $x^T\beta\ge0$ (bordo lineare). L'errore quadratico dà una funzione non convessa; si usa la log-verosimiglianza negativa $-\sum[y\log\hat y+(1-y)\log(1-\hat y)]$, convessa, con gradiente $X^T(\hat y-y)$ e nessuna formula chiusa (discesa del gradiente). Per più classi: one-vs-one ($C(C-1)/2$ classificatori, voto), one-vs-all ($C$ classificatori, massima probabilità), o la softmax $p_c=e^{z_c}/\sum_ke^{z_k}$ con cross-entropia. Si può regolarizzare (ridge, LASSO, Elastic Net) e la cross-validation si fa stratificata. Approfondimento: non nel programma di Telecomunicazioni.Regressione logistica e softmax →

Esercizi

• Esercizio - XAI su cardiopatia e calcolo a mano di permutation importance, PDP e Shapley

Lezione precedente: Lezione 34 · Explainable AI 2 Lezione successiva: Lezione 36 · Cosa c'è dopo (What's next)