Esercizio - Metriche di classificazione da una matrice di confusione

Questa pagina non ha ancora la versione ripasso: qui sotto c'è il testo completo.

Testo (dalle slide sulla classificazione). Tre filtri antispam sono valutati su mail con classe positiva «spam».

• Modello 1, su $100$ mail ($33$ spam e $67$ non spam): dei $33$ spam, $27$ sono previsti spam e $6$ non spam; dei $67$ non spam, $10$ sono previsti spam e $57$ non spam.
• Modello 2, su $1000$ mail ($10$ spam e $990$ non spam): predice sempre «non spam».
• Modello 3, sulle stesse $1000$ mail del modello 2: trova $9$ spam su $10$ ma classifica come spam anche $190$ mail normali.

Per ciascuno: matrice di confusione, accuracy, specificità, precision, recall e $F_1$; dire quale modello è migliore per un filtro antispam. In più: metriche macro per una classificazione a tre classi.

Teoria usata: Metriche di classificazioneIn classificazione binaria ogni previsione è vero positivo (TP), vero negativo (TN), falso positivo (FP, errore di tipo I) o falso negativo (FN, errore di tipo II). Da queste quattro quantità: accuracy $=\frac{TP+TN}{TP+TN+FP+FN}$, specificità $=\frac{TN}{TN+FP}$, precision $=\frac{TP}{TP+FP}$, recall $=\frac{TP}{TP+FN}$, e la loro media armonica $F_1=\frac{2PR}{P+R}$. Con dati sbilanciati l'accuracy inganna (un modello che predice sempre la classe maggioritaria ha 99%): si usano precision, recall, F1, ROC-AUC, la cross-validation stratificata e il riequilibrio con undersampling o oversampling (non SMOTE). Cambiando la soglia sulla probabilità si ottiene la curva ROC (TPR contro FPR) e l'area AUC. Approfondimento: non nel programma di Telecomunicazioni.Metriche di classificazione →; i concetti di classe positiva e di errore sono in Classificazione e k-nearest neighborsNella classificazione l'uscita $y$ è una categoria (con $C$ classi; $C=2$ è il caso binario). Il classificatore più semplice è il k-nearest neighbors: una nuova osservazione prende la classe più frequente (voto di maggioranza) tra i suoi $k$ vicini più prossimi nel training, con distanza euclidea $\sqrt{\sum(A_i-B_i)^2}$ o di Manhattan $\sum|A_i-B_i|$ (per la regressione si fa la media dei vicini). $k$ è un iperparametro: $k$ piccolo dà bordi frastagliati e overfitting, $k$ grande underfitting. È un metodo basato su istanze e «pigro» (nessun addestramento, costo alla predizione), sensibile a scala e feature irrilevanti e alla maledizione della dimensionalità; gli ingressi categorici si codificano con one-hot. Approfondimento: non nel programma di Telecomunicazioni.Classificazione e k-nearest neighbors →.

Modello 1

Righe: classe vera; colonne: prevista. $TP=27$ (spam previsti spam), $FN=6$, $FP=10$ (non spam previsti spam), $TN=57$.

• accuracy $=\frac{27+57}{100}=0{,}84$;
• recall $=\frac{27}{27+6}=\frac{27}{33}=0{,}818$ (trova l'$82\%$ dello spam);
• specificità $=\frac{57}{57+10}=\frac{57}{67}=0{,}851$;
• precision $=\frac{27}{27+10}=\frac{27}{37}=0{,}730$;
• $F_1=\frac{2\cdot0{,}730\cdot0{,}818}{0{,}730+0{,}818}=0{,}771$.

La tabella delle slide riporta «overall accuracy $83{,}44\%$»: è la media delle due percentuali di riga, $\frac{81{,}81+85{,}07}2=83{,}44$, cioè la media di recall e specificità (balanced accuracy); l'accuracy vera è $84\%$.

Modello 2

$TP=0$, $FN=10$, $FP=0$, $TN=990$.

• accuracy $=\frac{0+990}{1000}=0{,}99$ ($99\%$!);
• recall $=\frac{0}{10}=0$: non trova nessuno spam;
• specificità $=\frac{990}{990}=1$;
• precision $=\frac{0}{0+0}$: indefinita (non ha mai previsto spam);
• $F_1=0$ (per convenzione).

L'accuracy del $99\%$ è ingannevole: coincide con la frazione di non spam. Il modello è inutile per trovare lo spam: con dati sbilanciati l'accuracy non basta.

Modello 3

$TP=9$, $FN=1$, $FP=190$, $TN=800$ (i $990$ non spam: $190$ mal classificati e $800$ giusti).

• accuracy $=\frac{9+800}{1000}=0{,}809$;
• recall $=\frac9{10}=0{,}90$;
• specificità $=\frac{800}{990}=0{,}808$;
• precision $=\frac{9}{9+190}=\frac9{199}=0{,}045$;
• $F_1=\frac{2\cdot0{,}045\cdot0{,}90}{0{,}045+0{,}90}=0{,}086$.

Trova quasi tutto lo spam ma sbaglia 19 volte su 20 quando dice «spam»: ($190$ falsi allarmi su $199$ segnalazioni).

Confronto

Il modello 2 ha la migliore accuracy ma è inutile; il modello 3 ha un buon recall ma è inutilizzabile in pratica (bloccherebbe quasi solo posta legittima). Per un filtro antispam, in cui bloccare una mail vera è molto grave, serve alta precision; il modello 1 ha il miglior equilibrio ($F_1=0{,}77$). Con modelli probabilistici si può regolare la soglia di decisione per spostare l'equilibrio tra falsi positivi e falsi negativi (curva ROC: Esercizio - Curva ROC e AUC di una foresta casuale e di un albero).

Tre classi: metriche macro

Matrice (righe vere, colonne previste) per Cat, Dog, Horse: $\begin{bmatrix}8&1&1\\2&10&0\\0&2&8\end{bmatrix}$. Totale $32$, diagonale $26$: accuracy $=\frac{26}{32}=0{,}8125$. Per ogni classe, contro le altre due: precision = diagonale / somma della colonna; recall = diagonale / somma della riga.

Medie macro (media semplice): precision $\frac{0{,}800+0{,}769+0{,}889}3=0{,}819$ e recall $\frac{0{,}800+0{,}833+0{,}800}3=0{,}811$.

Verifica

import numpy as np
def metrics(TP, FN, FP, TN):
    acc = (TP + TN) / (TP + TN + FP + FN)
    rec = TP / (TP + FN); spec = TN / (TN + FP)
    prec = TP / (TP + FP) if TP + FP else float("nan")
    f1 = 2 * prec * rec / (prec + rec) if TP else 0.0
    return acc, rec, spec, prec, f1
print(metrics(27, 6, 10, 57))    # (0.84, 0.818, 0.851, 0.730, 0.771)
print(metrics(0, 10, 0, 990))    # (0.99, 0.0, 1.0, nan, 0.0)
print(metrics(9, 1, 190, 800))   # (0.809, 0.9, 0.808, 0.045, 0.086)
M = np.array([[8,1,1],[2,10,0],[0,2,8]]); tp = np.diag(M)
print(tp.sum() / M.sum(), (tp / M.sum(0)).mean(), (tp / M.sum(1)).mean())   # 0.8125 0.819 0.811