Lezione 02 - Introduzione e basi di statistica

Settimana: 1 · Fonte: slide del corso Machine Learning, Ingegneria dell'Automazione UniPD (lezione 2)

Argomenti trattati

1. La matrice dei dati $X$ con $n$ osservazioni e $p$ variabili; compiti e modelli (regressione, classificazione, clustering).
2. Momenti statistici: media, varianza e deviazione standard, asimmetria, curtosi.
3. Quartili, mediana e scarto interquartile, con la convenzione dell'esame (senza interpolazione); moda per i dati categorici.
4. Preparare il dataset: dati mancanti (imputazione con media o mediana), variabili costanti, standardizzazione con lo z-score calcolato sul solo training.

Teoria

• Statistica per il machine learningI dati di un problema ML si organizzano nella matrice di progetto $X$ ($n$ osservazioni, $p$ variabili). La statistica serve a capirli, ripulirli e prepararli: i momenti (media $\mu$, varianza $\sigma^2$, asimmetria, curtosi), i quartili con lo scarto interquartile $\mathrm{IQR}=Q_3-Q_1$ (all'esame senza interpolazione), la moda per i dati categorici. Con queste quantità si imputano i dati mancanti (media o mediana), si eliminano le variabili costanti e si standardizza con lo z-score $z=(x-\mu)/\sigma$, usando sempre media e deviazione standard del solo training set.Statistica per il machine learning →

Esercizi

• Esercizio - Statistica descrittiva, quartili e standardizzazione di un dataset

Lezione precedente: Lezione 1 · Organizzazione e introduzione al machine learning Lezione successiva: Lezione 3 · Laboratorio Python, Colab e JupyterLab