Machine Learning
Formulario della materia 112 definizioni e teoremi in una pagina
Argomenti
1Introduzione e dati
- Introduzione al machine learning
- Statistica per il machine learning
- Python per il machine learning - NumPy, pandas e Matplotlib
- Correlazione e visualizzazione dei dati
- Analisi delle componenti principali (PCA)
Esercizi svolti
- Esercizio - Analisi esplorativa e preprocessing - macchinario, abitazioni, case di Ames e incendi Esame
- Esercizio - Analisi esplorativa e preprocessing di un dataset sbilanciato (Adult) Esame
- Esercizio - Correlazione di Pearson su tre e quattro osservazioni
- Esercizio - PCA da zero sul dataset California Housing
- Esercizio - Statistica descrittiva, quartili e standardizzazione di un dataset
- Esercizio - Test di esempio della parte teorica (simulazione d'esame)
2Regressione
Esercizi svolti
- Esercizio - Cross-validation annidata con alberi (laboratorio di ripasso)
- Esercizio - Cross-validation annidata per il LASSO sul dataset prostate
- Esercizio - Cross-validation k-fold e Monte Carlo per OLS e ridge sul dataset Advertising
- Esercizio - Discesa del gradiente per il LASSO e scelta del passo
- Esercizio - OLS, R quadro e aumento polinomiale delle feature
- Esercizio - Regressione ai minimi quadrati su quattro punti
- Esercizio - Regressione quantile con funzione pinball e discesa del gradiente Esame
- Esercizio - Ridge regression con standardizzazione e coefficienti in unità originali
3Classificazione
- Classificazione e k-nearest neighbors
- Regressione logistica e softmax
- Metriche di classificazione
- Halfspace e Perceptron
Esercizi svolti
- Esercizio - Curva ROC e AUC di una foresta casuale e di un albero
- Esercizio - Halfspace, distanza dal piano e problema XOR
- Esercizio - k-nearest neighbors da zero sul dataset breast cancer
- Esercizio - Metriche di classificazione da una matrice di confusione
- Esercizio - Perceptron a mano su quattro punti
- Esercizio - Pseudo-etichette con k-NN e regressione logistica Esame
- Esercizio - Regressione logistica one-vs-one e one-vs-all sul dataset iris
- Esercizio - Regressione logistica su sei punti con discesa del gradiente
4Alberi e metodi ensemble
Esercizi svolti
- Esercizio - Albero di decisione con criteri di impurità e potatura sul dataset iris
- Esercizio - Albero di decisione ID3 sul dataset del tennis
- Esercizio - Balanced random forest (laboratorio di ripasso)
- Esercizio - Gradient boosting per la regressione sul dataset housing
- Esercizio - ID3 con potatura e foresta casuale sul dataset Titanic
- Esercizio - Importanza delle feature di un albero sul dataset wine
5Apprendimento non supervisionato
Esercizi svolti
- Esercizio - Albero di isolamento passo per passo (laboratorio di ripasso)
- Esercizio - Clustering gerarchico agglomerativo e divisivo Esame
- Esercizio - Isolation forest da zero e anomalie sul dataset delle abitazioni Esame
- Esercizio - k-means a mano e gap statistic su cinque gruppi
- Esercizio - k-means online e con buffer a memoria limitata Esame
- Esercizio - Regressione lineare a tratti con k-means Esame
- Esercizio - Statistica T2 di Hotelling e soglia chi quadro
6Support vector machines
7Reti neurali e deep learning
- Reti neurali - neuroni e funzioni di attivazione
- Addestramento delle reti neurali - backpropagation e ottimizzatori
- Regolarizzazione delle reti neurali
- Reti neurali convolutive (CNN)
- Autoencoder
- Cenni a reinforcement learning e reti per sequenze
Esercizi svolti
- Esercizio - Autoencoder, anomaly detection e KL del VAE
- Esercizio - Backpropagation a mano su una rete 2-2-1
- Esercizio - CNN su Fashion-MNIST e CIFAR-10 con Keras
- Esercizio - Confronto di tecniche di regolarizzazione su MNIST
- Esercizio - Convoluzione 2D a mano
- Esercizio - Dimensioni e parametri di una CNN
- Esercizio - Discesa del gradiente, momento e Adam a mano
- Esercizio - Forward pass e conteggio dei parametri di una rete Esame
- Esercizio - Keras e PyTorch a confronto
- Esercizio - Rete feed-forward su dati tabulari sbilanciati (appello) Esame
- Esercizio - Rete feed-forward su MNIST con Keras
8Fairness ed explainability
Lezioni
- Lezione 1 · Organizzazione e introduzione al machine learning
- Lezione 2 · Introduzione e basi di statistica
- Lezione 3 · Laboratorio Python, Colab e JupyterLab
- Lezione 4 · Correlazione e visualizzazione dei dati
- Lezione 5 · Visualizzazione di dati multidimensionali e PCA
- Lezione 6 · Laboratorio di statistica, visualizzazioni e PCA
- Lezione 7 · Regressione lineare
- Lezione 8 · Ridge regression, overfitting e cross-validation
- Lezione 9 · Laboratorio di regressione lineare e ridge
- Lezione 10 · LASSO e discesa del gradiente
- Lezione 11 · Classificazione e k-nearest neighbors
- Lezione 12 · Laboratorio di regolarizzazione
- Lezione 13 · Regressione logistica, softmax e metriche di classificazione
- Lezione 14 · Test di esempio e ripasso
- Lezione 15 · Laboratorio kNN e regressione logistica
- Lezione 16 · Alberi di decisione e random forest
- Lezione 17 · Metodi ensemble basati su alberi
- Lezione 18 · Laboratorio sui metodi ad albero
- Lezione 19 · Apprendimento non supervisionato e anomaly detection
- Lezione 20 · Clustering e k-means
- Lezione 21 · Laboratorio anomaly detection e clustering
- Lezione 22 · Support vector machines e kernel
- Lezione 23 · Introduzione al deep learning
- Lezione 24 · Addestramento delle reti neurali 1
- Lezione 25 · Addestramento delle reti neurali 2
- Lezione 26 · Reti neurali convolutive
- Lezione 27 · CNN, architetture e autoencoder
- Lezione 28 · Laboratorio di deep learning (reti neurali 1)
- Lezione 29 · Fairness e simulazione della parte pratica
- Lezione 30 · Laboratorio di deep learning 2 (reti neurali 2)
- Lezione 31 · Simulazione della parte teorica
- Lezione 32 · Laboratorio di ripasso
- Lezione 33 · Explainable AI 1
- Lezione 34 · Explainable AI 2
- Lezione 35 · Laboratorio di ripasso - XAI
- Lezione 36 · Cosa c'è dopo (What's next)