Lezione 23Introduzione al deep learning

Settimana: 8 · Fonte: slide del corso Machine Learning, Ingegneria dell'Automazione UniPD (lezione 23)

Argomenti trattati

1. Perché il deep learning: prestazioni (ImageNet, traduzione neurale, modelli di linguaggio), rappresentazione procedurale delle feature, generazione, ragioni per non sceglierlo (complessità, adversarial examples, bisogno di molti dati, alberi migliori sui dati tabulari). Parole chiave: AI, ML, DL, GenAI.
2. Il neurone: Perceptron a soglia (vedi Halfspace e PerceptronUn halfspace (semispazio) classifica con un iperpiano: $h(x)=\operatorname{sign}(w^Tx+b)$, con $w$ normale al piano e $|w^Tx+b|/|w|$ distanza dal piano; aggiungendo una componente costante $1$ a $x$ si scrive $\operatorname{sign}(\tilde w^T\tilde x)$. Il Perceptron (Rosenblatt, 1958) è il neurone con attivazione a gradino e impara con una regola semplice: per ogni errore $y_i,w^Tx_i\le0$ si aggiorna $w\leftarrow w+y_ix_i$. Teorema di convergenza (Novikoff): se i dati sono linearmente separabili con margine $\gamma$ ($y_iw^{T}x_i\ge\gamma$, $|w^|=1$) e $|x_i|\le R$, il Perceptron fa al più $(R/\gamma)^2$ errori e si ferma. Non risolve problemi non separabili (XOR), non ha un criterio di margine ottimale (le SVM sì) e il suo analogo morbido è la regressione logistica. Programma di Telecomunicazioni: halfspace model, Perceptron.Halfspace e Perceptron →), unità sigmoide, forma generale $\hat y=g(w_0+x^\top w)$.
3. Funzioni di attivazione: sigmoide, tangente iperbolica, ReLU e relative derivate.
4. Rete feed-forward a uno strato nascosto e a $k$ strati, universalità, gerarchia delle feature.
5. Addestramento: loss, loss empirica, cross-entropy e MSE, discesa del gradiente, backpropagation come regola della catena, SGD e mini-batch (ripresi e approfonditi nella lezione 24).

Teoria

• Reti neurali - neuroni e funzioni di attivazioneUn neurone calcola $\hat y=g(w_0+w^\top x)$: somma pesata degli ingressi più bias, poi una funzione di attivazione $g$ non lineare (Perceptron a soglia, sigmoide, tanh, ReLU e varianti). Senza non linearità ogni rete è equivalente a un solo modello lineare. Una rete feed-forward impila strati di neuroni: $a^{(k)}=g(W^{(k)}a^{(k-1)}+b^{(k)})$; con uno strato nascosto è già un approssimatore universale, ma più strati rappresentano funzioni complesse con molti meno neuroni e imparano feature gerarchiche (bordi, parti, oggetti). Lo strato di uscita e la loss si scelgono dal compito: lineare+MSE (regressione), sigmoide+cross-entropy binaria, softmax+cross-entropy (multiclasse). Il numero di parametri di uno strato denso è $n_{in}n_{out}+n_{out}$. Nel lab (Keras, MNIST) una rete 784-512-10 ha 407 050 parametri e supera il 98% di accuratezza.Reti neurali - neuroni e funzioni di attivazione →

Esercizi

• Esercizio - Forward pass e conteggio dei parametri di una rete

Lezione precedente: Lezione 22 · Support vector machines e kernel Lezione successiva: Lezione 24 · Addestramento delle reti neurali 1