Lezione 26Reti neurali convolutive

Settimana: 11 · Fonte: slide del corso Machine Learning, Ingegneria dell'Automazione UniPD (lezione 26)

Argomenti trattati

1. Computer vision: compiti (classificazione, segmentazione semantica, rilevamento di oggetti, captioning, style transfer, generazione, anomaly detection visiva), top-5 error su ImageNet.
2. Perché non le reti dense per le immagini: perdita della struttura spaziale e troppi parametri.
3. Convoluzione 2D: patch locali, filtri, condivisione dei parametri, padding, stride, campo recettivo; esempio numerico con filtro $3\times3$ su un'immagine $3\times3$; filtri classici (sharpen, edge detect).
4. ReLU, pooling, filtri $1\times1$, struttura completa per la classificazione con softmax e cross-entropy.
5. Dataset: MNIST, Fashion-MNIST, CIFAR-10/100, ImageNet.
6. Architetture: LeNet, AlexNet, VGG, GoogLeNet, ResNet, EfficientNet.
7. Cosa vede una CNN: filtri, spazio di embedding, neuroni a massima attivazione, mappe di salienza per occlusione.

Teoria

• Reti neurali convolutive (CNN)approfondimento: non nel programma di Telecomunicazioni. Una rete convolutiva (CNN) sostituisce gli strati densi con filtri piccoli che scorrono sull'immagine: ogni neurone vede solo una patch locale (campo recettivo) e i pesi del filtro sono condivisi in tutta l'immagine, quindi i parametri non dipendono dalla dimensione dell'immagine ($K^2C_{in}C_{out}+C_{out}$ per strato) e si conserva l'informazione spaziale. Dimensione dell'uscita: $\lfloor(W-K+2P)/S\rfloor+1$. Pooling (max 2x2, stride 2) sottocampiona e dà invarianza locale; i filtri 1x1 riducono i canali; struttura tipica CONV+ReLU, POOL, ..., FLATTEN, FC, SOFTMAX, addestrata con cross-entropy e backpropagation. Tre strati 3x3 hanno il campo recettivo di un 7x7 con meno parametri e più non linearità (VGG). Architetture: LeNet, AlexNet (ReLU, dropout, data augmentation), VGG, GoogLeNet (moduli Inception), ResNet (blocchi residui $H(x)=F(x)+x$), EfficientNet. Nel lab: CNN su Fashion-MNIST (241 546 parametri) e su CIFAR-10 (122 570).Reti neurali convolutive (CNN) →

Esercizi

• Esercizio - Convoluzione 2D a mano
• Esercizio - Dimensioni e parametri di una CNN

Lezione precedente: Lezione 25 · Addestramento delle reti neurali 2 Lezione successiva: Lezione 27 · CNN, architetture e autoencoder