Esercizio - CNN con Keras per cinque classi (esempio d'esame 2)

Teoria: Deep learning - reti profonde, CNN e addestramento con KerasQuadro del deep learning nel corso di IA. Un neurone calcola la somma pesata degli ingressi e applica una funzione di attivazione non lineare (soglia, sigmoide, ReLU, tanh); un perceptron a soglia realizza AND, OR e NOT ma non lo XOR (non linearmente separabile), che richiede 3 neuroni su due livelli; due livelli bastano per approssimare ogni funzione continua. Uscite: lineare per la regressione, sigmoide per due classi, softmax per più classi, con perdita di entropia incrociata. Addestramento con SGD a minibatch e backpropagation (passaggio in avanti e all'indietro, gradienti che si moltiplicano: svaniscono con sigmoide e tanh). CNN: kernel appreso, stride, padding, uscita (n+2p-k)/s+1, pooling; tensori; transfer learning e dropout. RNN con stato nascosto z_t=f(z_{t-1},x_t) e BPTT, LSTM con porte, autoencoder, VAE, GAN, modelli linguistici e trasformatori con attenzione. Pipeline Keras del laboratorio 11: Sequential, Conv2D, MaxPooling2D, Flatten, Dense, compile (Adam, perdita), fit, evaluate, predict, save.Deep learning - reti profonde, CNN e addestramento con Keras → (sezione 8, la pipeline Keras del laboratorio 11). Esercizio collegato: Esercizio - CNN su CIFAR-10 con Keras (laboratorio 11). Domanda 8 del quiz da 9 CFU e domanda 6 di quello da 6 CFU: identiche (9 blank).

Testo. Implementare con Keras una CNN per una classificazione a 5 classi, con questi livelli:

1. Conv2D con 32 filtri, kernel $3\times3$, attivazione ReLU;
2. MaxPooling2D con kernel $2\times2$;
3. Conv2D con 64 filtri, kernel $3\times3$, ReLU;
4. MaxPooling2D $2\times2$;
5. Conv2D con 64 filtri, kernel $3\times3$, ReLU;
6. Flatten;
7. Dense con 64 neuroni e ReLU;
8. Dense finale che restituisce 5 classi.

model = models.Blank1()
model.add(layers.Conv2D(Blank2, (3, 3), 1, activation='relu', input_shape=(32, 32, 3)))
model.add(layers.MaxPooling2D((Blank3, Blank4)))
model.add(layers.Conv2D(Blank5, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((Blank6, Blank7)))
model.add(layers.Conv2D(Blank8, (3, 3), activation='relu'))
model.add(layers.Flatten())
model.add(layers.Dense(64, activation='relu'))
model.add(layers.Dense(Blank9))

Menu: Blank 1: Sequential(), CNN(), keras.CNN(), Linear(). Blank 2, 5, 8: 32, 64, 16, 3. Blank 3, 4, 6, 7: 1, 2, 3, 4. Blank 9: 2, 3, 4, 5.

Soluzione

Nel primo Conv2D, (3, 3) è la dimensione del kernel e il 1 che segue è lo stride (terzo argomento posizionale): non va modificato. input_shape=(32, 32, 3) è un'immagine a colori $32\times32$ (altezza, larghezza, canali).

Perché le altre opzioni sono sbagliate

• CNN(), keras.CNN(), Linear(): in Keras non esistono. Un modello a livelli in pila è models.Sequential(); una CNN non è una classe, è una sequenza di Conv2D e MaxPooling2D.
• 16 e 3 per i filtri: il testo dice 32, 64, 64.
• 1, 3, 4 per il pooling: il testo dice $2\times2$; con $1\times1$ non ci sarebbe riduzione.
• 2, 3, 4 per l'ultimo Dense: le classi sono 5.

Nota: per classificare con più classi di solito l'ultimo Dense ha activation='softmax'; il quiz non la chiede e lascia solo il numero di neuroni.

Verifica: forme e parametri (model.summary())

Senza padding ("valid"), $\lfloor(n-3)/1\rfloor+1=n-2$ per ogni convoluzione; il pooling $2\times2$ dimezza (per difetto). Parametri di una convoluzione: $(k_hk_wC_{in}+1)C_{out}$.

Totale: $896+18\,496+36\,928+65\,600+325=\mathbf{122\,245}$ parametri (ricalcolato con Python).