Esercizio - Utilità attesa, maximax e maximin (laboratorio 9)

Teoria: Processi decisionali di Markov - utilità, equazione di Bellman, value e policy iterationUn MDP (processo decisionale di Markov) modella un problema decisionale sequenziale in ambiente stocastico e completamente osservabile con stati S, azioni A(s), modello di transizione P(s'|s,a) e ricompensa R(s,a,s'). La soluzione è una politica pi(s). L'utilità U(s) è il ritorno scontato atteso e soddisfa l'equazione di Bellman U(s)=max_a sum_s' P(s'|s,a)[R(s,a,s')+gamma U(s')]; la quantità tra parentesi quadre sommata su s' è la funzione azione-utilità Q(s,a). Value iteration parte da U=0, applica Bellman a tutti gli stati insieme e si ferma quando delta <= eps(1-gamma)/gamma; la politica è argmax_a Q(s,a). Policy iteration alterna valutazione (sistema lineare, senza max) e miglioramento greedy, e termina quando la politica non cambia. Nei POMDP lo stato è nascosto: si lavora sullo stato di credenza b aggiornato come nel filtraggio, b'(s')=alpha P(e|s') sum_s P(s'|s,a)b(s).Processi decisionali di Markov - utilità, equazione di Bellman, value e policy iteration →, sezione 1. Il laboratorio parte da un esempio svolto in aula (il caffè) e poi propone l'esercizio "cosa fare all'aeroporto".

Esempio guida: il caffè

Testo. Ho mezz'ora libera e posso scegliere tra lavorare in ufficio e uscire a prendere un caffè.

• Se resto in ufficio può succedere una di tre cose: faccio un po' di lavoro (utilità 8), mi distraggo guardando le notizie (utilità 1), passa un collega a parlare di lavoro (utilità 5), con probabilità $0{,}5$, $0{,}3$ e $0{,}2$.
• Se esco a prendere un caffè, con probabilità $0{,}95$ me lo godo (utilità 10) e con probabilità $0{,}05$ me lo rovescio addosso (utilità $-20$).

(a) Utilità attesa di restare in ufficio. (b) Utilità attesa di uscire. (c) Cosa conviene fare secondo il principio di massima utilità attesa? Poi: (d) decisione con il criterio maximax; (e) decisione con il maximin.

Soluzione. (a) $EU(\text{ufficio})=0{,}5\cdot8+0{,}3\cdot1+0{,}2\cdot5=4+0{,}3+1=5{,}3$. (b) $EU(\text{caffè})=0{,}95\cdot10+0{,}05\cdot(-20)=9{,}5-1=8{,}5$. (c) $8{,}5>5{,}3$: si esce a prendere il caffè. (d) Maximax: si guarda solo il miglior esito di ogni azione: ufficio $\max(8,1,5)=8$, caffè $10$. Vince il caffè. (e) Maximin: si guarda solo il peggior esito: ufficio $\min(8,1,5)=1$, caffè $-20$. Vince l'ufficio: il criterio prudente evita il rischio di rovesciare il caffè, a differenza del MEU.

Il laboratorio aggiunge: "vediamo cosa succede al variare delle probabilità". Se la probabilità di rovesciare il caffè è $q$, l'utilità attesa del caffè è $10(1-q)-20q=10-30q$; confrontandola con $5{,}3$ si ha $10-30q>5{,}3\iff q<\tfrac{4{,}7}{30}=0{,}1567$. Sopra circa il $15{,}7\%$ di probabilità di rovesciarlo, il MEU preferisce l'ufficio.

Esercizio 1 del laboratorio: cosa fare all'aeroporto

Testo. Stai viaggiando e hai del tempo da far passare in aeroporto. Puoi fare tre cose.

1. Prendere un caffè. Con probabilità $0{,}8$ ti rilassi con una bevanda gustosa, utilità $10$. Con probabilità $0{,}2$ il caffè è cattivo, fatto con chicchi bruciati, e ti infastidisce, utilità $-5$.
2. Comprare dei vestiti. Con probabilità $0{,}1$ trovi un vestito bellissimo a un buon prezzo, utilità $20$. Con probabilità $0{,}9$ spendi soldi in cose care e inutili, utilità $-10$.
3. Mangiare qualcosa. Con probabilità $0{,}8$ trovi qualcosa di piuttosto mediocre che ti evita di avere troppa fame durante il volo, utilità $2$. Con probabilità $0{,}2$ trovi qualcosa di sostanzioso e saporito, utilità $5$.

(a) Cosa conviene fare se il criterio di decisione è la massima utilità attesa? (b) E con il criterio maximax? (c) E con il maximin?

Soluzione.

(a) Utilità attese:

• caffè: $0{,}8\cdot10+0{,}2\cdot(-5)=8-1=\mathbf7$;
• vestiti: $0{,}1\cdot20+0{,}9\cdot(-10)=2-9=\mathbf{-7}$;
• mangiare: $0{,}8\cdot2+0{,}2\cdot5=1{,}6+1=\mathbf{2{,}6}$.

Il massimo è $7$: caffè.

(b) Miglior esito di ogni azione: caffè $10$, vestiti $20$, mangiare $5$. Il massimo è $20$: vestiti. Il maximax guarda solo l'esito fortunato e ignora che ha probabilità $0{,}1$.

(c) Peggior esito di ogni azione: caffè $-5$, vestiti $-10$, mangiare $2$. Il massimo dei minimi è $2$: mangiare. È l'unica azione senza esiti negativi.

I tre criteri danno tre risposte diverse, perché pesano in modo diverso la probabilità e la gravità degli esiti. Solo il MEU usa le probabilità.

Codice (equivalente a quello del corso, che usa una catena di if annidati; qui si usa argmax):

import numpy as np

azioni = {                       # (probabilita', utilita')
    "caffe":  (np.array([0.8, 0.2]), np.array([10, -5])),
    "vestiti": (np.array([0.1, 0.9]), np.array([20, -10])),
    "mangiare": (np.array([0.8, 0.2]), np.array([2, 5])),
}
nomi = list(azioni)
eu     = [float(np.sum(p * u)) for p, u in azioni.values()]   # utilita' attesa
maximax = [u.max() for p, u in azioni.values()]        # miglior esito
maximin = [u.min() for p, u in azioni.values()]        # peggior esito
print("EU:", dict(zip(nomi, eu)))
print("MEU    ->", nomi[int(np.argmax(eu))])
print("maximax ->", nomi[int(np.argmax(maximax))])
print("maximin ->", nomi[int(np.argmax(maximin))])

Output atteso (che coincide con quello del corso):

EU: {'caffe': 7.0, 'vestiti': -7.0, 'mangiare': 2.6}
MEU    -> caffe
maximax -> vestiti
maximin -> mangiare