Esercizio - il meteorologo, entropia e informazione mutua

Questa pagina non ha ancora la versione ripasso: qui sotto c'è il testo completo.

Testo (esercizio del meteorologo). Uno studente annota per un anno intero le previsioni del tempo e le confronta con il tempo reale. Per semplicità la condizione è binaria, sole/pioggia. Nell'anno (approssimato con $360$ giorni): per $180$ giorni c'era sole e la previsione l'aveva predetto correttamente; per altri $90$ giorni c'era ancora sole ma la previsione aveva detto pioggia; per i restanti $90$ giorni pioveva, e la previsione era corretta o sbagliata (pioggia/sole) in misura $50/50$. Si indichi con $X$ il tempo reale e con $Y$ la previsione (variabili aleatorie sull'alfabeto binario $\mathcal A=\{\text{sole},\text{pioggia}\}$). Si trovino le probabilità marginali $p_X,p_Y$ e la congiunta $p_{XY}$; si calcolino $H(X)$, $H(Y)$, $H(X,Y)$ verificandone i limiti notevoli; si calcoli $p_{X|Y}$, quindi $H(X|Y)$, se ne verifichino i limiti e se ne chiarisca il significato fisico. Infine: lo studente pensa di proporsi come meteorologo sostenendo di fare previsioni più accurate di quelle attuali; in realtà prevede soltanto sole per tutti i $360$ giorni. Si può verificare che questo aumenta $P(X=Y)$, cioè la probabilità che la previsione coincida con il tempo reale. Che cosa si deve rispondere alla proposta?

Teoria usata: Informazione, entropia e informazione mutuaL'informazione di un evento di probabilità $P$ è $i=\log_2\frac1P$ bit; l'entropia $H(x)=\sum p\log_2\frac1p$ è l'informazione media e misura l'incertezza: $0\le H\le\log_2M$, massimo se i simboli sono equiprobabili. Per due variabili: $\max{H(x),H(y)}\le H(x,y)\le H(x)+H(y)$, $H(x|y)=H(x,y)-H(y)$ e l'informazione mutua $I(x;y)=H(x)-H(x|y)=H(x)+H(y)-H(x,y)\ge0$ (zero se e solo se indipendenti). Per una sorgente di $F_s$ simboli/s: rate di informazione $F_sH_s$, rate nominale $F_s\log_2M$, efficienza $\eta=\frac{H_s}{\log_2M}$.Informazione, entropia e informazione mutua →, Formula delle probabilità totali e formula di BayesSe (A_i) è una partizione di Ω, P(B) = Σ P(B ∣ A_i) P(A_i) (probabilità totali); la formula di Bayes inverte il condizionamento: P(A_k ∣ B) = P(B ∣ A_k) P(A_k) / P(B).Formula delle probabilità totali e formula di Bayes →, Probabilità condizionataLa probabilità di A sapendo che si è verificato B è P(A ∣ B) = P(A ∩ B) / P(B), con P(B) > 0; è una nuova misura di probabilità, e da essa seguono la regola del prodotto e la regola della catena.Probabilità condizionata →.

Probabilità congiunta e marginali

Si dividono i conteggi per $360$ (sole $=S$, pioggia $=R$; prima lettera $X$, seconda $Y$):

(I $90$ giorni di pioggia sono divisi $45/45$.) Marginali, sommando sull'altra variabile: $$p_X(S)=\tfrac12+\tfrac14=\tfrac34,\ p_X(R)=\tfrac14;\qquad p_Y(S)=\tfrac12+\tfrac18=\tfrac58,\ p_Y(R)=\tfrac14+\tfrac18=\tfrac38.$$ Le variabili non sono indipendenti: per esempio $p_X(S)p_Y(S)=\frac34\cdot\frac58=\frac{15}{32}\neq\frac12=p_{XY}(S,S)$.

Entropie

$$H(X)=\tfrac34\log_2\tfrac43+\tfrac14\log_24=0{,}3113+0{,}5=0{,}811\ \text{bit},$$ $$H(Y)=\tfrac58\log_2\tfrac85+\tfrac38\log_2\tfrac83=0{,}4238+0{,}5306=0{,}954\ \text{bit},$$ $$H(X,Y)=\tfrac12\log_22+\tfrac14\log_24+2\cdot\tfrac18\log_28=0{,}5+0{,}5+0{,}75=1{,}75\ \text{bit}.$$ Limiti notevoli: $\max\{H(X),H(Y)\}\le H(X,Y)\le H(X)+H(Y)$ diventa $0{,}954\le1{,}75\le1{,}765$ ✓; la seconda disuguaglianza è stretta ($1{,}75<1{,}765$) perché $X$ e $Y$ non sono indipendenti, ma è quasi un'uguaglianza: sono "quasi indipendenti". Inoltre $0\le H\le\log_22=1$ per ciascuna variabile binaria ✓.

Probabilità condizionata ed entropia condizionata

Con Bayes, $p_{X|Y}(x|y)=\frac{p_{XY}(x,y)}{p_Y(y)}$:

(le colonne sommano a $1$.) L'entropia condizionata $H(X|Y)=\sum p_{XY}\log_2\frac1{p_{X|Y}}$ si calcola con la tabella, oppure con $H(X|Y)=H(X,Y)-H(Y)$ (Informazione, entropia e informazione mutuaL'informazione di un evento di probabilità $P$ è $i=\log_2\frac1P$ bit; l'entropia $H(x)=\sum p\log_2\frac1p$ è l'informazione media e misura l'incertezza: $0\le H\le\log_2M$, massimo se i simboli sono equiprobabili. Per due variabili: $\max{H(x),H(y)}\le H(x,y)\le H(x)+H(y)$, $H(x|y)=H(x,y)-H(y)$ e l'informazione mutua $I(x;y)=H(x)-H(x|y)=H(x)+H(y)-H(x,y)\ge0$ (zero se e solo se indipendenti). Per una sorgente di $F_s$ simboli/s: rate di informazione $F_sH_s$, rate nominale $F_s\log_2M$, efficienza $\eta=\frac{H_s}{\log_2M}$.Informazione, entropia e informazione mutua →, §4): $$H(X|Y)=1{,}75-0{,}954=0{,}796\ \text{bit}.$$ Verifica diretta: $\frac12\log_2\frac54+\frac14\log_2\frac32+\frac18\log_25+\frac18\log_23=0{,}161+0{,}146+0{,}290+0{,}198=0{,}796$ ✓. Limiti: $0\le H(X|Y)\le H(X)$: $0\le0{,}796\le0{,}811$ ✓. Il valore è quasi $H(X)$.

Significato fisico. $H(X|Y)$ è l'incertezza che rimane sul tempo reale dopo aver letto la previsione. Prima della previsione l'incertezza è $H(X)=0{,}811$ bit; dopo $0{,}796$ bit: la previsione ha ridotto l'incertezza di soli $$I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y)=0{,}811+0{,}954-1{,}75=0{,}0157\ \text{bit},$$ cioè di circa il $2\%$. Questa è l'informazione mutua: quanta informazione sul tempo reale è contenuta nella previsione. Le previsioni attuali sono quasi inutili: quando prevedono pioggia piove nel $\frac13$ dei casi (contro il $\frac14$ di base), quando prevedono sole c'è pioggia nel $\frac15$ dei casi (contro $\frac14$).

La proposta dello studente

La previsione costante $Y'=S$ ha: $P(X=Y')=p_X(S)=\frac34=75\%$, contro $P(X=Y)=\frac12+\frac18=\frac58=62{,}5\%$ della previsione attuale: la sua "accuratezza" è maggiore. Ma $Y'$ è una variabile costante, quindi $$H(Y')=0,\qquad H(X,Y')=H(X),\qquad H(X|Y')=H(X)=0{,}811\ \text{bit},\qquad I(X;Y')=0:$$ conoscere la previsione dello studente non riduce per nulla l'incertezza sul tempo reale (la variabile è indipendente da $X$). La previsione attuale invece, pur debole, porta $0{,}0157$ bit.

Risposta: la proposta non va accettata. La percentuale di previsioni corrette è una misura ingannevole quando le classi sono sbilanciate (qui il sole è il $75\%$ dei giorni): si "vince" prevedendo sempre l'evento più frequente, senza dire nulla di utile. Una buona previsione si misura con l'informazione che porta, non con la probabilità di coincidenza: $I(X;Y)$ deve essere grande, e una previsione costante ha $I=0$ qualunque sia la percentuale di giorni indovinati.