Entropia - informazione di un evento, disuguaglianza di Jensen e valore massimo

La teoria dell'informazione risponde a due domande: quanta informazione produce una sorgente, e quanta ne può trasportare un canale. In questa nota si costruisce la grandezza di partenza, l'entropia, che misura l'incertezza di una sorgente e, come si vedrà, dice quanti bit servono al minimo per rappresentarla (Codici a prefisso - Kraft-McMillan e limiti di Shannon sulla lunghezza mediaLa codifica di sorgente senza perdite associa a ogni parola emessa dalla sorgente una parola di codice binaria (o $M_y$-aria) di lunghezza variabile, in modo invertibile; la qualità si misura con la lunghezza media $L_y=\sum p_{\underline x}(\underline a),l(\underline a)$. In un codice a prefisso nessuna parola è l'inizio di un'altra, quindi la decodifica è istantanea. Kraft-McMillan: ogni codice decodificabile ha $\sum M_y^{-l_i}\le1$, e se interi $l_i$ la soddisfano esiste un codice a prefisso con quelle lunghezze. Shannon: $\frac{H(\underline x)}{\log_2M_y}\le L_y<\frac{H(\underline x)}{\log_2M_y}+1$ per il codice a prefisso ottimo, con $L_y=\frac{H}{\log_2M_y}$ solo se le probabilità sono potenze di $\frac1{M_y}$.Codici a prefisso - Kraft-McMillan e limiti di Shannon sulla lunghezza media →).

Versione per Ing. Elettronica: Informazione ed entropiaL'informazione di un evento di probabilità $p$ è $\log_2\frac1p$ bit; l'entropia $H(x)=\sum p\log_2\frac1p$ è l'informazione media e misura l'incertezza della sorgente: $0\le H\le\log_2M$, con il massimo quando i simboli sono equiprobabili. Per più simboli: $H(x,y)\le H(x)+H(y)$ (uguaglianza se indipendenti), $H(x|y)=H(x,y)-H(y)$. Per una sorgente con $F_s$ simboli al secondo il rate di informazione è $F_sH_s$, il rate nominale $F_s\log_2M$ e l'efficienza $\eta=\frac{H_s}{\log_2M}$.Informazione ed entropia →. Versione per Ing. delle Telecomunicazioni: Informazione, entropia e informazione mutuaL'informazione di un evento di probabilità $P$ è $i=\log_2\frac1P$ bit; l'entropia $H(x)=\sum p\log_2\frac1p$ è l'informazione media e misura l'incertezza: $0\le H\le\log_2M$, massimo se i simboli sono equiprobabili. Per due variabili: $\max{H(x),H(y)}\le H(x,y)\le H(x)+H(y)$, $H(x|y)=H(x,y)-H(y)$ e l'informazione mutua $I(x;y)=H(x)-H(x|y)=H(x)+H(y)-H(x,y)\ge0$ (zero se e solo se indipendenti). Per una sorgente di $F_s$ simboli/s: rate di informazione $F_sH_s$, rate nominale $F_s\log_2M$, efficienza $\eta=\frac{H_s}{\log_2M}$.Informazione, entropia e informazione mutua →.

Informazione portata da un evento

Si ha uno spazio degli eventi $\Omega=\{A_1,\dots,A_n\}$ con probabilità $P(A_i)$ (Probabilità per le telecomunicazioni - eventi e variabili aleatorie discreteGli eventi hanno probabilità tra 0 e 1 e P(x∪y) = P(x) + P(y) − P(x∩y). Una variabile aleatoria discreta ha un alfabeto A_x e una densità p_x(a) = P(x = a) con somma 1. Si definiscono probabilità condizionata, indipendenza (p_{x,y}(a,b) = p_x(a)p_y(b)), valore atteso E(x) = m_x, potenza M_x = E(x²), varianza σ_x² con M_x = m_x² + σ_x²; l'aspettazione è lineare e per variabili indipendenti E(xy) = E(x)E(y).Probabilità per le telecomunicazioni - eventi e variabili aleatorie discrete →). Si vuole assegnare a ogni evento $A$ un numero reale $i(A)$, la sua informazione: quanto ci "sorprende" sapere che $A$ è avvenuto.

Assiomi dell'informazione.

1. $i(A)\ge0$ per ogni $A$: sapere qualcosa non può togliere informazione.
2. Se $P(A)\le P(B)$ allora $i(A)\ge i(B)$: un evento più raro porta più informazione.
3. $i(\Omega)=0$: l'evento certo non dice niente di nuovo.
4. Se $A$ e $B$ sono indipendenti, $i(A\cap B)=i(A)+i(B)$: l'informazione di due fatti indipendenti si somma.

L'ultimo assioma è il più forte. Per eventi indipendenti $P(A\cap B)=P(A)P(B)$ (Probabilità per le telecomunicazioni - eventi e variabili aleatorie discreteGli eventi hanno probabilità tra 0 e 1 e P(x∪y) = P(x) + P(y) − P(x∩y). Una variabile aleatoria discreta ha un alfabeto A_x e una densità p_x(a) = P(x = a) con somma 1. Si definiscono probabilità condizionata, indipendenza (p_{x,y}(a,b) = p_x(a)p_y(b)), valore atteso E(x) = m_x, potenza M_x = E(x²), varianza σ_x² con M_x = m_x² + σ_x²; l'aspettazione è lineare e per variabili indipendenti E(xy) = E(x)E(y).Probabilità per le telecomunicazioni - eventi e variabili aleatorie discrete →), quindi $i$ come funzione della probabilità deve trasformare un prodotto in una somma: è il logaritmo. Si dimostra che le funzioni che rispettano i quattro assiomi sono tutte e sole

$$\boxed{i(A)=-\log_b P(A)=\log_b\frac1{P(A)},\qquad b>1.}$$

La base $b$ fissa solo l'unità di misura:

Il passaggio chiave, cioè che l'informazione è davvero additiva per eventi indipendenti: $$i(A\cap B)=-\log_2P(A\cap B)=-\log_2\left[P(A)P(B)\right]=-\log_2P(A)-\log_2P(B)=i(A)+i(B).$$

Esempio (variabile binaria). $x\in\{0,1\}$ con $P(x=0)=0{,}2$ e $P(x=1)=0{,}8$. Si usa $\log_2 0{,}2=\frac{\ln0{,}2}{\ln2}=-2{,}3219$ e $\log_20{,}8=-0{,}3219$. Allora $$i(x=0)=-\log_20{,}2=2{,}32\ \text{bit},\qquad i(x=1)=-\log_20{,}8=0{,}32\ \text{bit}.$$ L'evento raro ($x=0$) porta molta più informazione di quello frequente: vedere uscire il valore atteso quasi non sorprende.

Esempio (carta da un mazzo). Si estrae una carta specifica da un mazzo da $40$: $P=\frac1{40}$, quindi $i=\log_240=5{,}32$ bit. È il numero (non intero) di domande sì/no che servono per identificare una carta su $40$: con $5$ domande si distinguono solo $2^5=32$ carte, con $6$ se ne distinguono $64$.

Entropia di una variabile aleatoria discreta

Sia $x$ una variabile aleatoria discreta con alfabeto $\mathcal A_x=\{a_1,\dots,a_M\}$ e densità di probabilità $P_x(a)=P[x=a]$ (Variabili aleatorie discrete e densità discretaUna variabile aleatoria discreta è una funzione X da Ω in R che assume un insieme finito o numerabile di valori (l'alfabeto); la sua densità discreta p_X(x) = P(X = x) basta a calcolare la probabilità di ogni evento che riguarda X.Variabili aleatorie discrete e densità discreta →). La funzione informazione della variabile è l'informazione dell'evento $x=a$: $$i_x(a)=i(x=a)=\log_2\frac1{P_x(a)},\qquad a\in\mathcal A_x.$$ Il pedice è il nome della variabile, l'argomento è un valore. Se si sostituisce alla $a$ la variabile $x$ stessa, $i_x(x)$ è una variabile aleatoria: vale $i_x(a)$ con probabilità $P_x(a)$.

Definizione (entropia). L'entropia di $x$ è il valore atteso dell'informazione (Valore attesoIl valore atteso E[X] = Σ x p_X(x) è la media dei valori di X pesata con le loro probabilità (esiste se la serie converge assolutamente); per una funzione g vale E[g(X)] = Σ g(x) p_X(x) senza trovare la legge di g(X), ed E è lineare: E[aX + bY + c] = aE[X] + bE[Y] + c.Valore atteso →): $$\boxed{H(x)=E\left[i_x(x)\right]=\sum_{a\in\mathcal A_x}P_x(a)\log_2\frac1{P_x(a)}=-\sum_aP_x(a)\log_2P_x(a)\quad[\text{bit}].}$$ Per i valori con $P_x(a)=0$ si pone $0\cdot\log_2\frac10=0$ (il limite di $p\log\frac1p$ per $p\to0$ è $0$), cioè i simboli impossibili non contano.

L'entropia è l'informazione media che si ottiene osservando un simbolo, ed è anche il grado di incertezza su cosa uscirà. Dipende solo dalle probabilità, non dai valori dei simboli: chiamare i simboli $\{1,2,3\}$ oppure $\{A,B,C\}$ non la cambia.

Esempio (quattro simboli). $P=(0{,}1;\ 0{,}2;\ 0{,}3;\ 0{,}4)$. Con $\log_2\frac1{0{,}1}=3{,}3219$, $\log_2\frac1{0{,}2}=2{,}3219$, $\log_2\frac1{0{,}3}=1{,}7370$, $\log_2\frac1{0{,}4}=1{,}3219$: $$H=0{,}1\cdot3{,}3219+0{,}2\cdot2{,}3219+0{,}3\cdot1{,}7370+0{,}4\cdot1{,}3219=0{,}3322+0{,}4644+0{,}5211+0{,}5288=1{,}8464\ \text{bit}.$$ Il massimo possibile con $4$ simboli sarebbe $\log_24=2$ bit (si vedrà fra poco).

Esempio (probabilità potenze di $\frac12$). $P=\left(\frac12,\frac14,\frac18,\frac18\right)$: le informazioni sono $1,2,3,3$ bit e $$H=\frac12\cdot1+\frac14\cdot2+\frac18\cdot3+\frac18\cdot3=1{,}75\ \text{bit}.$$ I conti vengono esatti: è il caso in cui il codice di Shannon è ottimo (Codici di Shannon, Huffman ed Elias e codifica aritmeticaIl codice di Shannon(-Fano) assegna alla parola $i$ lunghezza $l_i=\lceil-\log_{M_y}p_i\rceil$, soddisfa Kraft-McMillan e ha $H\le L_y<H+1$; è ottimo solo se le probabilità sono potenze di $\frac1{M_y}$. Il codice ottimo (lunghezza media minima) dà parole più lunghe ai simboli meno probabili e ha almeno due parole di lunghezza massima che differiscono solo nell'ultimo simbolo: lo costruisce la procedura di Huffman, che unisce a ogni passo i due nodi meno probabili. Il codice di Elias prende le prime $l_i=\lceil-\log_2p_i\rceil+1$ cifre del punto medio dell'intervallo di ampiezza $p_i$ in $[0,1)$: è a prefisso ma subottimo ($H+1\le L_y<H+2$), e si adatta alla codifica aritmetica adattativa.Codici di Shannon, Huffman ed Elias e codifica aritmetica →).

Due proprietà immediate

1. $H(x)\ge0$: ogni addendo $P_x(a)\log_2\frac1{P_x(a)}$ è prodotto di due numeri non negativi (la probabilità e l'informazione, che è $\ge0$ perché $P\le1$).
2. $H(x)=0$ se e solo se $x$ è deterministica, cioè $\mathcal A_x=\{a\}$ e $P[x=a]=1$. Infatti ogni addendo è nullo solo se $P=0$ (si pone $0\cdot\log\frac10=0$) oppure $P=1$ ($\log_21=0$); poiché le probabilità sommano a $1$, un solo simbolo ha probabilità $1$ e tutti gli altri $0$. Una sorgente senza incertezza non produce informazione.

Entropia della variabile binaria

Se $x\in\{0,1\}$ con $P[x=1]=p$, l'entropia è una funzione di $p$ sola, detta entropia binaria: $$h(p)=p\log_2\frac1p+(1-p)\log_2\frac1{1-p}.$$ Vale $h(0)=h(1)=0$ (variabile deterministica), $h\left(\frac12\right)=1$ bit, ed è simmetrica: $h(p)=h(1-p)$. Esempi: $h(0{,}1)=0{,}469$ bit, $h(0{,}2)=0{,}722$ bit, $h(0{,}11)=0{,}500$ bit. Il suo massimo è in $p=\frac12$ ed è $1$ bit, come si dimostra sotto con Jensen.

Questa funzione ritorna spesso: nella capacità del canale binario simmetrico (Tasso d'informazione, capacità di canale e teorema di ShannonUna sorgente che emette un simbolo ogni $T$ secondi ha tasso d'informazione $R=\frac{H_s}T$ [bit/s] ($H_s$ entropia per simbolo); un canale ha tasso $R(g)=\frac{I_s(x;y)}T\le R(x)$. La capacità è il massimo del tasso del canale su tutte le statistiche d'ingresso, $C=\max_{p_x}\frac{I(x;y)}T$ per un canale senza memoria. Teorema di Shannon: se il tasso nominale della sorgente è $R\le C$ esiste un codice di canale con probabilità d'errore piccola a piacere, se $R>C$ no. Capacità: BSC $C=\frac1T[1-h(P_{bit})]$, canale a cancellazione $C=\frac{1-\alpha}T$, AWGN reale $C=\frac1{2T}\log_2\left(1+\frac{E_s}{\sigma^2}\right)$; canali in parallelo sommano le capacità.Tasso d'informazione, capacità di canale e teorema di Shannon →) la probabilità d'errore del bit prende il posto di $p$.

Funzioni concave e disuguaglianza di Jensen

Per dimostrare il valore massimo dell'entropia serve una proprietà delle funzioni concave (come il logaritmo).

Definizione (funzione strettamente concava). $f$ è strettamente concava se, comunque si scelgano $N$ pesi $k_1,\dots,k_N>0$ con $\sum_{n}k_n=1$ e $N$ punti distinti $a_1,\dots,a_N$, $$\sum_{n=1}^Nk_nf(a_n)<f\left(\sum_{n=1}^Nk_na_n\right).$$

Per $N=2$ è la proprietà geometrica nota: la corda che unisce i punti $(a_1,f(a_1))$ e $(a_2,f(a_2))$ sta sotto il grafico. Il punto della corda sopra l'ascissa $k_1a_1+(1-k_1)a_2$ ha altezza $k_1f(a_1)+(1-k_1)f(a_2)$, mentre il grafico ha altezza $f(k_1a_1+(1-k_1)a_2)$, più alta.

Verifica numerica con il logaritmo. $f=\log_2$, $a_1=1$, $a_2=4$, $k_1=k_2=\frac12$: il membro di sinistra è $\frac12\log_21+\frac12\log_24=0+1=1$; quello di destra è $\log_2\left(\frac12\cdot1+\frac12\cdot4\right)=\log_22{,}5=1{,}3219$, più grande. ✓.

I pesi $k_n$ sommano a $1$ e sono positivi: sono esattamente le probabilità di una variabile aleatoria. Questo porta alla forma probabilistica.

Teorema (disuguaglianza di Jensen). Se $f$ è strettamente concava e $x$ è una variabile aleatoria discreta non costante, $$\boxed{E\left[f(x)\right]<f\left(E[x]\right).}$$ Se $x$ è costante vale l'uguaglianza. In particolare, per il logaritmo: $E\left[\log_2x\right]\le\log_2E[x]$.

La dimostrazione è la definizione con $k_n=P_x(a_n)$: $E[f(x)]=\sum_nP_x(a_n)f(a_n)<f\left(\sum_nP_x(a_n)a_n\right)=f(E[x])$. (Versione per le variabili continue e la forma con la disuguaglianza invertita per funzioni convesse: Disuguaglianze di Markov, Chebyshev e JensenMarkov: per X ≥ 0, P(X ≥ a) ≤ E[X]/a; Chebyshev: P(|X − μ| ≥ ε) ≤ Var(X)/ε²; Jensen: per φ convessa, φ(E[X]) ≤ E[φ(X)]. Stimano probabilità e medie conoscendo solo media e varianza.Disuguaglianze di Markov, Chebyshev e Jensen →.) Il logaritmo $\log_2$ è strettamente concavo perché la sua derivata seconda è $-\frac1{x^2\ln2}<0$ per $x>0$.

Limite superiore dell'entropia

Teorema. Una variabile aleatoria discreta $x$ con alfabeto di cardinalità $M$ ha $$\boxed{0\le H(x)\le\log_2M\ \text{bit},}$$ e $H(x)=\log_2M$ se e solo se $x$ è uniforme sull'alfabeto: $P_x(a)=\frac1M$ per ogni $a$.

Dimostrazione. Si considerano solo i simboli con probabilità positiva (gli altri non contano nell'entropia): sono $M'\le M$. Si scrive l'entropia come valore atteso di $\log_2\frac1{P_x(x)}$ e si applica Jensen con $f=\log_2$ alla variabile $\frac1{P_x(x)}$: $$H(x)=E\left[\log_2\frac1{P_x(x)}\right]\ \le\ \log_2E\left[\frac1{P_x(x)}\right]=\log_2\left[\sum_{a}P_x(a)\cdot\frac1{P_x(a)}\right]=\log_2M'\ \le\ \log_2M.$$ Il passaggio centrale è il calcolo del valore atteso: ogni termine $P_x(a)\cdot\frac1{P_x(a)}$ vale $1$ e gli addendi sono tanti quanti i simboli possibili. Per Jensen la prima disuguaglianza è stretta se $\frac1{P_x(x)}$ non è costante, cioè se le probabilità non sono tutte uguali; la seconda è un'uguaglianza solo se $M'=M$. Quindi $H<\log_2M$ salvo quando tutte le probabilità valgono $\frac1M$.

Se invece $P_x(a)=\frac1M$ per ogni $a$, il calcolo diretto dà $$H(x)=\sum_{a}\frac1M\log_2M=M\cdot\frac1M\cdot\log_2M=\log_2M.\qquad\blacksquare$$

Che cosa significa. Con $M$ simboli la massima incertezza si ha quando nessun simbolo è preferibile agli altri. Una moneta equa ha $1$ bit, un dado equo $\log_26=2{,}585$ bit, un simbolo uniforme su $16$ valori $4$ bit. Ogni sbilanciamento delle probabilità riduce l'entropia. Nell'esempio con probabilità $(0{,}1;\ 0{,}2;\ 0{,}3;\ 0{,}4)$ si è visto $H=1{,}846<2=\log_24$.

Il limite superiore è la base del confronto tra numero di bit che si userebbero senza codifica, $\lceil\log_2M\rceil$, e informazione realmente prodotta, $H$: se $H<\log_2M$ si può comprimere (Codici a prefisso - Kraft-McMillan e limiti di Shannon sulla lunghezza mediaLa codifica di sorgente senza perdite associa a ogni parola emessa dalla sorgente una parola di codice binaria (o $M_y$-aria) di lunghezza variabile, in modo invertibile; la qualità si misura con la lunghezza media $L_y=\sum p_{\underline x}(\underline a),l(\underline a)$. In un codice a prefisso nessuna parola è l'inizio di un'altra, quindi la decodifica è istantanea. Kraft-McMillan: ogni codice decodificabile ha $\sum M_y^{-l_i}\le1$, e se interi $l_i$ la soddisfano esiste un codice a prefisso con quelle lunghezze. Shannon: $\frac{H(\underline x)}{\log_2M_y}\le L_y<\frac{H(\underline x)}{\log_2M_y}+1$ per il codice a prefisso ottimo, con $L_y=\frac{H}{\log_2M_y}$ solo se le probabilità sono potenze di $\frac1{M_y}$.Codici a prefisso - Kraft-McMillan e limiti di Shannon sulla lunghezza media →).

Vettori aleatori: lo spazio dove si lavora

Una sorgente emette una sequenza di simboli, quindi si lavora con vettori aleatori $\underline x=[x_1,\dots,x_N]$, dove ogni $x_i$ è discreta. La densità di probabilità del vettore è la congiunta (Vettori aleatori discretiUn vettore aleatorio discreto (X, Y) è descritto dalla densità congiunta p(x, y) = P(X = x, Y = y); le marginali si ottengono sommando sull'altra variabile, X e Y sono indipendenti se p(x, y) = p_X(x) p_Y(y) per ogni coppia, e E[g(X, Y)] = Σ g(x, y) p(x, y).Vettori aleatori discreti →): $$P_{\underline x}(\underline a)=P[x_1=a_1,\dots,x_N=a_N].$$

Esempio. Con $N=2$ e $x_i\in\{0,1\}$ e probabilità $P(00)=0{,}1$, $P(01)=0{,}2$, $P(10)=0{,}3$, $P(11)=0{,}4$ (tabella che somma a $1$), l'alfabeto del vettore è $\{00,01,10,11\}$ e la funzione informazione del vettore è $$i_{\underline x}(\underline a)=\log_2\frac1{P_{\underline x}(\underline a)}.$$ Quindi l'entropia del vettore è la stessa formula della variabile singola, con la probabilità congiunta al posto di $P_x$: $H(\underline x)=E\left[i_{\underline x}(\underline x)\right]$. Questo vettore ha le stesse probabilità dell'esempio a quattro simboli e quindi $H=1{,}8464$ bit. Le proprietà dell'entropia congiunta e condizionata sono nella nota seguente (Entropia congiunta e condizionata e informazione mutuaPer due variabili aleatorie discrete $x,y$ l'entropia congiunta è $H(x,y)=E\left[\log_2\frac1{P_{x,y}(x,y)}\right]$ e vale $\max{H(x),H(y)}\le H(x,y)\le H(x)+H(y)$, con l'uguaglianza a destra se e solo se $x$ e $y$ sono indipendenti e $H(x,y)=H(x)$ se $y=f(x)$. L'entropia condizionata $H(x|y)=E_y[H(x|y=y)]$ soddisfa la regola della catena $H(x,y)=H(x|y)+H(y)=H(y|x)+H(x)$. L'informazione mutua $I(x;y)=H(x)+H(y)-H(x,y)=H(x)-H(x|y)=H(y)-H(y|x)$ è simmetrica, $0\le I\le\min{H(x),H(y)}$, nulla per variabili indipendenti.Entropia congiunta e condizionata e informazione mutua →).

Errori comuni

• Dimenticare che l'entropia dipende solo dalle probabilità: una trasformazione biunivoca dei valori ($b=2a-1$) non la cambia.
• Usare il logaritmo in base $10$ o naturale e dire "bit": con $\ln$ il risultato è in neper, va diviso per $\ln2$.
• Scrivere $\log_2\frac1{0{,}2}=-2{,}32$: il logaritmo di $\frac1P$ è positivo (è $-\log_2P$).
• Confondere $\log_2M$ (massimo, vale solo per simboli equiprobabili) con l'entropia della sorgente.
• Trascurare i simboli con probabilità zero nel calcolo di $M$: contano nell'alfabeto, ma non nell'entropia, quindi $H\le\log_2M$ con $M$ tutti i simboli e con $M'$ solo quelli possibili.
• Invertire il verso di Jensen: per una funzione concava (come il logaritmo) $E[f(x)]\le f(E[x])$; il verso opposto vale per le funzioni convesse.

Domande d'esame

1. Si definisca l'entropia di una variabile aleatoria discreta e se ne dimostri il limite superiore. $H(x)=E[-\log_2P_x(x)]$. Con Jensen e $f=\log_2$: $H=E\left[\log_2\frac1{P}\right]\le\log_2E\left[\frac1P\right]=\log_2M$, con uguaglianza se e solo se $P$ è uniforme.
2. Calcolare l'informazione di un evento di probabilità $0{,}2$ e l'entropia della variabile binaria corrispondente. $i=\log_25=2{,}32$ bit; $h(0{,}2)=0{,}2\cdot2{,}32+0{,}8\cdot0{,}32=0{,}722$ bit.
3. Quando si annulla l'entropia e quando è massima? Si annulla se e solo se la variabile è deterministica (un simbolo con probabilità $1$), è massima ($\log_2M$) se e solo se i simboli sono equiprobabili.

Esercizi svolti

• Esercizio - entropia, Kraft-McMillan ternario, Huffman e capacità di due canali binari in cascata (secondo compitino del 14 gennaio 2025, es. 186): entropia di sei livelli con probabilità $\frac13,\frac19,\dots$ e massimo di $H(Y|X)$.
• Esercizio - entropia condizionata, Huffman per due sorgenti e informazione mutua (compito del 25 giugno 2024, es. 178): entropie condizionate ai valori di $y$ e entropia della densità marginale.
• Esercizio - Huffman, Elias ed entropia con probabilità dipendenti dalla matricola (secondo compitino dell'8 gennaio 2021, es. 118): entropia di una sorgente con $p(1)=p(3)$, $p(2)=p(4)$ dalla relazione su $H(Z|X)$.
• Esercizio - sensori di temperatura, codice di Huffman, porta seriale e informazione mutua (esercizi del corso, cap. 5, es. 56): entropia di un sensore e di una coppia di sensori.