Intuizione reciproca delle informazioni

Question

Stavo creando un esempio per un discorso casuale su informazioni reciproche. Ho considerato un sistema di due monete, che con probabilità 1/2 sono copie l'una dell'altra e con probabilità 1/2 sono indipendenti.

Quindi $ p (a = b) = 1/2+1/2 tempi 1/2 = 3/4 $, quindi $ p (hh) = p (tt) = 3/8 $ e $ p (ht) = P (th) = 1/8 $.

Le informazioni totali sono quindi $ E (- log_2 p) = 1,81 $.

Pertanto le informazioni reciproche sono $ h (x)+h (y) -i (x; y) = 1+1-1,81 = 0,19 $ bit.

È corretto? Poiché intuitivamente in questo caso ci si potrebbe aspettare, poiché il 50% delle volte le monete sono uguali, le informazioni reciproche sono $ 0,5 $ bit.

C'è qualche semplice intuizione perché è inferiore a $ 0,5 $ bit?