entropia Rényi all'infinito o min-entropia
-
16-10-2019 - |
Domanda
sto leggendo un documento che fa riferimento al limite per n che tende all'infinito di Rényi entropia. Si definisce come $ {{H} _ {n}} \ left (X \ right) = \ dfrac {1} {1-n} \ log_2 \ left (\ sum \ limits_ {i = 1} ^ {N} {p_ {i} ^ {n}} \ right) $. E poi dice che il limite da $ n \ to \ infty $ è $ - \ log_2 \ left (P_1 \ right) $. Ho visto un altro articolo che utilizza il massimo della $ {{p} _ {i}} 's $ invece di $ {{p} _ {1}} $. Credo che questo funziona abbastanza facilmente se tutto il $ {{p} _ {i}} 's $ sono uguali (una distribuzione uniforme). Non ho idea di come per dimostrare questo per qualcosa di diverso una distribuzione uniforme. Qualcuno mi può mostrare come si fa?
Soluzione
Si supponga che $ P_1 = \ MAX_I p_i $. abbiamo $$ p_1 ^ n \ leq \ sum_ {i = 1} ^ N p_i ^ n \ leq N p_1 ^ n. $$ Perciò $$ \ frac {n \ log p_1 + \ log N} {1-n} \ leq H_n (X) \ leq \ frac {n \ log p_1} {1-n}. $$ Come $ n \ rightarrow \ infty $, $ \ log N / (1-n) \ rightarrow 0 $, mentre $ n / (1-n) \ rightarrow -1 $.