Энтропия rényi при бесконечности или мин-энтропии

cs.stackexchange https://cs.stackexchange.com/questions/6244

  •  16-10-2019
  •  | 
  •  

Вопрос

Я читаю газету, которая относится к ограничению, когда N идет к бесконечности энтропии rényi. Он определяет его как $ {{h} _ {n}} left (x right) = dfrac {1} {1-n} log_2 left ( sum limits_ {i = 1}^{n} {p_ {i}^{n}} right) $. Затем он говорит, что предел как $ n to infty $ является $- log_2 left (p_1 right) $. Я видел еще одну статью, которая использует максимум $ {{p} _ {i}} $ вместо $ {{p} _ {1}} $. Я думаю, что это работает довольно легко, если все $ {{p} _ {i}} $ равны (равномерное распределение). Я понятия не имею, как доказать это для чего -либо, кроме равномерного распределения. Кто -нибудь может показать мне, как это делается?

Это было полезно?

Решение

Предположим, $ p_1 = max_i p_i $. У нас есть $$ p_1^n leq sum_ {i = 1}^n p_i^n leq n p_1^n. $$, следовательно, $$ frac {n log p_1 + log n} {1-n} leq h_n (x) leq frac {n log p_1} {1-n}. $$ как $ n rightarrow infty $, $ log n/(1-n) rightarrow 0 $, а $ n/(1-n) rightarrow -1 $.

Лицензировано под: CC-BY-SA с атрибуция
Не связан с cs.stackexchange
scroll top