Статистические меры информации

В статистической теории информации (теории связи) энтропия H выражается следующей формулой

,

где р =(р ₁,…, p_k) – вектор вероятности исходов,

и представляет среднюю информацию, доставляемую одним опытом.

Энтропия Н характеризуется следующими свойствами:

1) энтропия всегда неотрицательна ;

2) энтропия равна нулю, если

(а остальные ),

т.е. когда об исходе опыта заранее все известно и результат не приносит никакой новой информации;

3) энтропия имеет наибольшее значение при условии, когда все вероятности равны между собой:

p ₁ = p ₂ = … = p_i = p_k = 1/ k, при этом

H = -log₂1/ k = log₂ k.

Логарифмическая статистическая мера информации связана с аддитивной логарифмической мерой Хартли:

I = log₂ h.

Когда алфавит состоит из h -знаков, то вероятность появления каждого знака равна p_i = 1/ h.

Дата добавления: 2015-04-29; Просмотров: 382; Нарушение авторских прав?; Мы поможем в написании вашей работы!