КАТЕГОРИИ:
Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)
Информационные характеристики источника дискретных сообщений
|
|
|
|
Рассмотрим дискретный источник, выдающий последовательность сообщений из некоторого ансамбля возможных сообщений 
, где 
, 
- объем алфавита.
Рассмотрим дискретный источник, выдающий последовательность сообщений 
из некоторого алфавита.
Среднее количество информации, приходящееся на одно сообщение, выдаваемое дискретным источником, называется энтропией источника:
, 
.
Для источника независимых сообщений:
.
Для источника зависимых сообщений вводят понятие условной энтропии, которая характеризует среднее количество информации, которое несет последующий символ сообщения, при условии, что уже известен ряд предыдущих.
,
где 
- вероятность появления 
при условии, что перед ним появился .
Энтропию рассматривают как меру неопределенности в поведении источника. Чем она выше, тем труднее запомнить (записать) сообщение или передать его по каналу связи.
Основные свойства энтропии:
- для дискретных сообщений она – величина вещественная, ограниченная и положительная;
- равна нулю, если с вероятностью 1 всегда выбирается один и тот же символ;
- максимальна, если все символы источника появляются независимо и с одинаковой вероятностью:
;
- энтропия аддитивна, т. е. Если рассматривать последовательность из 
сообщений как одно укрупненное сообщение, то энтропия такого источника будет в раз больше энтропии исходного источника.
Избыточность источника дискретных сообщений.
Количественно оценивается коэффициентом избыточности:
.
Она показывает, какая доля максимально возможной при этом алфавите энтропии не используется источником.
Причины избыточности:
- различные вероятности отдельных сообщений;
- наличие статистических связей между сообщениями.
Устранение избыточности сообщения – это задача эффективного кодирования источников дискретных сообщений.
Производительность источника – среднее количество информации, создаваемой источником в единицу времени. Измеряется в бит/с.
,
где 
- средняя длительность сообщения.
|
|
|
|
|
Дата добавления: 2014-10-31; Просмотров: 1046; Нарушение авторских прав?; Мы поможем в написании вашей работы!