Лекция №5 Количество информации, энтропия и избыточность сообщения Первый учебный вопрос- количество информации



Скачать 58.69 Kb.
Дата22.04.2013
Размер58.69 Kb.
ТипЛекция


Лекция №5 Количество информации, энтропия и избыточность сообщения

Первый учебный вопрос- Количество информации

Второй учебный вопрос - Энтропия.

Третий учебный вопрос - Избыточность сообщения.
Для количественной оценки эффективности работы канала связи Хартли предложил вычислять количество информации, содержащейся в сообщении. За основу он принял дискретные сигналы, состоящие из двух символов - 0 и 1. В. А. Котельников в своей теореме показал, что любой аналоговый сигнал также можно представить в дискретном виде.

Для равномерного кода длина всех кодовых комбинаций одинакова, а их общее число выражается формулой

, (1)

Где: т - основание кода; п — значность кода.

Если кодовые комбинации имеют различное число знаков, то такой код называют неравномерным.
Первый учебный вопрос- Количество информации

В формуле (1) число комбинаций N это не что иное, как количество сообщений, сформированных из равно­вероятных и независимых элементов. С ростом т и п число сообщений N увеличивается. Поэтому величину N можно использовать как основу для определения меры количества информации. Это позволит сравнивать различные источники сообщений с точки зрения согласованной передачи их сигналов по каналам связи.

Мера количества информации должна удовлетворять условию аддитивности, т.е. более длинное сообщение должно содержать соответственно большее количество информации.

Следовательно, количество информации J, содержащееся в сообщении, должно быть функцией от N, т.е. J = f(N) . Так как число элементов п является показателем степени, то для определения J лучше применять логарифмическую функцию:

(2)

Где: п — количество элементов в сообщении (значность кода);

т - общее число возможных состояний элемента (основание кода);

в - основание логарифма, определяющее количество информации.
Если основание кода т и основание логарифма в принять равными 2, то количество информации при таких условиях принимается за единицу, которая называется «бит» (двоичная единица).

Таким образом, количество информации в одном сообщении при взаимонезависимых друг от друга и равновероятных элементах сообщения выражается формулой:

gif" name="object3" align=absmiddle width=88 height=21> (3)

Однако в общем случае вероятность появления различных символов в сообщении может быть неодинаковой. Например, в русском языке чаще всего встречается буква О, а реже всего - буква Ф. В этом случае при определении количества информации нужно применять правило сложения вероятностей. Так как источник сообщения может принять одною возможных m состояний с присущей ему вероятностью, то полная группа сообщений будет равна:

(4)

Где: - вероятность появления i-го элемента.

Это нужно учесть в формуле (2).

Таким образом, количество информации при неравновероятных и взаимонезависимых элементах сообщения определяется по формуле:

(5)

Знак минус связан с тем, что поскольку < 1, то < О, т.е. имеет отрицательное значение.

Неравновероятность появления элементов сообщения уменьшает количество информации, которое приходится на один элемент сообщения. Отсюда следует, что < .

В реальных источниках информации элементы сообщения чаще всего и неравновероятны, и взаимозависимы. Действительно, в тексте буквы появляются не только с разной вероятностью , но и взаимосвязаны между собой. Значит, нужно учитывать условные вероятности , т.е. вероятность появления буквы j, если перед ней была буква i. Например, после согласной, как правило, идет гласная буква, хотя есть исключения.

Отсюда следует, что количество информации при неравновероятных и взаимозависимых элементах сообщения может быть найдено из выражения:

(6)

Здесь количество информации на один элемент сообщения еще меньше, чем в предыдущих случаях, т.е. <<
Второй учебный вопрос - Энтропия.
Следует обратить внимание на то, что информация, полученная от источника, будет тем ценнее и содержательнее, чем больше была неопределенность до ее получения.

В качестве меры априорной (доопытной) неопределенности источника информации К. Шеннон ввел понятие энтропия. Если до принятия информации от источника была полная неопределенность, которая характеризовалась энтропией Н, то после получения информации эта неопределенность устраняется и энтропия становится равной нулю. Это значит, что энтропия источника сообщений численно равна количеству полученной информации, приходящейся на один элемент сообщения.

Это обстоятельство позволяет найти энтропию для трех ранее рассмотренных источников информации:

- при равновероятных и взаимонезависимых элементах сообщения:

(7)

- при неравновероятных и взаимонезависимых элементах сообщения:

(8)

- при неравновероятных и взаимозависимых элементах сообщения

(9)

Отсюда следует, что энтропия источника во всех рассмотренных случаях определяется количеством информации, переносимой одним символом сообщения. А так как << то энтропия > > .

Энтропия обладает следующими свойствами:

, если одно из сообщений источника информации достоверно, а другие, образующие полную группу сообщений, невозможны;

, когда все сообщения источника информации равновероятны (при их конечном числе);

возрастает с увеличением количества равновероятных сообщений от источника информации;

обладает свойством аддитивности, т.е. если несколько независимых источников информации объединяются в один, то их энтропии складываются: .
Третий учебный вопрос - Избыточность сообщения.
Неравновероятность и взаимозависимость элементов сообщения уменьшают количество информации, а значит, и энтропию на один элемент сообщения. Следовательно, в этом случае для передачи одного и того же количества информации потребуется больше элементов сообщения, чем в том случае, когда они равновероятны и взаимонезависимы.

Предположим, что необходимо передать определенное количество информации (J = const).

Если элементы сообщения равновероятны и взаимонезависимы, то для передачи заданного количества информации потребуется число элементов, равное:

, (10)

Для неравновероятных, но взаимонезависимых элементов сообщения их число будет равно:

, (11)

Так как <, то > , т.е. число элементов для передачи того же количества информации возрастет.

И наконец, когда элементы сообщения будут неравновероятны и взаимозависимы, для передачи той же информации потребуется число элементов, равное:

, (12)

Поскольку >>, то > >.

Таким образом, передача одного и того же количества информации во втором и третьем случае потребует затраты соответственно () и () избыточных символов.

Мерой полной избыточности служит относительное число лишних элементов:

, (13)

Избыточность можно выразить через энтропию:

, (14)

Помимо полной избыточности, существует понятие частной избыточности, обусловленной неравновероятностью элементов:

, (15)

и частной избыточности, обусловленной только взаимосвязью элементов сообщения:

, (16)

Между (14), (15) и (16) существует следующая зависимость:

, (17)

Если и невелики, то можно воспользоваться приближенным выражением:

, (18)



Похожие:

Лекция №5 Количество информации, энтропия и избыточность сообщения Первый учебный вопрос- количество информации icon«Кодирование текстовой информации»
Два текста содержат одинаковое количество символов. Первый текст записан на русском языке, а второй на языке племени нагури, алфавит...
Лекция №5 Количество информации, энтропия и избыточность сообщения Первый учебный вопрос- количество информации iconТеория: N=2i i=log2n i=K*i n полное количество символов в алфавите I количество информации, которое несет каждый символ k размер текста I размер информации, содержащейся в тексте Задачи
Письмо состояло из 30 строк. В каждой строке вместе с пробелами по 48 символов. Письмо содержало 900 байт информации. Какова мощность...
Лекция №5 Количество информации, энтропия и избыточность сообщения Первый учебный вопрос- количество информации iconПредставление информации
Язык как способ представления информации. Кодирование. Двоичная система счисления. Количество и единицы измерения информации
Лекция №5 Количество информации, энтропия и избыточность сообщения Первый учебный вопрос- количество информации iconЛекция №3 Тема: Представление информации. Количество и единицы измерения информации План Кодирование информации
Одну и ту же информацию можно передать разными сигналами и даже совсем разными способами. Важно не то, как передавать информацию,...
Лекция №5 Количество информации, энтропия и избыточность сообщения Первый учебный вопрос- количество информации iconЗанятие № Случайные события. Мера их неопределенности. Формула Хартли 8 Занятие № Энтропия по Шеннону. Свойства энтропии 16 Занятие № Условная энтропия. Решение задач на условную энтропию 21 Занятие № Количество информации
Очевидно, что для качественного преподавания данного курса в основной и средней школе необходима соответствующая специальная подготовка...
Лекция №5 Количество информации, энтропия и избыточность сообщения Первый учебный вопрос- количество информации iconБилет 2 Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации
Определить понятие "количество информации" довольно сложно. В решении этой проблемы существует три подхода
Лекция №5 Количество информации, энтропия и избыточность сообщения Первый учебный вопрос- количество информации iconКоличество информации как мера уменьшения неопределённости знания Уменьшение неопределённости знания
Чем больше начальное число возможных равновероятных событий, тем больше начальная неопределённость нашего знания и тем большее количество...
Лекция №5 Количество информации, энтропия и избыточность сообщения Первый учебный вопрос- количество информации iconАлфавитный подход к измерению информации
Количество информации, содержащееся в символьном сообщении, вычисляется по формуле
Лекция №5 Количество информации, энтропия и избыточность сообщения Первый учебный вопрос- количество информации icon«Двоичное кодирование текстовой информации»
Традиционно для кодирования одного символа используется количество информации, равное 1 байту
Лекция №5 Количество информации, энтропия и избыточность сообщения Первый учебный вопрос- количество информации iconЕдиницы измерения информации
Бит – это такое количество информации, которое позволяет выбрать один вариант из двух возможных
Разместите кнопку на своём сайте:
ru.convdocs.org


База данных защищена авторским правом ©ru.convdocs.org 2016
обратиться к администрации
ru.convdocs.org