Занятие №3 По дисциплине Теория информации



Скачать 39.75 Kb.
Дата22.04.2013
Размер39.75 Kb.
ТипЗанятие
КАФЕДРА

ПРИКЛАДНОЙ ИНФОРМАТИКИ

Практическое занятие №3




По дисциплине

Теория информации









Тема № 2

Информационные модели сигналов систем





полное наименование темы


Занятие № 6

Количественная оценка информации.




полное наименование занятия


Цель занятия: Закрепить теоретические знания по определению энтропии объединения информации при различных вероятностях событий.


Изучаемые вопросы:
1 Определение энтропия объединения информации

1 Определение энтропия объединения информации
Энтропия объединения используется для вычисления энтропии совместного появления статистически зависимых сообщений. Например, передав сто раз цифру 5 по каналу связи с помехами, заметим, что цифра 5 была принята 90 раз, цифра 6 – 8 раз и цифра 4 – 2 раза.

Неопределённость возникновения комбинаций вида 5 – 4, 5 – 5, 5 – 6, при передаче цифры 5 может быть описана при помощи энтропии объединения. H(A,B) – неопределенность того, что будет послано А, а принято В. Для ансамблей переданных сообщений и принятых сообщений В энтропия объединения представляет собой сумму вида

бит/два символа (20)

Энтропия объединения и условная энтропия связаны между собой следующими соотношениями:





Энтропия объединения может быть подсчитана при помощи матрицы вида

.

Такая матрица обладает замечательным свойством: при этом . Это свойство, в свою очередь, позволяет вычислять энтропию - как источника, так и приёмника сообщений непосредственно по канальной матрице

gif" name="object7" align=absmiddle width=261 height=34> (21)

(22)

Суммирование производим по i и j, так как для того, чтобы найти безусловные вероятности, необходимо суммировать их по одной координате (имея в виду матричное представление вероятностей) для нахождения Н суммирование производится по другой координате.

Условные вероятности вида и вычисляются следующим образом:



Количество информации на символ сообщения, переданного по каналу связи, в котором влияние помех описывается при помощи энтропии объединения, подсчитывается следующим образом:

Контрольные задачи


1.В результате статистических испытаний канала связи № 1 со стороны источника сообщений были получены следующие условные вероятности: 0,9; 0,1; 0; 0,1; 0,8; 0,1; 0;0; 0,9.

При испытании канала связи № 2 со стороны приёмника сообщений получины условные вероятности: 0,9; 0,08; 0; 0,1; 0,8; 0,0; 0;0,12; 0,92.

Построить соответствующие канальные матрицы и определить частные условные энтропии относительно сигнала а2 (со стороны источника сообщений) и сигнала b3( со стороны приёмника).

2.Определить все возможные информационные характеристики канала связи, в котором взаимосвязь источника с приёмником может быть описана матрицей вида:



3.Вероятности появления сигналов на входе приемника сообщений равны соответственно: p(b1) = 0,2; p(b2) = 0,3; p(b3) = 0,3. Канал связи описан следующей канальной матрицей:



Определить энтропию источника сообщений.

4.Определить частотную энтропию относительно каждого символа источника сообщений при передаче по каналу связи, описанному следующей канальной матрицей:



5.В результате статистических испытаний канала связи были получены следующие условные вероятности перехода одного сигнала в другой : 0,85; 0,1; 0,05; 0,09; 0,91; 0; 0;0,08; 0,92. Построить канальную матрицу и определить общую условную энтропию сообщений, передаваемых по данному каналу связи.

6.Построить произвольные канальные матрицы, описывающие канал связи как со стороны источника сообщений, так и со стороны приёмника. В чём разница таких матриц? Как определить частные условные энтропии по одной и по другой матрице?

7.Построить произвольную матрицу некоторой объединенной системы. Какие замечательные свойства такой матрицы?

8.Показать процесс перехода от матрицы с вероятностями вида p(a,b) к матрице с вероятностями вида p(b/a).

9.Определить полные условные энтропии двух систем А и В, если матрица вероятностей системы, полученной в результате объединения систем А и В, имеет вид:


Похожие:

Занятие №3 По дисциплине Теория информации iconЗанятие №2 По дисциплине Теория информации
Цель занятия: Закрепить теоретические знания по определению условной энтропии информации при различных вероятностях событий
Занятие №3 По дисциплине Теория информации iconЗанятие №1. По дисциплине Теория информации
Цель занятия: Закрепить теоретические знания по определению количества информации при равновероятных событиях, а также при различных...
Занятие №3 По дисциплине Теория информации iconЛекция №5 По дисциплине Теория информации
Согласование пропускной способности канала передачи информации с потоком информации от источника
Занятие №3 По дисциплине Теория информации iconТеория информации. Мера количества информации лобач Г. С., Саттаров И. Д
Теория информации – комплексная, в основном математическая теория, включающая в себя описание и оценки методов извлечения, передачи,...
Занятие №3 По дисциплине Теория информации iconЛекция №8 По дисциплине Теория информации Тема №4 Помехоустойчивость и эффективность информационных систем полное наименование темы Занятие №12
Цель занятия: дать систематизированные основы научных знаний по различным методам кодированию данных с помощью кодов с памятью и...
Занятие №3 По дисциплине Теория информации iconРабочая программа по дисциплине "Теория информации" для студентов специальности 090106
Учебный план набора 2006 года и последующих лет, квалификация специалист по защите информации
Занятие №3 По дисциплине Теория информации iconЛекция №1 По дисциплине Теория информации
Цель занятия: дать систематизированные основы научных знаний по структуре дисциплины, предмету, методам, задачам; основным понятиям...
Занятие №3 По дисциплине Теория информации iconУчебная программа Дисциплины б5 «Теория информации и кодирования»
Дисциплины «Теория информации и кодирования» направлено на ознакомление студентов с основными количественными характеристиками источников...
Занятие №3 По дисциплине Теория информации iconЗанятие № Случайные события. Мера их неопределенности. Формула Хартли 8 Занятие № Энтропия по Шеннону. Свойства энтропии 16 Занятие № Условная энтропия. Решение задач на условную энтропию 21 Занятие № Количество информации
Очевидно, что для качественного преподавания данного курса в основной и средней школе необходима соответствующая специальная подготовка...
Занятие №3 По дисциплине Теория информации iconТеория информации и искусствознание
В сб.: "Теория информации и искусствознание", 2008. Вып. Ин-т искусствознания под эгидой Межд. Акад информатики
Разместите кнопку на своём сайте:
ru.convdocs.org


База данных защищена авторским правом ©ru.convdocs.org 2016
обратиться к администрации
ru.convdocs.org