Учебно-методический комплекс по дисциплине «Теория информации и кодирования»

Автор-составитель: Захарова М.В., кандидат физико-математических наук, доцент, доцент кафедры «Высшая и прикладная математика» Учебно-методический комплекс по дисциплине «Теория информации и кодирования» составлен в соответствии с требованиями Государственного образовательного стандарта высшего профессионального образования по специальности: 230101, вычислительные машины, комплексы, системы и сети (ЭВМ); 230201, информационные системы и технологии (ИСЖ);210100, управление и информатика в технических системах (УИТС). Дисциплина входит в федеральный компонент цикла математических и естественнонаучных дисциплин и является обязательной для изучения. 1. ЦЕЛИ И ЗАДАЧИ ДИСЦИПЛИНЫ Целью преподавания дисциплины является изучение студентами специальностей 230101 (ЭВМ), 230201 (ИСЖ), 210100 (УИТС) основных положений теории информации и кодирования. Эффективное и надежное функционирование информационных систем невозможно без знания основных теоретических принципов получения, преобразования, передачи, хранения и представления информации. Изучение этих принципов и составляет основное содержание дисциплины «Теория информации и кодирования». Теория информации исследует общие закономерности информационных процессов, позволяет оценить качество функционирования информационных систем. Данная дисциплина имеет тесную связь со следующими курсами: «Теория вероятностей», «Дискретная математика». 2. ТРЕБОВАНИЯ К УРОВНЮ ОСВОЕНИЯ ДИСЦИПЛИНЫ В результате изучения дисциплины специалист должен иметь представление об основных подходах к измерению информации и об основных принципах преобразования и передачи информации; знать и уметь использовать основные теоретические принципы теории информации и кодирования для обеспечения эффективной и надежной передачи информации; иметь опыт получения количественных оценок информации, расчета информационных характеристик основных элементов систем передачи информации, построения кодов. 3. ОБЪЕМ ДИСЦИПЛИНЫ И ВИДЫ УЧЕБНОЙ РАБОТЫ Специальность ИСЖ ЭВМ/УИТС Вид учебной работы Всего часов Курс Всего часов Курс Общая трудоемкость дисциплины 204 3 85/75 2 Аудиторные занятия: 28 12 Лекции 16 8 Практические занятия 12 – Лабораторный практикум – 4 Самостоятельная работа 161 54/44 Контрольная работа 15 1 15 1 Вид итогового контроля Экзамен Диф. зачет 4. СОДЕРЖАНИЕ ДИСЦИПЛИНЫ 4.1. РАЗДЕЛЫ ДИСЦИПЛИНЫ И ВИДЫ ЗАНЯТИЙ № Раздел дисциплины Лекции, час. Практ. занятия, час. Лаб. практикум, час. Специальность ИСЖ ЭВМ УИТС ИСЖ ЭВМ УИТС 1 Измерение информации 4 2 2 2 2 Модели сигналов 2 3 Преобразование сигналов 2 2 4 Источники сообщений 2 2 2 5 Кодирование информации 4 3 4 2 6 Передача информации 2 1 2 4.2. СОДЕРЖАНИЕ РАЗДЕЛОВ ДИСЦИПЛИНЫ Темы с пометкой * предусмотрены для специальности 230201, ИСЖ. Раздел 1. Измерение информации Понятие информации. Различные подходы к измерению информации и их применение. Структурные меры информации. Статистический подход. Энтропия и ее свойства. *Энтропия сложной системы. Условная энтропия и ее свойства. Количество информации. Дифференциальная энтропия. [1 – 3, 5, 6] Раздел 2. Модели сигналов Понятие сигнала и его модели. Различные формы представления детерминированных сигналов. * Случайный процесс, спектральное представление. [1 – 3, 5] *Раздел 3. Преобразование сигналов Дискретизация сигналов. Основные методы. Ошибки при восстановлении сигналов. Теорема В.А. Котельникова и ее применение. Квантование сигналов. Оценка ошибок. Различные виды модуляции сигналов. [1, 3, 5] Раздел 4. Источники сообщений Различные модели источников сообщений: дискретные, непрерывные. Однородный марковский источник. Информационные характеристики источников: энтропия, избыточность. [1 – 3, 5] Раздел 5. Кодирование информации Основные задачи кодирования. Эффективное и помехоустойчивое кодирование. Основные теоремы Шеннона о кодировании. Эффективные коды: код Шеннона-Фано, код Хаффмана, и их характеристики. Методики построения помехоустойчивых кодов: код с проверкой четности, код с тройным повторением, код Хэмминга. [1 – 4, 5] *Раздел 6. Передача информации Различные модели каналов связи: дискретные, непрерывные. Информационные характеристики каналов: скорость передачи информации, пропускная способность. [1 – 3, 5] 4.3. ЛАБОРАТОРНЫЙ ПРАКТИКУМ № № раздела дисциплины Наименование лабораторных работ 1 1 Меры информации 2 5 Построение кодов 4.4. ПРАКТИЧЕСКИЕ ЗАНЯТИЯ № № раздела дисциплины Наименование практических занятий 1 1 Меры информации 2 2 Формы представления сигналов 3 4 Информационные характеристики источников сообщений 4 5 Эффективные коды 5 5 Помехоустойчивые коды 6 6 Информационные характеристики каналов связи 5. САМОСТОЯТЕЛЬНАЯ РАБОТА Студент специальности ЭВМ или УИТС должен выполнить контрольную работу, состоящую из 5 задач по разделам: измерение информации, кодирование информации. Студент специальности ИСЖ должен выполнить контрольную работу, состоящую из 7 задач по разделам: измерение информации, источники сообщений, кодирование информации, передача информации. ЗАДАНИЕ НА КОНТРОЛЬНУЮ РАБОТУ 1 – 10. Определить количество информации (по Хартли), содержащееся в системе, информационная емкость которой характеризуется десятичным числом Q. Закодировать это число по двоичной системе счисления. № 1 2 3 4 5 6 7 8 9 10 Q 500 1000 750 1250 250 1500 650 900 1100 1600 11 – 20. Определить среднее количество информации, содержащееся в сообщении, используемом три независимых символа S1, S2, S3. Известны вероятности появления символов p(S1)=p1, p(S2)=p2, p(S3)=p3. Оценить избыточность сообщения. № 11 12 13 14 15 16 17 18 19 20 p1 0,1 0,2 0,3 0,1 0,15 0,1 0,2 0,2 0,05 0,15 p2 0,15 0,1 0,15 0,3 0,2 0,4 0,25 0,3 0,15 0,25 p3 0,75 0,7 0,55 0,6 0,65 0,5 0,55 0,5 0,8 0,6 21 – 30. В условии предыдущей задачи учесть зависимость между символами, которая задана матрицей условных вероятностей P(Sj / Si). 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31 – 40. Провести кодирование по одной и блоками по две буквы, используя метод Шеннона – Фано. Сравнить эффективности кодов. Данные взять из задач №11 –20. 41 – 50. Алфавит передаваемых сообщений состоит из независимых букв Si. Вероятности появления каждой буквы в сообщении заданы. Определить и сравнить эффективность кодирования сообщений методом Хаффмана при побуквенном кодировании и при кодировании блоками по две буквы. № p(Si) № p(Si) 41 (0,6;0,2;0,08;0,12) 46 (0,7;0,2;0,06;0,04) 42 (0,7;0,1;0,07;0,13) 47 (0,6;0,3;0,08;0,02) 43 (0,8;0,1;0,07;0,03) 48 (0,5;0,2;0,11;0,19) 44 (0,5;0,3;0,04;0,16) 49 (0,5;0,4;0,08;0,02) 45 (0,6;0,2;0,05;0,15) 50 (0,7;0,2;0,06;0,04)

Похожие:

	Учебно-методический комплекс Для специальности 080107 «Налоги и налогообложение» Учебно-методический комплекс «Теория и история налогообложения» составлен в соответствии с требованиями Государственного образовательного...		Учебно-методический комплекс «криптографическая защита информации» Данный учебно-методический комплекс предназначен для подготовки и переподготовки руководителей, инженерно-технического персонала...
	Учебно-методический комплекс по учебным дисциплинам «Теория вероятностей» Учебно-методический комплекс по учебным дисциплинам «Теория вероятностей» и «Математическая статистика» для социологов: Учебно-методическое...		Учебно-методический комплекс для студентов, обучающихся по специальности 070109 «Музыкальное искусство эстрады» Учебно-методический комплекс по учебной дисциплине «Методика обучения эстрадному пению» составлен в соответствии
	Учебная программа Дисциплины б5 «Теория информации и кодирования» Дисциплины «Теория информации и кодирования» направлено на ознакомление студентов с основными количественными характеристиками источников...		Учебно-методический комплекс для студентов, обучающихся по специальности 070109 «Музыкальное искусство эстрады» Учебно-методический комплекс по учебной дисциплине «История исполнительства Урало-Сибирского региона» составлен в соответствии
	Учебно-методический комплекс по дисциплине «Типографика-1» Учебно-методический комплекс «Типографика-1» составлен в соответствии с требованиями Государственного образовательного стандарта...		Учебно-методический комплекс по дисциплине «Типографика-2» Учебно-методический комплекс «Типографика-2» составлен в соответствии с требованиями Государственного образовательного стандарта...
	Учебно-методический комплекс дисциплины теория государства и права для студентов юридического факультета Учебно-методический комплекс дисциплины «Теория государства и права» / авт сост. В. В. Оксамытный. – М. Импэ им. А. С. Грибоедова,...		Учебно-методический комплекс по дисциплине правоведение для специальности: 080500 «Геология нефти и газа» Данный учебно-методический комплекс составлен в соответствии с требованиями Государственного образовательного стандарта для подготовки...