Лекция №1 По дисциплине Теория информации



Скачать 123.35 Kb.
Дата26.10.2012
Размер123.35 Kb.
ТипЛекция
КАФЕДРА

ПРИКЛАДНОЙ ИНФОРМАТИКИ

ЛЕКЦИЯ № 1




По дисциплине

Теория информации









Тема № 1

Введение





полное наименование темы


Занятие № 1

Введение




полное наименование занятия



Цель занятия: дать систематизированные основы научных знаний по структуре дисциплины, предмету, методам, задачам; основным понятиям и определениям теории информации

Изучаемые вопросы:
1. Понятие информации

2. Формы представления информации

3. Теорема дискретизации

4. Избыточность сообщения.


В курсе “Теории информации” изучаются теоретические вопросы эффективной передачи данных. Однако, перед тем, как в них углубляться, мы познакомимся с общими подходами к информации и формами ее представления.
1. Понятие информации
1.1. Информация и материя

С точки зрения философии информация – наиболее общее понятие наряду с материей. Можно сказать, что она отражает организацию материи. При этом информация не только пассивно характеризует структуру материи, но и способна активно создавать и воспроизводить эту структуру. Например, любой созданный человеком объект первоначально существует в виде идеи (образа) в голове его творца, а свойства самого человека в значительной степени запрограммированы информацией, хранящейся в его геноме.

“Антиподом” информации, характеризующей стуктурированность материи является энтропия, которая отражает ее неупорядоченность (“хаоc”).

Упорядоченность и хаос (и, соответственно, энтропия и информация) в видимой вселенной непрерывно перетекают друг в друга: например, строить – означает упорядочивать, а разрушать – вносить беспорядок. Но “есть время собирать камни и время разбрасывать камни”. Исходя из этого существует предположение о “законе сохранения” количества информации во Вселенной. Однако, есть и прямо противоположная точка зрения: след всего, что происходит, неуничтожим на “тонких уровнях” организации материи, так что информация постоянно накапливается.
1.
2 Информация в адаптивной системе

Упомянутый выше подход к информации можно считать наиболее общим, однако, он мало что дает в практическом плане. Понятия количества, значения и ценности информации приобретают смысл, если в рассмотрении появляется субъект – система, которая эту информацию использует. Такой системой может быть, например, живой организм, сообщество людей или компьютер, управляющий некоторым агрегатом.

Система всегда существует в определенной среде. Чтобы решать свои задачи она должна иметь собственную модель среды и постоянно корректировать ее на основе получаемых сведений (адаптировать). В рамках такого подхода информация есть «представление субъекта об окружающей среде». Напротив, энтропия – неопределенность в таком представлении. Появление новых сведений снимает часть неопределенности и энтропия (“незнание”) заменяется информацией (“знанием”).

Обратите внимание, что информация (как “представления субъекта”) сама по себе не материальна, однако, она всегда имеет материальные носители: сигналы, которые ее переносят или параметры элементов, с помощью которых она хранится. Сигналы служат носителями информации при восприятии ее из среды и при передаче от одного субъекта другому (при этом “другой субъект” представляется во “внутренней модели”, как элемент среды). Обратите внимание, что из многообразных физических воздействий среды на субъекта сигналами будут лишь те, из которых субъект получает информацию.

2. Формы представления информации
Для человека, как существа общественного, принципиально необходимо обмениваться информацией с себе подобными. Именно способность накапливать, передавать и воспринимать опыт других и сделала его Человеком. При этом по мере развития культуры люди изобретали все более изощренные и разнообразные средства хранения, передачи, а затем и обработки информации.

Классификация основных форм представления информации, используемых человеком для ее передачи и хранения.
2.1 Символьная информация. Понятие о знаках и знаковых системах

Знаки представляют материальное замещение понятий, которыми человек пользуется, чтобы упорядочить и упростить свои представления о внешнем мире (так, понятие “человек” обобщает множество индивидуальностей разного возраста, пола, расы и т.д., а этому понятию может соответствовать определенный знак, например, пиктограмма).

Обычно знаки образуют систему. Примером знаковой системы являются различные языки – от живого языка человеческого общения до алгоритмического языка для записи программ или языка химических формул. Другие примеры – набор цветов светофора, знаков дорожного движения и т.д. Существуют и внесистемные знаки, которые обычно тоже являются «обломками» знаковых систем (например жесты или междометия).

По своей природе знаковые системы дискретны, то-есть, используют ограниченный набор элементов.

Другой аспект – связь формы знака и его смысла. Знаки, форма (вид), которых непосредственно связана с их смыслом называют символами. Таковы, например, гербы и пиктограммы. Если подобная связь отсутствует (как в случае слов естественного языка или знаков математических операций), знаки называют диакритиками. Обычно знаковые системы состоят из диакритических знаков, хотя в ряде случаев можно проследить их символические корни (например, некоторых букв и иероглифов).

Законы построения знаковых систем изучает семиотика, которая включает ряд направлений.

Синтактика занимается правилами соединения знаков (например, построения фраз).

Семантика изучает смысл – соответствие знака (слова) и понятия. Фраза «Глокая куздра штеко будланула бокра и кудлачит бокренка» построена синтаксически верно, однако она бессмысленна, поскольку словам не соответствуют понятия.

Прагматика занимается полезностью и истинностью. Фраза «Сегодня хорошая погода» синтаксически правильна и семантически корректна. Однако истинность и ценность информации, которую она передает, зависит от конкретных условий.

Сигматика изучает вопросы обозначений.

В нашем курсе использование знаков рассматривается с точки зрения передачи информации. С этих позиций они представляют собой условное изображение элементов сообщения. Типичный случай сообщения, ссотоящего из знаков – текст.

2.2 Графическая информация. Понятие о спектре непрерывных сообщений
Графическая форма представления удобна для отображения информации, которую человек непосредственно, без логической обработки, получает по зрительному каналу (изображения). Она хорошо подходит также для передачи особенностей непрерывных по своей природе сигналов (например, звуковых), а в общем виде – непрерывных зависимостей .

Типичный вариант графического отображения непрерывной зависимости (например, изменения некоего сигнала во времени) показан на Рис. 1. Если учесть, что любой цветовой сигнал может быть представлен как наложение трех цветов (в частности, красного, зеленого и голубого), то изменение цвета точки изображения также можно представить тремя аналогичными зависимостями. Таким образом, подобный подход достаточно универсален.

Зачастую меняющаяся во времени величина сохраняет некоторые стабильные характеристики, в частности, мощность различных частотных составляющих (которым соответствуют участки кривой с разной скоростью изменения амплитуды). Такой “частотный портрет” непрерывной зависимости называется спектром. На рис. 2 приведены несколько примеров спектров – постоянного сигнала (его “частота” равна 0), гармоники (у которой, разумеется, одна частота) и сложного апериодического сигнала.

В дальнейшем мы вернемся к детальному изучению спектров различных сигналов, используемых при передаче информации по линиям связи. Здесь же уместно отметить следующее: для реальных сигналов, скорость изменения которых конечна, всегда существует некоторая граничная частота спектра fm, соответствующая его самой высокочастотной составляющей.
2.3 Параметрическая (числовая) информация. Дискретизация непрерывных сообщений

Для представления количественной информации чаще всего используются числа. По сравнению с представлением величин непрерывными зависимостями они дают значительные преимущества в возможностях обработки и хранения информации. Именно поэтому непрерывные сообщения часто “оцифровывают”, то-есть представляют как последовательность чисел.

Числовая информация, как и символьная, по своей природе дискретна, так как она может быть представлена ограниченным набором символов (в частности, цифр).

На Рис.1 показана дискретизация непрерывной зависимости U(t). Она включает две составляющих:

  • дискретизацию по времени с шагом t;

  • дискретизацию (квантование) по уровню с шагом U.

Благодаря этим двум этапам всю зависимость U(t) можно представить как последовательность дискретных значений, которым соответствуют числа.

Очевидно, что точность дискретизации по уровню может быть выбрана как угодно большой

Важно, что непрерывную информацию с помощью оцифровки (дискретизации) принципиально в любом случае можно представить, как дискретную с любой необходимой точностью. В то-же время, обратное преобразование иногда невозможно (например, для символов). Таким образом, дискретная форма представления информации является наиболее общей.


Рис. 1

В соответствие с формами представления информации выделяют и типы дискретных и непрерывных сообщений. Первые состоят из знаков, принадлежащих к определенному алфавиту. Вторые включают непрерывно меняющиеся во времени величины.

Принципиально важно, что непрерывная информация в любом случае могут быть преобразована к дискретной, тогда как обратное преобразование возможно не всегда.

Действительно, непрерывную зависимость некоторых величин можно дискретизировать, если задавать их соответствие в ограниченном наборе точек. При этом точность такого преобразования принципиально может быть задана достаточно высокой, чтобы не потерять информацию. А вот однозначно восстановить неизвестную кривую по ограниченному набору точек возможно не всегда. Мы будем рассматривать дискретную форму представления информации, как основную.

3. Теорема дискретизации



Исключительно важным положением теории связи, на котором основана вся современная радиотехника, является так называемая теорема отсчетов, или теорема Котельникова. Эта теорема позволяет установить соотношение между непрерывными сигналами, какими являются большинство реальных информационных сигналов – речь, музыка, электрические сигналы, соответствующие телевизионным изображениям, сигналы в цепях различных радиотехнических систем и т.п., и значениями этих сигналов лишь в отдельные моменты времени – так называемыми отсчетами. На использовании этой связи строится вся современная цифровая радиотехника – цифровые методы передачи и хранения звуковых и телевизионных сигналов, цифровые системы телефонной и сотовой связи, системы цифрового спутникового телевидения и т.д. Можно сказать больше: будущее всей техники обработки сигналов - в ее цифровой реализации. Пройдет еще 10 – 20 лет - и мы будем вспоминать о традиционных аналоговых методах формирования и приема сигналов, их обработки и хранения лишь в теоретическом плане. Вся практическая радиотехника, связанная с обработкой информационных сигналов, перейдет на цифровую реализацию.

Теорема дискретизации, или, как ее еще называют, теорема Котельникова, теорема Уитекера, формулируется следующим образом: непрерывная функция Х(t) с ограниченным спектром, то есть не имеющая в своем спектре

(1.5)

составляющих с частотами, лежащими за пределами полосы f (-Fm , Fm), полностью определяется последовательностью своих отсчетов в дискретные моменты времени X( ti ), следующих с шагом t < 1/Fm .

Доказательство сформулированной теоремы основывается на однозначном соответствии между сигналами и соответствующими им спектрами. Иными словами, если сигналы одинаковы, то и соответствующие им спектры также одинаковы. И, наоборот, если спектры двух сигналов одинаковы, то и соответствующие сигналы также одинаковы.

Приведем простейшее доказательство теоремы Котельникова, для чего сначала покажем, каким образом спектр дискретной последовательности отсчетов { Х(ti) } связан со спектром непрерывной функции Х(t).

Последовательность отсчетов непрерывной функции Х(t) можно представить в виде произведения Х(t) на периодическую последовательность -импульсов (решетчатую функцию) с периодом t :

(1.6)

Тогда спектр (преобразование Фурье) дискретизованной функции Х( ti ) можно записать в следующем виде:


(1.7)

или, с учетом "фильтрующего" свойства -функции, выражение ( 1.7) приобретет свою окончательную форму:

(1.8)

Нетрудно заметить, что спектр периодически дискрeтизованной функции Х(it) также становится периодическим, с периодом 1/t.

Действительно,

(1.9)

Такой же результат, но несколько иным способом можно получить, если вспомнить, что произведению функций во временной области соответствует свертка их спектров, и тогда

(1.10)

Спектр "решетчатой функции" также имеет вид периодической последовательности -импульсов, но уже по частоте и с периодом f = 1/t, то есть

(1.11)

Произведя свертку и с учетом "фильтрующего свойства" -функции получим

(1.12)

Таким образом, спектр дискрeтизованной функции Х(i t) получается путем периодического, с периодом 1/t, повторения спектра исходной функции Х(t).

Из последнего выражения видно также, что для k = 0

(1.13)

иными словами, составляющая спектра дискрeтизованной функции для k = = 0 с точностью до постоянного множителя 1/t совпадает со спектром исходной непрерывной функции Х(t). Следовательно, если каким-либо образом можно выделить из полного (периодического) спектра последовательности Х(ti) лишь составляющую с k = 0, то тем самым по дискретной последовательности Х(ti) восстановится непрерывная функция Х(t).

Из выражения (1.13) следует, что устройством, позволяющим выделить из спектра дискретизованного сигнала Х(ti) составляющую, полностью совпадающую со спектром исходного сигнала Х(t), является идеальный фильтр нижних частот ( ФНЧ ) с частотной характеристикой вида

(1.14)

При этом спектры, соответствующие различным значениям k, могут быть разделены только при условии их неперекрываемости. Неперекрываемость же спектров обеспечивается при выполнении условия

Fm ≥ 1/ Δt - Fm или Δt ≤ 1/ 2Fm , (1.15)

откуда и вытекает значение интервала дискретизации Δt , обеспечивающего восстановление исходного сигнала Х(t) по последовательности его отсчетов.

Основной задачей настоящего курса является рассмотрение эффективных средств и методов передачи информации. Ниже мы выясним основные проблемы такой передачи, опираясь на обобщенную модель информационного канала
4. Избыточность сообщения.
Неравновероятность и взаимозависимость элементов сообщения уменьшают количество информации, а значит, и энтропию на один элемент сообщения. Следовательно, в этом случае для передачи одного и того же количества информации потребуется больше элементов сообщения, чем в том случае, когда они равновероятны и взаимонезависимы.

Предположим, что необходимо передать определенное количество информации (J = const).

Если элементы сообщения равновероятны и взаимонезависимы, то для передачи заданного количества информации потребуется число элементов, равное:

, (1.16)

Для неравновероятных, но взаимонезависимых элементов сообщения их число будет равно:

, (1.17)

Так как <, то > , т.е. число элементов для передачи того же количества информации возрастет.

И наконец, когда элементы сообщения будут неравновероятны и взаимозависимы, для передачи той же информации потребуется число элементов, равное:

, (1.18)

Поскольку >>, то > >.

Таким образом, передача одного и того же количества информации во втором и третьем случае потребует затраты соответственно () и () избыточных символов.

Мерой полной избыточности служит относительное число лишних элементов:

, (1.19)

Избыточность можно выразить через энтропию:

, (1.20)

Помимо полной избыточности, существует понятие частной избыточности, обусловленной неравновероятностью элементов:

, (1.21)

и частной избыточности, обусловленной только взаимосвязью элементов сообщения:

, (1.22)

Между (1.20), (1.21) и (1.22) существует следующая зависимость:

, (1.23)

Если и невелики, то можно воспользоваться приближенным выражением:

, (1.24)

Похожие:

Лекция №1 По дисциплине Теория информации iconЛекция №5 По дисциплине Теория информации
Согласование пропускной способности канала передачи информации с потоком информации от источника
Лекция №1 По дисциплине Теория информации iconТеория информации. Мера количества информации лобач Г. С., Саттаров И. Д
Теория информации – комплексная, в основном математическая теория, включающая в себя описание и оценки методов извлечения, передачи,...
Лекция №1 По дисциплине Теория информации iconЛекция №8 По дисциплине Теория информации Тема №4 Помехоустойчивость и эффективность информационных систем полное наименование темы Занятие №12
Цель занятия: дать систематизированные основы научных знаний по различным методам кодированию данных с помощью кодов с памятью и...
Лекция №1 По дисциплине Теория информации iconЗанятие №3 По дисциплине Теория информации
Цель занятия: Закрепить теоретические знания по определению энтропии объединения информации при различных вероятностях событий
Лекция №1 По дисциплине Теория информации iconЗанятие №2 По дисциплине Теория информации
Цель занятия: Закрепить теоретические знания по определению условной энтропии информации при различных вероятностях событий
Лекция №1 По дисциплине Теория информации iconРабочая программа по дисциплине "Теория информации" для студентов специальности 090106
Учебный план набора 2006 года и последующих лет, квалификация специалист по защите информации
Лекция №1 По дисциплине Теория информации iconЗанятие №1. По дисциплине Теория информации
Цель занятия: Закрепить теоретические знания по определению количества информации при равновероятных событиях, а также при различных...
Лекция №1 По дисциплине Теория информации iconЛекция 07. Теория информации 1 Ключевые слова настоящей лекции понятия информации, материальный и идеалистичный аспекты, информация с физической, синтаксической, семантической и прагматической точек зрения, код, алфавит, формулы Хартли и Шеннона
Хартли и Шеннона, бит, вероятность и неопределенность в структуре сигнала, понятия энтропии и информации в кодировании
Лекция №1 По дисциплине Теория информации iconЛекция №15 (Теорема 21), [6] Метод покоординатного спуска. Лекция №16 (Теорема 24), [2, 3]
Теория двойственности нелинейного программирования. Лекция №4 (Теорема 10, леммы 5, 6, следствия 1 и 2), Лекция №5 (следствие 3),...
Лекция №1 По дисциплине Теория информации iconУчебная программа Дисциплины б5 «Теория информации и кодирования»
Дисциплины «Теория информации и кодирования» направлено на ознакомление студентов с основными количественными характеристиками источников...
Разместите кнопку на своём сайте:
ru.convdocs.org


База данных защищена авторским правом ©ru.convdocs.org 2016
обратиться к администрации
ru.convdocs.org