Теория информации. Мера количества информации лобач Г. С., Саттаров И. Д



Скачать 40.63 Kb.
Дата03.07.2014
Размер40.63 Kb.
ТипДокументы
УДК 519.7:519.6:512

ТЕОРИЯ ИНФОРМАЦИИ. МЕРА КОЛИЧЕСТВА ИНФОРМАЦИИ

Лобач Г.С., Саттаров И.Д.,

научные руководители канд. ф.-м. наук Мансурова Т.П.,

кандидат пед. наук Бутакова С.М.

Сибирский Федеральный университет

Теория информации – комплексная, в основном математическая теория, включающая в себя описание и оценки методов извлечения, передачи, хранения и классификации информации.

Рассматривает носители информации как элементы абстрактного множества, а взаимодействия между носителями как способ расположения элементов в этом множестве. Такой подход дает возможность формально описать код информации, то есть определить абстрактный код и исследовать его математическими методами. Для этих исследований применяет методы теории вероятностей, математической стптистики, линейной алгебры, теории игр и других математических теорий.

Основы этой теории заложил американский учёный Э. Хартли в 1928 г., который определили меру количества информации для некоторых задач связи. Позднее теория была существенно развита американским ученым К. Шенноном, российскими учёными А.Н. Колмогоровым, В.М. Глушковым и др.

Теория вероятностей – раздел математики, изучающий закономерности случайных явлений: случайные события, случайные величины, их свойства и операции над ними. Современный вид теория вероятностей получила благодаря аксиоматизации, предложенной Андреем Николаевичем Колмогоровым. В результате теория вероятностей приобрела строгий математический вид и окончательно стала восприниматься как один из разделов математики.

Математическая статистика – наука, разрабатывающая математические методы систематизации и использования статистических данных для научных и практических выводов.

Линейная алгебра – важная в приложениях часть алгебры, изучающая векторы, векторные, или линейные пространства, линейные отображения и системы линейных уравнений. Линейная алгебра широко используется в абстрактной алгебре и функциональном анализе и находит многочисленные приложения в естественных науках. Линейные уравнения, как уравнения прямых и плоскостей, стали естественным предметом изучения после изобретения Декартом и Ферма метода координат (1936 год) Системы линейных уравнений в матрично-векторном виде впервые появились в работах Лагерра (1867 год).

В теории информации выделяются три основных направления: структурное, статистическое и семантическое.

Структурное направление – рассматривает дискретное строение массивов информации и их измерение простым подсчётом информационных элементов. Структурные меры учитывают только дискретное строение информации. Элементами информационного комплекса являются кванты – неделимые части информации.


Статистическое направление – оперирует понятием энтропии как меры неопределенности, то есть здесь учитывается вероятность появления тех или иных сообщений. При статистическом вероятном подходе получение конкретного количества информации рассматривается как результат определенного выбора среди возможных сообщений. Получатель информации может заранее знать или угадать ее часть.

Семантическое направление – учитывает целесообразность, ценность или существенность информации. Целесообразность, полезность информации для решения какой – то задачи можно оценить по эффекту, который оказывает полученная информация на решение задачи. Если вероятность достижения цели увеличивается, то информацию следует считать полезной.

Задача

Условие задачи:

Найти вероятность образования сообщения «МАТЕМАТИКА» состоящего из 10 элементов и количество информации, которую оно содержит. При условии, что из 10 элементов 3 элемента – буква «А», 2 элемента – буква «М», 2 элемента буква « Т», 1 элемент – буква «И», 1 элемент – буква «Е» и 1 элемент буква «К»

Введем события А – в сообщении присутствует буква «А», В – в сообщении присутствует буква «М», С – в сообщении присутствует буква « Т», D – в сообщении присутствует буква «Е», Е – в сообщении присутствует буква «И», F – в сообщении присутствует буква «К»

Вычисляем вероятности:

М – кол – во определенных букв, N – кол – во всех букв в сообщении

P(A) = M/N = 3/10 = 0,3 P(B) = 2/10 = 0,2

P(C) = 2/10 = 0, 2 P(D) = 1/10 = 0,1

P(E) = 1/10 = 0,1 P(F) = 1/10 = 0,1

Вероятность того что в сообщение попадет n элементов X равна

P(A)n = P(A)3 = 0,33 = 0,0027 P(B)n = P(B)2 = 0,22 =0,04

P(C)n = P(C)2 = 0,22 = 0,04 P(D)n = P(D)1 = 0,11 = 0,1

P(E)n = P(E)1 = 0,11 = 0,1 P(F)n = P(F)1 = 0,11 = 0,1

Вероятность образования сообщения из данного набора элементов равна

P = P(A)3· P(B)2 · P(C)2 · P(D)1 · P(E)1 · P(F)1 = 0,0027· 0,04 · 0,04 · 0,1· 0,1· 0,1 = 0,000000432

Найдем количество информации, содержащиеся в сообщении «МАТЕМАТИКА»

n – кол – во элементов

m – кол – во букв в алфавите.

(повторяющиеся буквы считаются за один элемент)

n = 10 m =6 ( м, а, е, т, и, к)

I = 10 · log26 = log2610 = 25.5

Похожие:

Теория информации. Мера количества информации лобач Г. С., Саттаров И. Д iconТеория информации
Понятие информации. Виды и структура информации. Геометрическая, комбинаторная и аддитивная мера Хартли
Теория информации. Мера количества информации лобач Г. С., Саттаров И. Д iconКоличество информации как мера уменьшения неопределенности знаний. Вероятностный подход. Алфавитный подход к измерению количества информации. Единицы измерения информации
Человек получает информацию от органов чувств, обрабатывает её с помощью мышления и хранит в памяти. Полученная информация, обрабатываясь...
Теория информации. Мера количества информации лобач Г. С., Саттаров И. Д iconКонспект для ученика, пк, программа- электронный калькулятор Wise Calkulator. Тип урока: изучение нового материала, урок-решения задач, подготовки к контрольной работе
Количество информации как мера уменьшения неопределенности знаний. Методы измерения количества информации: вероятностный (содержательный),...
Теория информации. Мера количества информации лобач Г. С., Саттаров И. Д iconПонятие информации. Виды информации, её свойства. Информационные процессы в природе, обществе, технике (с примерами) 3
Измерение количества информации. Алфавитный (технический) и вероятностный (содержательный) подходы к измерению информации 6
Теория информации. Мера количества информации лобач Г. С., Саттаров И. Д iconЗанятие №1. По дисциплине Теория информации
Цель занятия: Закрепить теоретические знания по определению количества информации при равновероятных событиях, а также при различных...
Теория информации. Мера количества информации лобач Г. С., Саттаров И. Д iconЛекция №5 По дисциплине Теория информации
Согласование пропускной способности канала передачи информации с потоком информации от источника
Теория информации. Мера количества информации лобач Г. С., Саттаров И. Д iconИзмерение информации. Вероятностный подход к измерению количества информации. Единицы измерения информации
Информация сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о...
Теория информации. Мера количества информации лобач Г. С., Саттаров И. Д iconОбласти приложений субд. 2 Модели данны
Обработка большого количества информации «вручную» становится весьма трудоёмким делом, требующим большого количества времени. Кроме...
Теория информации. Мера количества информации лобач Г. С., Саттаров И. Д iconУчебная программа Дисциплины б5 «Теория информации и кодирования»
Дисциплины «Теория информации и кодирования» направлено на ознакомление студентов с основными количественными характеристиками источников...
Теория информации. Мера количества информации лобач Г. С., Саттаров И. Д iconБилеты выпускного экзамена по профилю
Информация. Единицы измерения количества информации. Информационные процессы. Хранение, передача и обработка информации
Разместите кнопку на своём сайте:
ru.convdocs.org


База данных защищена авторским правом ©ru.convdocs.org 2016
обратиться к администрации
ru.convdocs.org