Лекция 08. Теория информации 2 Ключевые слова настоящей лекции



Скачать 185.03 Kb.
Дата11.07.2014
Размер185.03 Kb.
ТипЛекция



Информатика 08

Лекция 08. Теория информации - 2


Ключевые слова настоящей лекции

бинарность, дихотомия, бинарные деревья, неэффективный код классификаций, сигнал, мощность и помехи, квантирование, дискретизация, аналоговый и цифровой сигнал, исправление ошибок передачи данных, избыточный код, код четности, код Хемминга


Бинарные деревья

Выше была рассмотрена ситуация, независимая от Получателя сообщения – был известен возможный набор сообщений, но было непонятно, какое именно из них будет получено. Эта ситуация часто встречается в инвертированном (вывернутом наизнанку) виде. Получено множество сообщений, но нам предстоит выяснить, имеется ли среди них известное (нужное) нам. Такая задача возникает всякий раз, когда, например, требуется найти в базе данных характеристики для определенного вида животных. Другой. более простой вариант – хорошо изучен видовой состав некоего сообщества и нам нужно знать, есть ли в списке видов некий определенный вид. Человек для выполнения этой задачи берет в руки список видов и, пробегая строчки глазами, пытается найти нужный. Если список содержит 50 видов, процедура занимает менее минуты, для поиска среди 200-300 видов нужно уже несколько минут. А что делать, если список содержит 50000 записей? Здесь непригодным оказывается не только визуальный метод поиска, но и описанный метод последовательного перебора даже с помощью компьютера.

Что значит метод последовательного перебора с точки зрения теории информации? Это значит, что исследователь стремиться получить сообщения с резко различной вероятностью. Если видов в сообществе 18, то, начиная просматривать записи списка по очереди, мы фактически задаем такой вопрос – это первый вид или какой-то из оставшихся 17 видов? Вероятность получить второй ответ (0.94) в 17 раз ниже, чем первый (0.06), отсюда и неопределенность ситуации очень низкая, что и показывает мера Шеннона:

H = – 0.94 log2 0.94 + – 0.06 log2 0.06 = 0.23 + 0.08 = 0.31 бита.

Иными словами, получив ответ на такой вопрос, мы получаем очень мало информации в продвижении к цели.

Следующий вопрос о втором виде и оставшихся 16-ти чуть более, но все же очень малоинформативен: H = – 0.94 log2 0.94 + – 0.06 log2 0.06 = 0.25 + 0.09 = 0.34 бита.

Последовательный перебор дает в нашем случае по трети бита информации на один вопрос-ответ. Поскольку всего информации в полном сообщении (при полной выравненности) содержится 4.17 бита, то нетрудно подсчитать, что для окончательного ответа может быть придется задать 4.2 / 0.3 = 14 вопросов.

Такой поиск оказывается неэффективным, поскольку на каждом шаге поисковой процедуры мы гарантированно получаем очень мало информации. Для улучшения ситуации следует так организовать процесс поиска (формирование вопросов-запросов), чтобы на каждом шаге получать максимальное количество информации.

Очень хороший результат получается, если мы будем распознавать по две примерно равновероятные ситуации; тогда один ответ будет приносить нам около 1 бита информации.

Вначале процедуры мы поделим списки примерно поровну. Затем зададим вопрос: вид в первой половине списка (или во второй)? Вероятности получить первый и второй ответы равны (9/18 = 0.5), и неопределенность ситуации становится высокой, что и показывает мера Шеннона: H = – 0.5 log2 0.5 + – 0.5 log2 0.5 = 0.5 + 0.5 = 1 бит.

Получив утвердительный ответ о том, что искомый вид находится в первой половине списка (и один бит информации), далее примерно пополам делим уже оставшуюся часть списка (4/9 = 0.44, 5/9 = 0.47):

H = – 0.44 log2 0.44 + – 0.47 log2 0.47 = 0.52 + 0.47 = 0.99 бита и т. д.

Процедура продолжается до тех пор, пока ответ не будет найден. Однако с помощью данного алгоритма это произойдем всего за 4.2 / 1 = 4.2 шага (в среднем), что существенно меньше, чем 14!

Из-за постоянного деления списков на две половины, траектория поиска (и алгоритм) названы бинарным деревом или дихотомией (двуразделенность).

последовательно бинарно


Пример с игрой на отгадывание числа за наименьшее число вопросов. Надо загадать число до 10. Как дальше действовать? ... (на лекции).
По принципу дихотомии организованы практически все базы данных в компьютере – как хранящие внутренние данные, так и в прикладных биологических базах данных. Однако компьютеру, который накануне организовал базу данных из 100 элементов, не у кого явно спросить, где находится тот или иной компонент, который вдруг понадобился. Компьютер действует по-другому. Вначале назначается ключевое поле базы – некая (любая) переменная, которую выбрали как критерий для отбора записей (запись – одна строка базы данных). В базе библиографических сведений это может быть, например, фамилия автора (может быть и несколько ключей). Что бы он ни кодировал, исходные символы кодового поля каждой записи преобразуются – хешируются («перемешиваются»). Один из простых алгоритмов – метод середины квадрата, когда ключ (выраженный в числовой форме) возводится в квадрат и берется несколько цифр из середины результата (предполагается, что ключ приводится к целому числу для совершения с ним арифметических операций). Для одного и того же набора символов получается один и тот же хеш-код, для разных наборов. Таким образом для любой комбинации символов (например, фамилий авторов) создается свой уникальный номер. (Этот номер одновременно является адресом памяти, где расположена данная запись.) При создании базы данных все записи занимают положение в электронном списке (памяти ЭВМ) согласно значению своего номера.

Получив запрос на присутствие в базе некоторой записи с неким ключом. компьютер сначала хеширует этот ключ. Затем в памяти он находит то место списка, которое соответствует его середине и проверяет, больше или меньше срединное значение наличных хеш-кодов, чем полученный новый хеш-код? Если больше, значит искомая запись находится в первой половине списка, если меньше, то – во второй. Далее отыскивается средина нужной половины списка и вновь следует проверка. Завершается процедура, когда запись найдена или отсутствует в базе.





Шаг 1

>5

Шаг 2

>3

Шаг 3

>2

Шаг 4

=2

1




1




1




1




2




2




2

2

2

2

3




3

2

3




3




4




4




4




4




5

2

5




5




5




6




6




6




6




7




7




7




7




8




8




8




8




9




9




9




9




10




10




10




10



Стоит заметить, что большинство биологических систематических справочников построены по первому типу: сначала стремятся отделить от общей массы виды наиболее особенные, не характерные. Деление оказывается малоинформативным, а определитель – непомерно длинными и запутанными. Нерешенная проблема повышения эффективности определителей состоит в том, чтобы разработать дихотомические определители. Вероятно, при этом в расчет следует принимать во внимание и численность отдельных видов, т. е. учитывать вероятность обнаружения каждого из определяемых видов. Интересно подсчитать, какую глубину должно иметь бинарное дерево для системы классификации. Если принять, что количество видов живых организмов на Земле составляет около двух миллионов, то самая мала глубина бинарной классификации должна составить: log22 000 000 000 = 21.03 бита. Современные же классификации имеют всего 7 «этажей» – царство ... вид. В то же время различные префиксы «над...» и «под...» делают общее число категорий, равным 21 вложение. Так что человек подсознательно стремиться к оптимизации информационной структуры.


Бит – не бит

Термин бит имеет в информатике несколько смыслов. Здесь рассматривается информационное понятие бита, как единицы информации, такого объема, который мы получаем, если реализуется одно из двух равновероятных событий. При подбрасывании монеты вероятности появления орла и решки равны, но заранее нельзя сказать что именно выпадет. Выпадение орла снимает неопределенность и дает I = log2 2 = 1 бит информации. Аналогично выпадение решки снимает неопределенность и так же дает I = log2 2 = 1 бит информации. Любой исход данного опыта дает I =1 бит информации. При неравной вероятности исходов опыта, объем получаемой информации может быть меньше 1 бита, – 0.5, 0.01, 0... Количество таких значений бесконечно.

Существует и логическое понятие бита как значения истинности (1) или ложности (0) логического высказывания, или одного разряда двоичного числа. Этот бит имеет только два значения 0 и 1 и не имеет дробей. Например, можно сказать, что десятичное число 3510 кодируется 6 битами (6 разрядам двоичного числа –1000112), хотя фактически объем информации при получении любого двузначного десятичного числа (из 100 возможных чисел) составит log2 100 = 6.643856 бит.

Большую роль играет технологическое понятие бита как одного разряда регистра для представления двоичного числа, как позиции в двоичном числе. Такой бит принимает только два значения – 0 или 1. Такой бит – не единица информации, это технологический способ ее отображения с помощью двоичной системы кодирования сигналов. Октет (или байт) – это не просто 8 бит информации, это группа из 8 разрядов, кодирующих двоичное число (с помощью одного байта можно закодировать 28 = 256 символов).




II.

Физический аспект передачи сигнала
В компьютере сигналы, которыми обмениваются между собой процессор, память, чипсет, контроллеры, многие периферические устройства, имеют дискретную природу – это цепочки нулей и единиц, кодирующих команды или данные. Например, FAT16 выражает адреса файлов с помощью 16 битов (разрядов), FAT32 – 32 бита. Отдельный бит – суть электрический импульс, переданный по одному каналу связи. Этот сигнал имеет только да значения – он есть или его нет. При этом сила тока, передающая сигнал, может варьировать, но для компьютера важен только факт такой передачи, просто наличие и отсутствие тока. Такой сигнал называется цифровым сигналом. (Точнее говоря, цифровой сигнал – это дискретный сигнал, квантированный по амплитуде.)

Большая часть информации поступает в компьютер через клавиатуру, которая, как всем понятно, поставляет в компьютер электрический цифровой сигнал с кодом нажатой клавиши. Однако не все сигналы, передаваемые в компьютер – цифровые. Звук, векторная карта, растровый текст, предназначенный для распознавания букв – это примеры потоков информации, которая имеет непрерывный характер. Такие сигналы, которые для каждого микроскопического момента времени или пространства несут значение, называются непрерывными, или аналоговыми сигналами (они могут быть описаны непрерывными функциями).

Важно отметить, что исследователь природы очень часто имеет дело именно с аналоговыми сигналами – непрерывными характеристиками природных объектов. Таковы характеристики цветовой гаммы, температуры, влажности, массы, поведения и пр. Таким образом, для автоматической обработки данных актуальна разработка технологии превращения «природного» непрерывного сигнала в «компьютерный» цифровой сигнал.
Оцифровка

Применительно к схеме передачи сигнала, сейчас мы сфокусируем внимание на передаче данных от Источника информации – к Передатчику, на процедуре кодирования сигналов, перевода свойств объектов – в дискретные описания (значения, числа, цифры). В основе оцифровки лежат две процедуры: дискретизация и квантирование.



Дискретизация – это  измерение наблюдаемой переменной с заданной частотой (частотой дискретизации), т. е. не в каждое мгновение, а через некоторые равные промежутки времени. Дискретизация разбивает сигнал по временной составляющей (на графике — по горизонтали); при этом информация о значении сигнала в промежутках между отсчетами утрачивается. Однако если временной шаг не очень велик, потери оказываются неощутимыми (за короткий интервал времени переменная меняется слабо).

Квантирование – это разбиение диапазона значений непрерывной или дискретной величины на конечное число интервалов. Квантирование разбивает сигнал по степени выраженности переменной на несколько классов (на графике — по горизонтали). При этом информация о промежуточных значениях сигнала (переменной) утрачивается, но если выбран небольшой шаг квантирования, то – в незначительной степени.

Последовательно выполненные дискретизация и квантирование превращают непрерывный сигнал в цифровой, и он уже может быть выражен и передан посредством битовых кодов.

Для оцифровки непрерывного сигнала, например звука, используется устройство «аналогово-цифровой преобразователь». Однако его применение не снимает с пользователя ответственности за результат. Это особенно наглядно видно при использовании цифровых фотоаппаратов. «Непрерывный» облик природных объектов с помощью матрицы фотоэлементов фотоаппарата распадается на серию дискретных пикселей. (Вся жизнь – игра: сюжет паршивый, но графика…!) Поскольку время зафиксировано, здесь мы выполняем квантирование изображения. Если интервал квантирования будет слишком широким (низкое разрешение снимка), детали изображения пропадут, если слишком узким (большое разрешение) – объем снимка будет очень большим. Осмысленный процесс квантирования – это поиск компромисса между допустимым огрублением реальности и физическими возможностью ее фиксации.

С проблемой квантирования биолог сталкивается не только обращаясь к компьютеру. Любое измерение природной действительности есть ее квантирование с той или иной точностью. Когда измеряется простая физическая величина (расстояние, температура и пр.), можно воспользоваться точным инструментом измерения (линейка, термометр), да и то только в том случае, если он разработан и доступен. Многие же биологические характеристики еще не имеют шкал и инструментов измерения. Например, проективное покрытие, степень половой зрелости, класс бонитета и прочие разнообразные характеристики оцениваются зачатую чувственно и выражаются баллами или символами групп. Можно вспомнить, что и до изобретения дальномера пользовались оценкой «на глаз», а температуру измеряли рукой или губами. При этом любой изменяющийся признак или фактор, тем не менее, получает оценку своего проявления, имею шкалу чувственного измерения. Вводя категории возраста, говорят о новорожденных, младенцах, детях, подростках, молодых, взрослых, пожилых, старых людях. Расстояния оценивают как очень близко, близко, недалеко, далеко, очень далеко. Температура градуируется как очень холодно, холодно, прохладно, тепло, очень тепло, горячо, обжигающе горячо. Проективное покрытие оценивается по такой шкале: единичные растения, очень редкая поросль, редкая поросль, среднее покрытие, густое или сплошное покрытие.

В этих качественных шкалах обращает на себя внимание следующие моменты.

Во-первых, в них выделяется небольшое число градаций. Исследования по психологии показывают, что человек одновременно оперирует (держит перед внутренним взором, в кратковременной памяти) в среднем 5 (2–10) объектов или понятий. Он чувственно человек хорошо распознает 2–10 состояний окружающего мира – отсюда и ограниченное число балльных шкал. Поскольку большинство балльных оценок дают эксперты, ориентирующиеся на свои чувственные восприятия, обычно шкала имеет менее 10 градаций.

Во-вторых, имеется сильный отрыв между значениями показателей в начале и в конце шкалы. Между новорожденным и младенцем фактически (в месяцах) гораздо меньше различие, чем между пожилым и старым человеком. Между Очень близко и Близко меньше метров, чем между Далеко и Очень далеко.

Из этих наблюдений следуют два вывода по отношению к субъективным и объективным факторам восприятия сигнала.

1. Человек на чувственном уровне выполняет квантирование непрерывных переменных среды (Сигналов) по логарифмической шкале x ~ log(С). Это подтверждает сопоставление балльных оценок (B) с прямыми измерениями одной и той же величины (X): между ними обнаруживается не прямая пропорция, а степенная (показательная, аллометрическая) связь вида B = bX a. Например, шкала балльной оценки проективного покрытия почвы травянистыми растениями имеет лишь 5 зрительно отличающихся состояний: отсутствие покрытия (0%, 0 баллов), единичные объекты (1–5%, 1), слабое покрытие (5–30%, 2), сильное покрытие (30–70%, 3), сплошное (70–100%, 4). Эти соотношения можно описать степенным уравнением кривой B = 0.4 0.5 (рис. 2.2.1). Зависимость баллов (B) от истинной характеристики (X) не позволяет непосредственно пересчитать балльные оценки в точный показатель (B – в X), приемы преобразования баллов в более сильные шкалы рассмотрены ниже.



Рис. 2.2.1 Соотношение балльной и инструментальной оценок

2. На способность человека воспринять сигнал сильное влияние оказывают возникающие помехи, информационный шум. Например, относительно слабое зрение человека не позволяет ему столь же отчетливо разглядеть удаленные предметы, как ближние. Отсюда и крайне левые категории Близко и Очень близко фактически гораздо более сходные, чем крайне правые категории Далеко и Очень далеко. Исследования в области теории информации дают правила для распознавания сигналов с использованием понятий мощность и помехи (Экоинформатика, 1992).

Уровень квантирования (число градаций или групп на балльной шкале) пропорционален двоичному логарифму отношения мощности сигнала к мощности шумов:

.

Так, при отношении сигнал / шум, равном 10 (ошибка порядка 25%), удается выделить лишь 4 градации, для 100 (ошибка 12%) – 8 баллов, для 1000 – 32 интервала. При среднем уровне величины сигнала человек способен воспринимать информацию с ошибкой около 12%, т. е. хорошо различать около 8 уровней величины признака.

Исходя из этой идеи, можно наметить путь для увеличений числа градаций на измерительной шкале – для этого нужно уменьшить шум (воспользоваться равномерной измерительной шкалой) или увеличить мощность сигнала (воспользоваться биноклем при измерении расстояния). Обе эти идеи и воплощены в дальномере.
Исправление ошибок передачи данных

В компьютере также могут возникнуть шумовые помехи в случае порчи аппаратуры, например когда выйдут из строя микроскопические элементарные ячейки памяти или регистра. В этом случае записанный в них код исказится и по каналам связи будет отправлено (или получено) неверное сообщение. Здесь в центре нашего внимания находится Приемник, в котором осуществляется коррекция полученных сигналов.

Борьба с зашумлением состоит в том, чтобы снабдить сигнал средством исправления ошибок. Простейшим средством такого рода является отправка трех одинаковых сообщений. Если ошибка и произойдет в одном из них, то вряд ли в одном и том же бите (вероятность такого события составляет 2,8%). Побитовое сопоставление трех сообщений выявит все ошибки (замену одного бита из трех дублей) и позволит восстановить истинное. Однако такой путь оказывается очень затратным, поскольку требует троекратное удлинение кодового сообщения. Поэтому были разработаны другие, экономные способы проверки правильности сообщений, тем не менее требующие передачи дополнительных битов – избыточных кодов.

Бит четности – самоконтролирующийся код


В вычислительной технике и сетях передачи данных битом чётности называют контрольный бит, служащий для проверки чётности двоичного числа (чётности количества единичных битов в числе). Бит чётности, или контрольный разряд, формируется при выполнении операции "Исключающее-ИЛИ" поразрядно. Рассмотрим схему, использующую девятибитные кодовые слова, состоящие из восьми бит данных, за которыми следует бит чётности.

  • Число 10111101 содержит 6 '1' битов. Бит чётности будет 0, получаем кодовое

  • слово 101111010.

  • Число 01110011 содержит 5 '1' битов. Бит чётности будет 1, получаем кодовое

  • слово 011100111.

  • Число 00000000 не содержит '1' битов. Бит чётности будет 0, получаем кодовое слово 000000000.

Восстановление ошибок производится с помощью повторной передачи данных

(http://dic.academic.ru/dic.nsf/ruwiki/71706)


Код Хемминга – самокорректирующийся код


Коды (сообщения), в которых возможно автоматическое исправление ошибок, называются самокорректирующимися. Внесение избыточности при использовании помехоустойчивых кодов обязательно связано с увеличением n - числа разрядов (длины) кодовой комбинации. Для построения самокорректирующегося кода, рассчитанного на исправление одиночных ошибок, одного контрольного разряда недостаточно. Идея автоматического обнаружения ошибок состоит в том, чтобы передаваемую последовательность символов сообщения (информационные коды) длинной n разбить на подгруппы и каждую подгруппу снабдить своим кодом четности. Эти подгруппы должны быть смешанными, т. е. включать информационные коды из других групп. В этом случае ошибка передачи одного информационного кода скажется на двух групповых кодах четности. Так можно обнаружить место ошибки и автоматически ее исправить.

Для слова длиной n требуется выполнить разбиение на k подгрупп, т. е. задать k контрольных кодов, расчеты выполняются по формуле k > log (k+m+1).



Диапазон n kmin

1 2


2-4 3

5-11 4


12-26 5

27-57 6


В простой схеме кода Хемминга (7,4) после каждых четырех бит данных добавляются три контрольных бита. Код обеспечивает исправление одной ошибки (в одном бите).

Корректирующие свойства избыточных кодов зависят от правила их построения, определяющего структуру кода, и параметров кода (длительности символов, числа разрядов, избыточности и т.п.). В простейшем варианте заданы четыре (k = 4 ) информационных символах (i1, i2, i3, i4) и три (k = 3) проверочных символа, которые используются для проверки на четность. Такую структуру записи информационных и проверочных символов проще всего проиллюстрировать с помощью круговых диаграмм.

Каждый проверочный символов относится к трем информационным символам (из четырех). Его величина задается такой, чтобы вместе с тремя информационными образовать четную сумму:

r1 = i1 ☼ i2 ☼ i3;

r2 = i2 ☼ i3 ☼ i4;

r3 = i1 ☼ i2 ☼ i4.

Знак ☼ означает сложение по модулю 2; то есть если сумма четная, результат равен 0, если не четная, то проверочный разряд принимает значение 1. Анализ четности и запись битов четности выполняет специальный кодер Хемминга (см. схему ниже).

Числа внутри областей пересечения трех колец соответствуют информационным кодам. Числа внутри трех колец (жирные красные) соответствуют проверочным кодам четности.

Если, например, задумали передать число 1410 – двоичную последовательность 1110, то числа расположатся внутри пересечения колец так, как показано на картинке. В первом (левом верхнем) кольце окажется три единицы (нечетное число), значит проверочный код должен быть установлен равным r1 = i1 ☼ i2 ☼ i3 = 1+1+1 = 3  r1 = 1. Верхнее правое кольцо захватывает две единицы, четное число, значит, r2 = 0; аналогично, r3 = 0, весь проверочный код составит 100, а общий переданный код получил вид: 1110100.


Если при передаче или хранении кода произошла ошибка, например, в третьем бите, то сообщение будет получено в виде 1100100.




В декодирующем устройстве (см. схему ниже) выполняется проверка четности –вычисляется синдром – трехсимвольная последовательность S = (s1, s2, s3 ), которая представляет собой сочетание результатов проверки на чётность соответствующих символов кодовой группы и характеризует определённую конфигурацию ошибок (шумовой вектор). Она определяется как три результата суммирования по модулю 2 (s равна 0 при четной и 1 при нечетной сумме битов) (апостроф обозначает возможность ошибки).



s1 = r1' ☼ i1' ☼ i2' ☼ i3';

s2 = r2' ☼ i2' ☼ i3' ☼ i4';

s3 = r3' ☼ i1' ☼ i2' ☼ i4'.

Нулевой синдром (000) означает, что ошибок в кодах сообщения не обнаружено (совпадение оценок четности с полученными битами четности).

В нашем примере имеем

s1 = r1' ☼ i1' ☼ i2' ☼ i3' = 1+1+1+0 = 3 ~ 1 ;

s2 = r2' ☼ i2' ☼ i3' ☼ i4' = 0+1+0+0 = 1 ~ 1;

s3 = r3' ☼ i1' ☼ i2' ☼ i4' = 0+1+1+0 = 2 ~ 0, т. е. S = 110

– обнаружено две ошибки четности. Как видно на диаграмме, проверочные биты левого и нижнего колец не совпадают с битами синдрома, а само положение битов в синдроме указывает на эти кольца, а следовательно, – на их пересечение, которым является информационный код i3. Поскольку в нем выявилась ошибка, декодер заменяет значение полученного бита на противоположное (0 на 1) и тем самым автоматически исправляет ошибку.

Варианты синдрома (100, 010, 001, 110, 101, 011, 111) не только говорят о том, что ошибки есть, но и явно указывают, в каком именно информационном бите произошла ошибочная замена бита.

Здесь возникает вопрос, а как быть, если ошибка произойдет не только в информационном, но и в каком-то проверочном бите. Во-первых, вероятность такой двойной ошибки в довольно надежной технике исчезающее мала Во-вторых, передаваемую последовательность можно снабдить еще одним дополнительным (восьмым) битом четности r4 для всего сообщения из семи битов – таков код Хемминга (4,8). Этот прием позволяет установить наличие второй ошибки, хотя и не указывает, где именно она произошла, т. е. служит только основанием для запроса на повторение передачи информации. После получения восьмибитного сообщения вначале выявляется наличие и выполняется исправление ошибки с помощью первых трех проверочных кодов. Если второй ошибки нет, то общий бит четности исправленного 7-битного сообщения должен совпасть со значением r4. Если же была и вторая ошибка, то совпадения не будет. В этом случае потребуется повторная передача данных. Существует и множество других годов, позволяющих эффективно бороться с большим числом ошибок передачи данных, но их рассмотрение выходит за границы нашего курса (моего понимания).


Задание на дом: рассмотреть и зарисовать кольцами вариант обнаружения двойной ошибки i3 = 0, i2 = 0.


Похожие:

Лекция 08. Теория информации 2 Ключевые слова настоящей лекции iconЛекция 07. Теория информации 1 Ключевые слова настоящей лекции понятия информации, материальный и идеалистичный аспекты, информация с физической, синтаксической, семантической и прагматической точек зрения, код, алфавит, формулы Хартли и Шеннона
Хартли и Шеннона, бит, вероятность и неопределенность в структуре сигнала, понятия энтропии и информации в кодировании
Лекция 08. Теория информации 2 Ключевые слова настоящей лекции iconЛекция 11. Расчеты на листе Excel Ключевые слова настоящей лекции
Формат \ Ячейки. С помощью этой команд можно менять типы данных. Это бывает необходимо, если произошло неправильное определение типа...
Лекция 08. Теория информации 2 Ключевые слова настоящей лекции iconЛекция 14. Среда Word Ключевые слова настоящей лекции команды главного меню, панели инструментов
Правый клик на любой панели, отключить все панели, кроме Стандартная и Форматирование открыть окно Настройка
Лекция 08. Теория информации 2 Ключевые слова настоящей лекции iconЛекция 12. Архитектура компьютера 1 Ключевые слова настоящей лекции
Структура компьютера — это совокупность его функциональных элементов и связей между ними. Архитектура определяет взаимное соединение...
Лекция 08. Теория информации 2 Ключевые слова настоящей лекции iconА. А. Давыдов Модернизация России, полезный опыт Китая и теория сложных систем Ключевые слова
Ключевые слова: модернизация России, Китай, теория сложных систем, системная социология
Лекция 08. Теория информации 2 Ключевые слова настоящей лекции iconЛекция №5 По дисциплине Теория информации
Согласование пропускной способности канала передачи информации с потоком информации от источника
Лекция 08. Теория информации 2 Ключевые слова настоящей лекции iconУдк: 616. 348. 002: 615. 849. 19 Ключевые слова
Ключевые слова: хронический гастрит, лазеротерапия, низкоинтенсивное лазерное излучение
Лекция 08. Теория информации 2 Ключевые слова настоящей лекции iconТеория информации. Мера количества информации лобач Г. С., Саттаров И. Д
Теория информации – комплексная, в основном математическая теория, включающая в себя описание и оценки методов извлечения, передачи,...
Лекция 08. Теория информации 2 Ключевые слова настоящей лекции iconА. Н. Алексейчук, И. В. Васюков
Ключевые слова: криптографическая защита информации, блочный шифр, разностный криптоанализ
Лекция 08. Теория информации 2 Ключевые слова настоящей лекции iconОтчет содержит 180 страниц, 39 таблиц, 26 рисунков. Ключевые слова
Ключевые слова: генетика человека, пренатальная диагностика, белковая наследственность, прионы млекопитающих и дрожжей, генетическое...
Разместите кнопку на своём сайте:
ru.convdocs.org


База данных защищена авторским правом ©ru.convdocs.org 2016
обратиться к администрации
ru.convdocs.org