Измерение информации. Меры информации. Подходы к определению количества информации

1.

Измерение информации. Меры
информации. Подходы к определению
количества информации.

2.

Дисклеймер
Дорогие студенты, перед тем, как приступить к
материалу, еще раз для вас отмечу, что:
1. Ведите конспект. Я не прошу и не заставляю
вас писать много, лишь самое важное. Как
правило, такие места (определения) отмечены
полужирным начертанием;
2. Постарайтесь понять и запомнить не само
определение, а смысл, что оно в себе несет.
Определение вы забудете посла сдачи конспекта,
а его смысл останется с вами и впредь;
3. Вы молодцы)

3.

Введение
Люди обмениваются информацией в форме
сообщений.
Сообщение – это форма представления информации
в виде речи, текстов, жестов, взглядов,
изображений, цифровых данных, графиков, таблиц
и т. п.

4.

Введение
Одно и то же информационное
сообщение (статья в газете,
объявление, письмо, телеграмма,
справка, рассказ, чертёж,
радиопередача и т. п.) может
содержать разное количество
информации для разных людей – в
зависимости от их предшествующих
знаний, от уровня понимания этого
сообщения и интереса к нему.

5.

Подходы к измерению информации
В информатике используются различные подходы к
измерению информации:
Содержательный (первый) подход к измерению информации.
Сообщение – информативный поток, который в процессе
передачи информации поступает к приемнику. Сообщение
несет информацию для человека, если содержащиеся в нем
сведения являются для него новыми и понятными, то есть
– информативными. Если сообщение не информативно, то
количество информации с точки зрения человека равно
нулю. Пример на прошлом слайде.

6.

Подходы к измерению информации
Алфавитный (второй) подход к измерению информации не
связывает количество информации с содержанием
сообщения. Алфавитный подход – объективный подход к
измерению информации. Он удобен при использовании
технических средств работы с информацией, т. к. не
зависит от содержания сообщения. Кол-во информации
зависит от объема текста и мощности алфавита.

7.

Подходы к измерению информации
Алфавит – упорядоченный
набор символов, используемый
для кодирования сообщений на некотором языке.
Мощность алфавита – количество
символов алфавита.
Двоичный алфавит содержит 2 символа, его мощность равна
двум.
Сообщения, записанные с помощью символов ASCII,
используют алфавит из 256 символов. Сообщения,
записанные по системе UNICODE, используют алфавит из 65
536 символов.

8.

Подходы к измерению информации
Информационный вес символа двоичного алфавита принят за
минимальную единицу измерения информации и называется
один бит.
Алфавит любого понятного нам языка можно заменить
двоичным алфавитом. При этом мощность исходного
алфавита связана с разрядностью двоичного кода
соотношением: