Измерение информации. Содержательный (вероятностный) подход

1.

Измерение
информации.
Содержательный
(вероятностный) подход
воскресенье, 6 ноября 2022 г.

2.

Д/З
Задача 2
Создать два графических объекта с одним образом, используя в одном случае
аналоговое представление информации, в другом – дискретное.
Инфрмативность
1 бит
Основная формула информатики
Формула Хартли
Задачи 1-16
В корзине лежит 8 черных шаров и 24 белых. Сколько информации несет
сообщение о том какой шар достали?

3.

Количество информации
МНОГО
МАЛО

4.

Количество информации
МНОГО
МАЛО

5.

Количество информации
ИНФОРМАТИВНО
НЕИНФОРМАТИВНО

6.

Количество информации
Информативно
Неинформативно
???
!!!
Содержит информацию

7.

Вывод:
количество информации зависит от информативности.
Количество информации = 0
СКОЛЬКО?
Количество информации = 0

8.

Содержательный подход к измерению информации
Равновероятные результаты —
это результаты, которые не имеют
преимущества перед другим.

9.

Содержательный подход к измерению информации
Равновероятные результаты —
это результаты, которые не имеют
преимущества перед другим.
Неопределённость знания о результате равна 2.
Что выпадет?

10.

Содержательный подход к измерению информации
Равновероятные результаты —
это результаты, которые не имеют
преимущества перед другим.
Неопределённость знания о результате равна 6.
Что выпадет?

11.

Содержательный подход к измерению информации
Равновероятные результаты —
это результаты, которые не имеют
преимущества перед другим.
В забеге участвует 100 спортсменов.
Неопределённость знания о результате равна 100.

12.

Содержательный подход к измерению информации
Неопределённость знания о результате
некоторого события —
это количество возможных результатов
исхода события.
Событие —
это жеребьёвка спортсменов.
Исход —
спортсмену выпал номер 34.

13.

Неопределённость знания
1 пример
2 пример
Наибольшее количество информации
наибольшая.
3 пример
, т. к. неопределённость знания об исходе события
...

14.

Вывод:
чем больше начальное число возможных
равновероятных событий, тем в большее количество раз
уменьшается неопределенность наших знаний, и тем
большее количество информации будет содержать
сообщение о результатах события.

15.

Теория информации
Информация —
это снятая неопределённость
знания человека об исходе какогото события.
Клод Шеннон
(1916 2001)

16.

Существует неопределенность знаний?
Количество информации=0

17.

Вывод:
Мы не получаем информации в ситуации,
когдапроисходит одно событие из одного возможного.
Количество информации в этом случае равно нулю.

18.

Существует неопределенность знаний?

19.

Вывод:
Чтобы количество информации имело положительное
значение, необходимо получить сообщение о том, что
произошло событие как минимум из двух
равновероятных.

20.

Содержательный подход к измерению информации
Определился 1 из двух возможных результатов.
Неопределённость знания уменьшилась в 2 раза.
Узнав результат бросания монеты, вы получили 1 бит информации.
1 бит —
1 бит —
это сообщение об одном из двух
равновероятных результатов
некоторого события.
это сообщение, уменьшающее
неопределённость знания об
исходе некоторого события в два
раза.

21.

Пример
1 бит —
это сообщение, уменьшающее
неопределённость знания об
исходе некоторого события в
два раза.
Сколько информации содержит ответ?
Вы выходите на
следующей
остановке?
Нет!

22.

Пример
Занятия могут состояться в одном из кабинетов, номера которых от 1 до 16. Ученики
спросили у учителя: «В каком кабинете будут проходить занятия?» На что учитель им
ответил: «Угадайте ответ за четыре вопроса, на которые я могу дать ответ “Да” или
“Нет”».

23.

Номер
Номер
Нет!
Да!меньше
больше
кабинета
кабинета
кабинета 5?
кабинета
7!!!
4?
чётный?
9?

24.

Сколько информации получили ученики?

25.

Первоначальные варианты:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
1
3
4
2Вывод:
5
6
7
8
11бит
информации
9 +10
15
13 = 414бита
11 + 12
1 бит + 1 бит
1 бит
бит
16
Варианты после 1-го
вопроса
Варианты после 2-го
вопроса
3
4
1 1 бит2информации
Варианты после 3-го
вопроса
5
6
Варианты после 4-го
вопроса
5
7
7
8
5
6
7
1 бит информации
1 бит информации
8

26.

Содержательный подход к измерению информации
Метод половинного деления —
это метод, в котором ответ на каждый
заданный вопрос уменьшает
неопределённость знания, имеющуюся перед
ответом на этот вопрос, наполовину.
Каждый такой ответ несёт 1 бит информации.
Я
Загадай
угадаючисло
его заот5
Загадала!
вопросов!
1 до 32!

27.

Содержательный подход к измерению информации
1 бит информации
2 бита информации
несёт сообщение об одном из двух
равновероятных исходов некоторого
события.
несёт сообщение об одном из четырёх
равновероятных исходов некоторого
события.
3 бита информации
N события (неопределённость знания).
несёт сообщение об одном из восьми
равновероятных исходов некоторого
события.
количество возможных исходов
i-
количество информации в сообщении
об одном из N результатов.

28.

Содержательный подход к измерению информации
Пример с монетой
Пример с кабинетом
Пример с числом