Измерение информации
Алфавитный подход
Алфавитный подход
Алфавитный подход
Алфавитный подход
Алфавитный подход
Алфавитный подход
Алфавитный подход
Алфавитный подход
Алфавитный подход
Алфавитный подход
Алфавитный подход
Алфавитный подход
Содержательный подход
Содержательный подход
Содержательный подход
Содержательный подход
Содержательный подход
Содержательный подход
Решение задач
Решение задач
1.64M
Category: informaticsinformatics

Измерение информации

1. Измерение информации

2. Алфавитный подход

3. Алфавитный подход

Алфавитный подход позволяет
измерять информацию на
некотором языке (естественном
или формальном).
Алфавитный подход не связан с
содержанием текста.

4. Алфавитный подход

Мощность алфавита - полное число
символов в алфавите.
Например: мощность алфавита русских
букв и используемых символов равна
54:
33 буквы + 10 цифр + 11 знаков
препинания, скобки, пробел.

5. Алфавитный подход

Наименьшую мощность имеет
алфавит, используемый в компьютере
(машинный язык), его называют
двоичным алфавитом, т.к. он содержит
только два знака «0», «1».
Информационный вес символа двоичного
алфавита принят за единицу измерения
информации и называется 1 бит.

6. Алфавитный подход

Пример:
Информация, записанная
на машинном языке,
весит:
01110
5 бит
010010
6 бит
010
3 бита
0111111011110
13 бит

7. Алфавитный подход

При алфавитном подходе считают, что
каждый символ текста, имеет информационный вес.
Информационный вес символа зависит
от мощности алфавита.
С увеличением мощности алфавита, увеличивается информационный вес
символа.

8. Алфавитный подход

Информационный вес каждого символа,
выраженный в битах (i), и мощность
алфавита (N) связаны между собой
формулой: N = 2i
Пример: N = 4, i = 2
Символ
Код
символа
A
B
C
D
00
01
10
11

9. Алфавитный подход

Если N не равно двойке в целой степени,
то находится ближайшее к N целое число
M = 2b (b – целое число), M > N, и из
этого равенства определяется b –
информационный вес символа
Например, если N = 12, то M = 16 = 24

10. Алфавитный подход

Алфавит из которого составляется на
компьютере текст (документ) состоит из 256
символов.
Этот алфавит содержит символы: строчные и
прописные латинские и русские буквы, цифры,
знаки арифметических операций,
всевозможные скобки, знаки препинания…

11. Алфавитный подход

Из формулы N = 2i следует 256 = 28
Значит, каждый символ алфавита используемого
в компьютере для печати документов весит
8 бит.
Эту величину приняли так же за единицу
измерения информации и дали название байт.
8 бит = 1 байт

12. Алфавитный подход

1 килобайт = 1 Кб = 210 байт = 1024 байт
1 мегабайт = 1 Мб = 210 Кб = 1024 Кб
1 гигабайт = 1 Гб = 210 Мб = 1024 Мб
1 терабайт = 1 Тб = 210 Гб = 1024 Гб

13. Алфавитный подход

N=2i
N – мощность алфавита;
i - количество бит, которое несет каждый символ
I=i*k
k – количество символов в сообщении;
I - общий информационный объем всего сообщения

14. Содержательный подход

15. Содержательный подход

При содержательном подходе
количество информации связано с
содержанием (смыслом)
полученного человеком
сообщения.

16. Содержательный подход

Пусть у нас
Имеется
монета,
которую мы
бросаем на
ровную
поверхность.
Возможные
Произошедшее
события
событие
Какое количество информации
несёт сообщение о событии:
«Выпал «орёл»»?

17. Содержательный подход

Клод Элвуд Шеннон (1916 –
2001) – американский учёный,
основатель теории информации.
Согласно Шеннону, информация
– это снятая неопределённость
знания человека об исходе
какого-то события.

18. Содержательный подход

Клод Элвуд Шеннон (1916 –
2001) – американский учёный,
основатель теории информации.
Сообщение, уменьшающее
неопределённость знания об
исходе некоторого события в два
раза, несёт 1 бит информации.

19. Содержательный подход

Сообщение
несёт 1 бит
информации
Возможные
Произошедшее
события
событие
С равной вероятностью произойдет одно из
двух возможных событий – монета
окажется в одном из двух положений:
«орёл» или «решка».

20.

Содержательный подход
Пример 1.
Ученик написал контрольную и спрашивает у учителя о
полученной оценке. Оценка может оказаться любой от 2
до 5. На что учитель предложил угадать оценку за два
вопроса, ответом на которые может быть только «да» и
«нет».
Первоначальные варианты
2
3
4
5
Варианты после 1-го вопроса
(1 бит)
4
5
Варианты после 2-го вопроса
(+1 бит)
4

21.

Содержательный подход
Пример 2.
Вы едете в поезде, в котором 8 вагонов, а
на вокзала вас встречает товарищ.
Товарищ позвонил вам по мобильному
телефону и спросил, в каком вагоне вы
едете. Вы предлагаете угадать номер
вагона за наименьшее количество
вопросов, ответом на которые может быть
только «да» и «нет».

22.

Содержательный подход
Первоначальные варианты
1
2
3
4
5
6
7
8
Варианты после 1-го
вопроса
(1 бит)
5
6
7
8
Варианты после 2-го
вопроса
(+1 бит)
5
6
Варианты после 3-го
вопроса
(+1 бит)
5

23.

Содержательный подход
Обозначим:
N – количество возможных исходов
i – количество информации в сообщении об одном из N
исходов
В примере с монетой: N = 2, i = 1 бит
В примере с оценкой: N = 4, i = 2 бита
В примере с вагоном: N = 8, i = 3 бит
Связь между этими величинами выражается следующей
формулой:
N = 2i

24.

Содержательный подход
Формула Хартли:
i = log2N
Табличном процессоре Microsoft Excel
функция логарифма имеет следующий
вид:

25. Решение задач

Задача: В рулетке общее количество лунок равно 128. Какое
количество информации мы получим в зрительном сообщении
об остановке шарика в одной из лунок.
Дано:
N = 128
Решение:
2i = N
2i = 128
i-?
27 = 128
i = 7 бит
Ответ: i = 7 бит

26. Решение задач

Задача:
В коробке 32 карандаша, все
карандаши разного цвета.
Наугад вытащили красный.
Какое количество
информации при этом было
получено?
Решение.
Так как вытаскивание карандаша любого цвета из
имеющихся в коробке 32 карандашей является
равновероятным, то число возможных событий равно
32.
N = 32, i = ?
N = 2i, 32 = 25, i = 5 бит.
Ответ: 5 бит.

27.

Домашнее задание:
Изучить § 3, 4, изучить
конспект
Выучить определения
Повторить § 2
English     Русский Rules