Количество информации как мера уменьшения неопределённости знания

1.

2. Содержание:

Количество информации как мера уменьшения
неопределённости знания:
● количество информации;
● бит;
● производные единицы измерения количества информации.
2.
Определение количества информации:
● определение количества информационных сообщений;
● определение количества информации.
3.
Алфавитный подход к определению количества
информации:
● информационная ёмкость знака;
● количество информации в сообщении.
1.

3. Количество информации

• Процесс
познания
окружающего
мира
приводит к накоплению информации в форме
знаний (фактов, научных теорий и т.д.)
• Получение новой информации приводит к
расширению
знаний
(уменьшению
неопределенности знания).
• Если некоторое сообщение приводит к
уменьшению
неопределённости
нашего
знания, то можно говорить, что такое
сообщение содержит информацию.

4. Примеры

После сдачи зачета вы
мучаетесь
неопределённостью, какую оценку вы
получили. Учитель объя-вил
результаты и вы получили
одно
из
двух
информационных
сообщение:
«зачёт»
или
«незачёт».
После
выполнения
контрольной работы вы
мучаетесь
неопределённостью, какую оценку вы
получили. Учитель объявил результаты и вы получили одно из четырёх
информационных
сообщение: «2», «3», «4», «5».
Информационное
сообщение об оценке за зачёт
приводит к уменьшению
неопределённости
вашего
знания в два раза, так как
получено одно из информационных сообщений.
Информационное
сообщение
об
оценке
за
контрольную
работу
приводит к уменьшению
неопределённости вашего
знания в четыре раза, так
как
получено
одно
из
четырёх информационных
сообщений.

5.

• Итак,
чем
больше
неопределенна
первоначальная ситуация (чем больше
количество информационных решений),
тем
больше
мы
получим
новой
информации при получении сообщения
(тем в больше количества раз уменьшится
неопределённость знания).
• Количество информации можно рассматривать
как
меру
уменьшения
неопределённости знания при полу-чении
информационных сообщений.

6.

• Рассмотренный
выше
подход
к
информации
как
мере
уменьшения
неопределённости
знания
позволяет
количественно измерить информацию.
• Существует формула, которая связывает
между собой количество возможных
информационных
сообщений
N
и
количества информации i, которое несёт
новое сообщение:
N = 2(i) степени

7. БИТ

За единицу количества информации
принимается
такое
количество
информации, которое содержится в
информационном
сообщении,
уменьшающем
неопределённость
знания в два раза. Такая единица
измерения информации называется
– битом.
Бит – минимальная единица измерения
количества информации

8. Производные единицы измерения количества информации

(1 байт = 8 битов)
(1 Кбайт = 1024 байт)
(1 Мбайт = 1024 Кбайт)
(1 Гбайт = 1024 Мбайт)

9. Упражнение:

1. Вычислите, какое количество информации
в битах содержится в 1 Кбайте, 1 Мбайте, 1
Г байте.
2. Была получена телеграмма: «Встречайте,
вагон 7». Известно, что в составе поезда
16 вагонов. Какое количество информации
было получено?

10. Определение количества информационных сообщений

• Определяется с помощью формулы
N=2
i
N – количество информационных сообщений
i – количество информации в битах

11. Определение количества информации

• Если величина N известна, а i неизвестно,
то надо решить уравнение относительно
i, применив формулу
N=2
i
Пример:
На книжном стеллаже 16 полок. Книга
может быть поставлена на любую из этих
полок. Сколько информации содержит
сообщение о том, где находится книга?

12. Информационная ёмкость знака

• Нам необходимо передать информа-ционное
сообщение
по
каналу
передачи
от
отправителя к получателю. Пусть сообщение
кодируется с помощью знаковой системы,
алфавит которой состоит из N знаков {1,
…,N}.
отправитель
1
2
…
N
Канал передачи
информации
k
получатель

13.

Вычислим количество информации, которое несёт каждый
знак в двоичной знаковой систему, использовав формулу:
N=2
m
N – количество знаков в алфавите знаковой системы
m – количество информации, которое несёт каждый знак
Получаем:
N = 2 => 2 = 2m
=> 2m = 21
=> m = 1
Таким образом, в двоичной знаковой системе знак несёт 1 бит
информации.
Информационная ёмкость знака двоичной знаковой
системы составляет 1 бит
Чем больше количество знаков содержит
алфавит знаковой системы, тем больше
количество информации несёт один знак.

14. Упражнение

• Определите количество
информации,
которое
несёт буква русского
алфавита.

15. Количество информации в сообщении

• Любое
сообщение
состоит
из
последовательности знаков, каждый из
которых несёт определённое количество
информации.
• Количество информации Ic в сообщении
вычисляется по формуле:
Ic = Iз * K
Iз - количество информации, которое несёт один знак
К – длина кода (количество знаков в сообщении)

16. Количество информации, которое несёт двоичный компьютерный код

Двоичный
компьютерный код
1
0
1
0
Количество
информации
1
бит
1
бит
1
бит
1
бит

17.

Домашнее задание:
1.Прочитать § 3 главы 1 (т.е. § 1.3).
2.Задания для самостоятельного выполнения 1.3, 1.4 (стр. 29); 1.5,1.6
стр.30; 1.7, 1.8 (стр.33).