Лабораторная работа № 1. Измерение количества информации

1. Дисциплина: “Информационные основы автоматизации”

Карагандинский технический
университет
Кафедра АПП им. проф. Бырьки В. Ф.
для студентов специальности 6В07101 – Автоматизация и управление
Лектор: ст. преп. каф. АПП Лисицын Дмитрий Владимирович

2.

Лабораторная работа № 1
Цель:
Познакомиться с основными подходами к измерению
количества информации и использовать их при решении
конкретных задач.
Порядок выполнения работы:
1. Познакомиться с системой единиц измерения количества
информации.
2. Изучить основные подходы к измерению количества
информации.
3. Применить полученные знания при решении задач.
Отчет должен содержать:
1. Титульный лист.
2. Цель работы.
3. Результаты решения.
4. При защите практической работы ответить на контрольные вопросы.

3.

Теоретическая часть
Единицы измерения количества информации
Минимальную порцию информации о каком-либо
свойстве объекта принято называть битом (binary digit –
двоичная цифра). Бит – единица измерения информации,
представляющая собой выбор из двух равновозможных
вариантов. Бит представляет собой обозначение одного
двоичного разряда,
способного, в зависимости от
сделанного выбора, принимать значение 1 или 0.
За единицу количества информации принимается такое ее
количество, которое содержит сообщение, уменьшающее
неопределенность в два раза.
Если положить в мешок два шара разного цвета, то,
вытащив вслепую один шар, получим информацию о цвете
шара в 1 бит.
3

4.

Теоретическая часть
В информатике часто используется величина, называемая байтом
(byte) и равная 8 битам. И если бит позволяет выбрать один вариант
из двух возможных, то байт, соответственно, 1 из 256.
Для
измерения
больших объемов
информации принято
использовать производные единицы измерения, представленные в
таблице:
4

5.

Подходы к измерению количества информации
Рассмотрим два подхода к измерению количества информации
– содержательный (вероятностный) и символьный (алфавитный).
В содержательном подходе возможна качественная оценка
информации: новая, срочная, важная и т. д. Согласно К. Шеннону,
информативность сообщения характеризуется содержащейся в нем
полезной информацией – той частью сообщения, которая снимает
полностью или уменьшает неопределенность какой-либо ситуации.
Неопределенность
некоторого
события
–
это
количество
возможных исходов данного события. Например, неопределенность
погоды на завтра обычно заключается в диапазоне температуры
воздуха и возможности выпадения осадков.
Содержательный подход часто называют субъективным, так как
разные люди (субъекты) информацию об одном и том же
предмете оценивают по-разному. Но если число исходов не зависит
от суждений людей (например, случай бросания кубика или
монеты), то информация о наступлении одного из возможных
исходов является объективной.
5

6.

Подходы к измерению количества информации
Формулу для вычисления количества информации, учитывающую
неодинаковую вероятность событий, предложил К. Шеннон в 1948 г.
Количественная зависимость между вероятностью события р и
количеством информации I в сообщении о нем выражается формулой
Шеннона: