Первая концепция теории информации (концепция К. Шеннона)

1.

ПЕРВАЯ КОНЦЕПЦИЯ
ТЕОРИИ ИНФОРМАЦИИ
(КОНЦЕПЦИЯ
К.ШЕННОНА)
ВЫПОЛНИЛИ РАБОТУ:
СТУДЕНТЫ ГРУППЫ 4231
КОЖЕВНИКОВ КИРИЛЛ,
НАБИЕВ ИЛЬЯС,
ЗИННАТУЛЛИЕ ИЛЬЯС

2.

ЧТО ЗА КОНЦЕПЦИЯ?
Первая концепция (концепция К.Шеннона),
отражая количественно-информационный
подход, определяет информацию как меру
неопределенности (энтропию) события.
Количество информации в том или ином случае
зависит от вероятности его получения: чем
более вероятным является сообщение, тем
меньше информации в нем содержится.

3.

ТАК ЧТО ЖЕ ТАКОЕ
ИНФОРМАЦИЯ?
При таком понимании информация –
это снятая неопределенность или
результат выбора из набора
возможных альтернатив.

4.

Отличительной чертой этой работы было
отсутствие определения понятия
"информация", т.к. считалось очевидным, что
по каналам связи передают осмысленные
сообщения, т.е. информацию
Таким образом, классическая теория
информации отвлекается от требований
осмысленности информации

5.

А ЕЩЁ..
Этот подход, хотя и не учитывает смысловую сторону
информации, оказался весьма полезным в технике связи и
вычислительной технике,
послужил основой для
измерения информации и оптимального кодирования
сообщений

6.

СТОИТ ОТМЕТИТЬ..
..что сам Шеннон однажды заметил, что
смысл
сообщений не имеет никакого
отношения к его теории информации,
целиком построенной на положениях
теории вероятностей.

7.

ПРИМЕРЫ И СВОЙСТВА:
Примером одной из таких мер является функция inf(s)
= − log2p(s), где s— это предложение, смысловое
содержание которого измеряется, p(s)— вероятность
истинности s. Вот некоторые свойства этой функциимеры:
1) если s1 ⇒ s2 (из s1 следует s2) — истинно, то inf(s1)
> inf(s2);
2) inf(s) > 0;
3) если s — истинно, то inf(s) = 0;
4) inf(s1s2) = inf(s1) + inf(s2) ⇔ p(s1 · s2) = p(s1)p(s2), т. е.
независимости s1 и s

8.

СПАСИБО
ЗА ВНИМАНИЕ