Информация и сообщения (2)

1. Информация и сообщения; семантическая и синтактическая информация

2.

• Основные вводные понятия и определения теории
информации связаны с пониманием информации как
сведений, уменьшающих неопределённость об
окружающем мире, и сообщений, как носителей
этой информации. Теория информации — это раздел
математики и информатики, изучающий методы
измерения, передачи и кодирования информации.
2

3.

• Информация — это сведения, которые снимают
неопределённость и являются объектом хранения,
передачи и использования. Она может быть
представлена в форме сообщений, которые
передаются от источника к получателю через
канал связи с помощью сигналов, несущих
материальную форму сообщений. Сообщение — это
информация, представленная в определённой
форме, подлежащая передаче. Элемент сообщения
условно обозначается знаком, а совокупность
знаков с смысловым значением образует слово.
3

4.

• Теория информации выделяет дискретную и
непрерывную информацию, а также рассматривает
такие понятия, как кодирование — преобразование
информации в упорядоченный набор символов.
Основоположником теории информации считается
Клод Шеннон, который определил информацию как
меру снятия неопределённости (энтропии) и
результат выбора из набора возможных
альтернатив.
4

5.

• Важные понятия включают:
• Источник информации — объект, генерирующий
сообщения.
• Получатель информации — объект, принимающий
сообщения.
• Канал связи — среда передачи сообщений, которая
может вносить шум и искажения.
• Энтропия — мера неопределённости в информации.
• Таким образом, теория информации занимается
структурой, измерением и способами передачи
информации, обеспечивая оптимальные методы
кодирования и защиты данных при передаче и
5

6. Информация и сообщения

• Информация и сообщения в теории информации
имеют тесно связанное, но различное значение.
Информация — это сведения или данные, которые
уменьшают неопределённость об окружающем мире и
предназначены для хранения, передачи и
использования. Она представляет собой
нематериальную сущность, с помощью которой
можно описывать реальные, виртуальные или
понятийные объекты.
6

7.

• Сообщение — это форма представления информации,
выраженная в определённой форме и
предназначенная для передачи. Примерами
сообщений могут быть тексты, речь, команды
управления, показания датчиков. Чтобы сообщение
передать от источника к получателю, оно
преобразуется в сигнал — изменяющуюся
физическую величину, которая передает
содержание сообщения по каналу связи.
7

8.

• Таким образом, сообщение — это конкретная
выраженная форма информации для ее передачи, а
информация — это содержание или смысл, который
несет это сообщение. В структуре информационной
системы информационный процесс включает
источник информации, канал связи и получателя
информации, где сообщения передаются и
преобразуются в сигналы для передачи и
последующего восприятия.
8

9.

• Основные определения:
• Информация — сведения, снимающие неопределённость
и предназначенные для использования.
• Сообщение — форма представления информации для её
передачи.
• Сигнал — физическое представление сообщения для
передачи по каналу связи.
• Эти определения лежат в основе теории информации,
которая изучает способы измерения, передачи и
кодирования информации в виде сообщений для
эффективной коммуникации.
9

10. Различие между дискретными и непрерывными сообщениями

• Дискретные и непрерывные сообщения различаются
по форме представления и характеру изменения во
времени и по множеству значений, которые они
могут принимать.
10

11.

• Дискретные сообщения формируются источником
информации как последовательность отдельных
элементов — знаков (символов), которые берутся
из конечного множества, называемого алфавитом
источника. Такие сообщения представляют собой
цепь случайных событий и описываются дискретной
функцией времени — они поступают в определённые
моменты времени. Примером дискретных сообщений
могут быть текстовые данные, цифровые сигналы и
коды. Для дискретных сообщений применяются
теоретические методы, такие как вычисление
энтропии, которая характеризует количество
11
информации на символ.

12.

• Непрерывные сообщения неразделимы на отдельные
элементы и описываются непрерывными функциями
времени, которые могут принимать значения из
непрерывного множества. Это означает, что
значения сигнала изменяются плавно, без
скачков, и могут иметь бесконечное множество
возможных значений. Примерами непрерывных
сообщений являются аналоговые сигналы, звук,
изображение, показания датчиков. Для
непрерывных сообщений используют плотности
распределения вероятностей, так как вероятность
получения конкретного значения равна нулю.
12

13.

• Иными словами:
• Дискретные сообщения — конечное или счетное множество
символов, поступающих в дискретные моменты времени.
• Непрерывные сообщения — непрерывная функция времени с
величинами, принимающими любые значения в диапазоне.
• Также дискретность и непрерывность могут
характеризовать как время поступления сообщений, так и
множество возможных значений, что позволяет выделить
четыре варианта сообщений: непрерывные по времени и
множеству, дискретные по времени и множеству, и
смешанные варианты.
• Таким образом, основное различие состоит в способе
представления, количестве и характере значений
сообщений и их поступлении во времени.
13

14. Три основных подхода к оценке количества информации

• Существует три основных подхода к оценке
количества информации:
• Объемный подход — измеряет количество
информации как объём или длину сообщения,
обычно в количестве символов или знаков.
Например, объем информации может быть выражен
числом бит, необходимых для записи сообщения.
Этот метод прост, но чувствителен к форме
представления информации (разным системам
записи).
14

15.

• Энтропийный подход — базируется на теории
Шеннона и использует понятие энтропии как меры
неопределенности или случайности. Количество
информации определяется через вероятность
появления различных событий в сообщении, с
помощью формулы Шеннона. Этот подход учитывает
вероятностную структуру сообщения и оценивает
степень уменьшения неопределенности после
получения информации.
15

16.

• Алгоритмический подход — основан на длине
кратчайшей программы или алгоритма, который
способен воспроизвести данное сообщение. Этот
метод, разработанный Колмогоровым и соавторами,
рассматривает информацию как минимальный объем
инструкций, необходимый для генерации
сообщения.
16

17.

• Таким образом, объемный подход оценивает
информацию с точки зрения количества символов,
энтропийный — с точки зрения статистики
вероятностей символов, а алгоритмический — с
точки зрения сложности описания и сжатия
сообщения. Все три подхода дополняют друг друга
и применяются в зависимости от целей и
контекста анализа информации.
17

18. Значение теоремы В.А. Котельникова для теории информации

• Теорема В.А. Котельникова имеет фундаментальное
значение для теории информации, особенно в
области цифровой обработки сигналов и передачи
информации. Она утверждает, что любой
непрерывный сигнал, имеющий ограниченный спектр
частот (до некоторой максимальной частоты