Технологии обработки информации. (Лекция 1)

1. Технологии обработки информации. Лекция 1. Введение

Технологии обработки информации.
Лекция 1. Введение
Антон Викторович Кудинов, 
доцент кафедры ВТ

2. Содержание

Структура
курса
Основные понятия – информация,
данные, знания
Виды информации
Обработка данных и ее виды
Модели процессов обработки данных
Общие задачи обработки данных
Понятие анализа данных. Технология
OLAP
Задачи обработки данных различных
2
типов

3. Структура курса

Структура курса
3
Итоговая аттестация —
экзамен

4. Выписка из ГОС

Выписка из ГОС
Студент должен знать:
основные виды и процедуры обработки
информации, модели и методы решения задач
обработки информации (генерация отчетов,
поддержка принятия решений, анализ данных,
искусственный интеллект, обработка
изображений)
Студент должен уметь:
осуществлять математическую и
информационную постановку задач по
обработке информации, использовать
алгоритмы обработки информации для
различных приложений
4Студент
должен владеть:

5. Лекции

Введение. Понятие информации, данных, знаний. Типы
данных. Общие задачи обработки информации. Задачи
обработки данных различных типов
Принципы и методы оцифровки аналоговых данных.
Стандарты представления различных видов цифровой
информации
Технология обработки графической информации.
Кодирование и сжатие изображений
Технология обработки текстовой информации
Задачи анализа. Сжатие данных
Аналитическая обработка информации. Технология OLAP
Технология обработки числовой информации.
Статистические методы. Технология Data Mining. Методы
визуализации данных
Методы и технологии интеграции данных
5 Задачи анализа. Технологии поиска информации

6. Лабораторные работы

Лабораторные работы
Методы и алгоритмы сжатия информации (8
часов)
Методы и алгоритмы обработки текстовой
информации. Алгоритмы поиска и сортировки
информации (8 часов)
Технология обработки графической
информации. Практическое изучение и
освоение возможностей методов бинарного
анализа при решении задач выделение
контуров, выпуклых областей и связных
компонент (8 часов)
Интеллектуальные методы и алгоритмы
обработки информации. Алгоритмы
6 классификации (8 часов)

7. Учебно-методическое обеспечение дисциплины

Учебно­методическое обеспечение 
дисциплины
Программные продукты:
Microsoft SQL Server 2008 Analysis Services
Microsoft Visual Studio 2010
Borland Delphi, C++ Builder
Источники:
7
Интернет-портал дисциплины ТОИ
http://portal.tpu.ru/departments/kafedra/vt/Disciplines_VT/Tehnol
ogy_obrabotki_informacii
MIT OpenCourseWare http://ocw.mit.edu
Школа анализа данных Яндекс http://shad.yandex.ru/
Юрий Лифшиц - курс "Алгоритмы для Интернета"
http://yury.name/internet/
Чубукова И.А. Data Mining: учебное пособие – 2-е изд., испр. –
М.: Интернет-Университет Информационных технологий;
БИНОМ. Лаборатория знаний, 2010. – 382 с.
Назаров С.В. и др. Основы информационных технологий.
Курс на портале Интернет-университета Информационных

8. Введение. Основные понятия

Введение. Основные понятия
В чем разница между данными,
информацией и знаниями?
8

9. Понятие информации (1)

Понятие информации (1) 
Понятие информации переживает свою
эволюцию
Философы:
Математики, физики и специалисты по
системам связи:
информация - это передача, отражение разнообразия
в любых объектах и процессах живой и даже неживой
природы
информация - фактор и мера уменьшения, снятия
неопределенности в результате получения сообщения
Кибернетики:
информация - сообщение, неразрывно связанное с
управлением в единстве синтаксических,
семантических и прагматических характеристик
9 Для социологов важны аксиологические (т. е. связанные

10. Понятие информации, данных (2)

Понятие информации, данных (2)
Информация (от лат. informatio, разъяснение,
изложение, осведомленность) — сведения о
чем-либо, независимо от формы их
представления (Википедия)
Информация - новые знания, полученные в
результате интерпретации данных
(Энциклопедия технологий баз данных)
Данные - факты, идеи, сведения,
представленные в знаковой (символьной)
форме, позволяющей производить их
передачу, обработку и интерпретацию
Данные – представление фактов и идей в
формализованном виде, пригодном для
передачи и обработки в некотором
10

11. Понятие информации, данных (3)

Понятие информации, данных (3)
Информация - это потенциальное свойство
данных, которое может быть реализовано
одним воспринявшим их человеком и не
реализовано другим
Объектом машинной обработки являются
данные, а не информация!
Знание — форма существования и
систематизации результатов
познавательной деятельности человека,
субъективный образ реальности в форме
понятий и представлений (Википедия)
Сведения - это знания, выраженные в
11
сигналах, сообщениях, известиях,

12. Виды информации

Виды информации
Текстовая — передаваемая в виде
символов, предназначенных обозначать
лексемы языка
Числовая — в виде цифр и знаков,
обозначающих математические действия
Графическая — в виде изображений,
предметов, графиков
Звуковая — устная или в виде записи и
передачи лексем языка аудиальным путём
другие виды
12

13. Способы обработки информации

Способы обработки информации
неавтоматизированный
автоматизированный
13

14. Обработка данных (1)

Обработка данных (1)
Обработка - преобразование объектов
обработки, которое придает им новые,
необходимые свойства. Это преобразование
осуществляется в форме процесса,
протекающего во времени
Технология – система взаимосвязанных
способов обработки материалов и приемов
изготовления продукции в производственном
процессе
Информационная технология – совокупность
методов, способов, приемов и средств
обработки документированной информации,
включая прикладные программные средства, и
регламентированного порядка их применения
14

15. Обработка данных (2)

Обработка данных (2)
Алгоритм - это точное, т. е.
сформулированное на определенном
языке, конечное описание того или иного
общего метода, основанного на
применении исполнимых элементарных
тактов обработки
Виды обработки:
последовательная
параллельная
Формальные модели обработки данных:
15
конечные автоматы
сети Петри
процессы Хоара

16. Модель процесса обработки данных. Конечные автоматы

Модель процесса обработки данных. 
Конечные автоматы
Конечным автоматом называется набор из
пяти объектов
, в котором:
- входной алфавит;
- выходной алфавит);
- множество внутренних состояний
автомата;
- функция перехода в следующее
состояние (переходная функция);
- функция выхода (выходная функция).
16

17. Модель процесса обработки данных. Сети Петри

Модель процесса обработки данных. 
Сети Петри
В сетях Петри события и условия
представлены абстрактными символами из
двух непересекающихся алфавитов,
называемых соответственно множеством
переходов
и множеством
мест
В процессе функционирования сети происходит смена разметок мест, как
результат срабатывания ее переходов. Сеть останавливается, если ни один
из ее переходов не может сработать
17

18. Типичные цели обработки данных

Типичные цели обработки данных
собрать всю доступную информацию,
представленную в данных различной
природы
отделить существенную информацию,
представленную данными, от
несущественной, для рассмотрения в
данный момент
представить существенную информацию в
виде, наиболее удобном для восприятия
человеком
18

19. Общие задачи обработки данных (1)

Общие задачи обработки данных (1)
сбор данных
ввод данных в различные информационные
системы
оценка качества данных
автоматический ввод данных
ручной ввод данных
контроль и исправление ошибок ручного ввода
накопление данных
хранение накопленных данных, в том
числе:
19
учёт и инвентаризация данных
сортировка данных
классификация данных

20. Общие задачи обработки данных (2)

Общие задачи обработки данных (2)
доступ
к данным
поиск нужных данных в накопленных
массивах данных
контроль доступа и защита данных
передача
данных и обмен данными
интеграция данных
упаковка данных
маркировка данных
надёжность передачи данных
20

21. Общие задачи обработки данных (3)

Общие задачи обработки данных (3)
представление данных, как то:
наглядные представления данных:
текстовое представление данных
табличное представление данных
графическое представление данных
иное визуальное представление данных
форматы представления данных в различных
информационных системах
21

22. Общие задачи обработки данных. Выводы

Общие задачи обработки данных. 
Выводы
ввод (в т.ч. оцифровка)
поиск
сортировка
фильтрация
классификация (интерпретация)
сжатие (компрессия)
представление (форматы, визуализация)
22

23. Этапы процесса обработки данных

Этапы процесса обработки данных
Подготовка
данных
(предварите
льная
обработка)
23
Анализ
данных
(извлечение
знаний,
моделирован
ие)
Представле
ние знаний
(визуализац
ия,
утилизация)

24. Понятие анализа данных

Понятие анализа данных
Анализ данных — область математики и
информатики, занимающаяся построением и
исследованием наиболее общих
математических методов и вычислительных
алгоритмов извлечения знаний из
экспериментальных (в широком смысле)
данных; процесс исследования, фильтрации,
преобразования и моделирования данных с
целью извлечения полезной информации и
принятия решений
Интеллектуальный анализ данных (Business
intelligence, BI) — это особый метод анализа
данных, который фокусируется на
24
моделировании и открытии данных, а не на

25. OLAP

OLAP (англ. online analytical processing,
оперативная аналитическая обработка) —
технология обработки данных,
заключающаяся в подготовке суммарной
(агрегированной) информации на основе
больших массивов данных,
структурированных по многомерному
принципу
Агрегатные функции образуют
многомерный (и, следовательно,
нереляционный) набор данных
(называемый гиперкубом или метакубом),
оси которого содержат параметры, а
25
ячейки — зависящие от них агрегатные

26. Структура OLAP-куба

Структура OLAP­куба
26

27. Обработка тестовых данных (1)

Обработка тестовых данных (1)
поиск (в т.ч. по ключевым словам)
семантический анализ
тематическая и жанровая классификация
сообщений на основе лексикостатистического анализа (в т.ч.
фильтрация спама)
отбор сообщений на основе структурностатистических признаков
оценка достоверности
сокращения избыточности представления
(реферирование и аннотирование)
сжатие текстовых данных
27

28. Обработка тестовых данных (2)

Обработка тестовых данных (2)
28
Результаты обработки текстов песенпобедителей "Евровидения« с 1956 по 2010 гг.

29. Обработка изображений

Обработка изображений
Геометрические преобразования
Цветовая коррекция
Сравнение двух и более изображений
Комбинирование изображений различными
способами
Интерполяция и сглаживание
Разделение изображения на области
(сегментация изображений).
Редактирование и ретуширование
Фильтрация изображений
Распознавание текста
Машинное зрение
29Сжатие изображений

30. Обработка числовой информации

Обработка числовой информации
Задачи
Классификация
Кластеризация
Сокращение описания
Ассоциация
Прогнозирование
Анализ отклонений
Оценивание
Анализ связей
Статические методы
Машинное обучение
30

31. Что такое Data Mining

Что такое Data Mining
Data Mining – «добыча данных»
Извлечение новых знаний и неочевидных зависимостей
из больших объемов сложных данных
Предмет интереса:
Нетривиальные знания
Неявные зависимости
Предварительно неизвестные знания
Потенциально полезные знания
Синонимы
Интеллектуальный анализ данных - Business
Intelligence
Открытие знаний в БД
Базы знаний. Извлечение знаний
31

32. Прикладные области обработки данных (1)

Прикладные области обработки данных 
(1)
Астрономия
Медицина и биотехнологии
Бухгалтерский учёт и инвентаризация
Издательское дело
Компьютерная графика и обработка
изображений
Конкурентная разведка
Криптография
Нанотехнологии
Обработка результатов экспериментов
Обработка сигналов
32

33. Прикладные области обработки данных (2)

Прикладные области обработки данных 
(2)
Обучение
Представление знаний
Прикладная статистика
Экономическая кибернетика
Экспериментальная психология
33

34. Спасибо за внимание!

Спасибо за внимание!
34
[email protected]