ИИ и большие данные. Инновации

1. ИИ и большие данные Инновации

Санкт-Петербургский государственный университет
аэрокосмического приборостроения
Кафедра информационных технологий предпринимательства
ИИ и большие данные
Инновации
МОБД. Введение. Блюм В.С. 2025 г.
1

2. Лектор

Блюм Владислав Станиславович
e-mail: vladblum7@gmail.com
МОБД. Введение. Блюм В.С. 2025 г.
2

3. ЦЕЛЬ

Рассмотрим
методы
ИИ
в
технологиях big data
МОБД. Введение. Блюм В.С. 2025 г.
3

4. Признаки интеллектуальности ИС

МОБД. Введение. Блюм В.С. 2025 г.
4

5. Описательная модель Big Data

МОБД. Введение. Блюм В.С. 2025 г.
5

6. Искусственный интеллект и Большие Данные

Искусственный интеллект внес значительные
изменения в область обработки больших
данных, предоставив ряд новых возможностей и
используя различные технологии. Некоторые из
ключевых возможностей и технологий:
1. Машинное обучение и глубокое обучение.
2. Автоматизация и оптимизация процессов.
3. Обнаружение паттернов и трендов.
4. Обработка естественного языка.
5. Кластеризация и классификация данных.
МОБД. Введение. Блюм В.С. 2025 г.
6

7. Технология машинного обучения

Технология машинного обучения включает в себя:
1. Данные для обучения модели.
2. Модель. Это алгоритм, который обучается на данных и
способен делать предсказания или классификацию.
3. Функция потерь. Оценивает, насколько хорошо модель
выполняет задачу, и помогает ей корректировать прогнозы.
4. Оптимизатор. Алгоритм, который используется для
минимизации функции потерь.
5. Регуляризация. Технология предотвращает переобучение
модели и обеспечивает ее обобщающей способности.
6. Валидация. Процесс оценки и оценки качества модели.
7. Интерпретация. Анализ результатов модели для
понимания принятых решений и выводов.
МОБД. Введение. Блюм В.С. 2025 г.
7

8. Технология глубокого обучения

Глубокое обучение - это подраздел машинного обучения,
который использует нейронные сети с несколькими уровнями
для извлечения высокоуровневых признаков из данных.
Отличия глубокого обучения:
1. Архитектура модели. Используются глубокие нейронные
сети, состоящие из множества скрытых слоев.
2. Представление данных. Автоматически изучает
представления данных на разных уровнях абстракции.
3. Обучение. Часто используется метод обратного
распространения ошибки для обучения нейронных сетей.
4. Применения. Применяется в областях компьютерного
зрения, обработки естественного языка, речевого
распознавания и др.
МОБД. Введение. Блюм В.С. 2025 г.
8

9. Инновации в big data

Инновации в big data
Инновации — это процесс создания новых продуктов, услуг
или технологий, которые улучшают существующие процессы
или создают новые возможности.
Некоторые виды инноваций:
Продуктовые. Создание новых и улучшенных продуктов.
Процессные. Улучшение методов производства.
Бизнес-модельные. Изменение способов ведения бизнеса.
Социальные. Улучшение социальных условий.
Организационные. Изменение структуры организации.
Маркетинговые. Новые маркетинговые методы.
Основные свойства инноваций: новизна, производственная
преемственность, коммерческая реализуемость.
МОБД. Введение. Блюм В.С. 2025 г.
9

10. Автоматизация и оптимизация процессов

ИИ способствует автоматизации
обработки данных, оптимизации
процессов анализа и ускорению
принятия решений на основе данных.
МОБД. Введение. Блюм В.С. 2025 г.
10

11. Обнаружение паттернов и трендов

С помощью ИИ можно быстро
обнаруживать скрытые паттерны,
тренды и корреляции в больших данных,
что позволяет делать более точные
прогнозы и принимать обоснованные
решения.
МОБД. Введение. Блюм В.С. 2025 г.
11

12. Обработка естественного языка

Технологии обработки естественного
языка позволяют анализировать и
понимать текстовую информацию из
различных источников данных, что
помогает в обработке текстовых
данных.
МОБД. Введение. Блюм В.С. 2025 г.
12

13. Кластеризация и классификация данных

ИИ
используется
для
кластеризации и классификации
данных,
что
помогает
организовывать большие объемы
информации и делать их более
понятными.
МОБД. Введение. Блюм В.С. 2025 г.
13

14. Выводы

.
Big data порождают:
• Новую вычислительную
инфраструктуру
• Создание и развитие широкого
спектра новых кибернетических
методов анализа
МОБД. Введение. Блюм В.С. 2025 г.
14

15. Технологии для аналитики big data

Имитационное моделирование — построение моделей,
которые помогают провести эксперимент в компьютерной
реальности.
Статистический анализ — подсчет данных по формулам
и выявление в них тенденций, сходств и закономерностей.
Data Mining — технология добычи новой значимой
информации из большого объема данных.
Визуализация — представление больших данных и
результатов их анализа в виде удобных графиков и схем,
понятных человеку.
МОБД. Введение. Блюм В.С. 2025 г.
15

16. Краудсорсинг

Анализом Big Data занимаются компьютеры,
но иногда анализ поручают людям.
Краудсорсинг — привлечение к решению
какой-либо проблемы большой группы людей.
Примеры разовая задача
- синонимия
- мед. статистика
МОБД. Введение. Блюм В.С. 2025 г.
16

17. Смешение и интеграция данных

Работа с big data часто связана со сбором
разнородных данных из разных источников.
Разные источники могут выдавать данные в
разных форматах и с разными параметрами.
Смешение и интеграция данных — процесс
приведения разнородной информации к
единому виду.
МОБД. Введение. Блюм В.С. 2025 г.
17

18. Смешение и интеграция данных

методы:
1. Приводят данные к единому формату: распознают текст с
фотографий, конвертируют документы, переводят текст в
ифры.
2. Дополняют данные. Если есть два источника данных об
одном объекте, информацию от первого источника
дополняют данными от второго, чтобы получить более
полную картину.
3. Отсеивают избыточные данные: если какой-то источник
собирает лишнюю информацию, недоступную для анализа,
ее удаляют.
МОБД. Введение. Блюм В.С. 2025 г.
18

19. Смешение и интеграция данных

МОБД. Введение. Блюм В.С. 2025 г.
19

20. Машинное обучение и нейронные сети

Обычно машинное обучение связывают с
нейронными
сетями,
состоящими
из
множества искусственных нейронов, которые
в результате обучения образуют связи и затем
способны анализировать информацию.
Нейронные сети работают по единому
алгоритму — получают на входе данные,
«прогоняют» их через сеть своих нейронов и
на выходе выдают результат, например,
относят входные данные к определенной
группе.
МОБД. Введение. Блюм В.С. 2025 г.
20

21. Машинное обучение и нейронные сети

МОБД. Введение. Блюм В.С. 2025 г.
21

22. Предиктивная аналитика и big data

Часто нужно на основе анализа данных делать
прогнозы о будущем - предиктивная аналитика big
data (называют прогнозной).
Задача
предиктивной
аналитики
—
выделить
несколько параметров, которые влияют на данные.
Для этого изучаем базу прошлых событий и пытаемся
определить, какие «параметры» влияют на будущие
события.
После этого с помощью математических функций или
нейросетей строим модель, которая предупреждает о
конкретном событии заранее.
МОБД. Введение. Блюм В.С. 2025 г.
22

23. Имитационное моделирование

В ситуациях, когда нужно посмотреть, как
поведут себя одни показатели при изменении
других,
выручит
имитационное
моделирование.
Ставить такие эксперименты в реальном мире
неудобно — это дорого и может привести к
серьезным убыткам.
Имитационное моделирование немного похоже
на предиктивную аналитику.
Но мы предсказываем будущее не по
реальным, а по гипотетическим данным.
МОБД. Введение. Блюм В.С. 2025 г.
23

24. Статистический анализ

• Суть статистики в том, чтобы собрать данные,
посчитать их по определенным критериям и на выходе
получить конкретный результат, обычно в процентах.
• Сделать статистику достовернее помогают большие
данные.
Методы:
1. Простой подсчет процентного соотношения.
2. Вычисление средних значений данных, иногда
распределенных по группам.
3. Корреляционный анализ, который помогает выявить
взаимосвязи и понять, как изменение одних данных
повлияет на другие.
МОБД. Введение. Блюм В.С. 2025 г.
24

25. Data mining

• Big data — это большой массив
разнородных данных.
• Ищем полезные закономерности: сходства,
различия, общие категории и так далее.
Процесс поиска таких закономерностей и
называют data mining — добыча данных, или
глубинный анализ данных.
• «Добываем» новые полезные данные с
помощью различных технологий: методы
классификации, моделирования и
прогнозирования.
МОБД. Введение. Блюм В.С. 2025 г.
25

26. Data mining

Основные задачи:
1. Классификация — распределение данных по заранее
известным классам.
2. Кластеризация — распределение данных на группы по степени
похожести друг на друга. Например, составление разных
портретов покупателей на основе их поведения в магазине.
3. Ассоциация — поиск повторяющихся образцов данных.
Например, одинаковых наборов продуктов в чеках покупателей.
4. Регрессионный анализ — нахождение важных факторов,
влияющих на какой-либо заданный параметр.
5. Анализ отклонений — выявление нетипичных данных, резко
отличающихся от обычных.
МОБД. Введение. Блюм В.С. 2025 г.
26

27. Data mining

МОБД. Введение. Блюм В.С. 2025 г.
27

28. Визуализация аналитических данных

• Результаты аналитики удобно оценивать и
использовать методами визуализации данных.
представлением в виде графиков, диаграмм,
гистограмм, 3D-моделей, карт и пиктограмм.
• Обычно инструменты для анализа умеют и
визуализировать данные, так как без
визуализации результаты работы отобразить
сложно. Множество инструментов, например:
RapidMiner, Tableau, Qlik, Orange.
МОБД. Введение. Блюм В.С. 2025 г.
28

29. Выводы

Big data порождают:
1.Новую вычислительную
инфраструктуру
2.Создание и развитие широкого
спектра новых кибернетических
методов анализа
МОБД. Введение. Блюм В.С. 2025 г.
29