Компетенция «Машинное обучение и большие данные» (МОиБД)

1. Компетенция «Машинное обучение и большие данные» (МОиБД)

2. Что такое «машинное обучение»?

Машинное обучение (МЛ) — это набор
математических и программных алгоритмов,
которые позволяют решать широкий спектр
задач.
В отличие от традиционного
программирования, где
задачи решаются с помощью
заранее написанных правил,
машинное обучение строит
модели, которые детектируют
закономерности в данных и
улучшают свои прогнозы с
опытом.

3. Направления машинного обучения

3
В Машинном обучении выделяют три больших направления: классическое Машинное
обучение (задачи классификации и регрессии), компьютерное зрение и обработка
естественного языка. Каждое направление эффективно решает ряд задач.
Classical ML
NLP
Computer
Vision

4. Classical ML

Классическое Машинное обучение занимается поиском закономерностей в
табличных данных. К ним относятся следующие подзадачи:
Регрессия
Классификация
Рекомендательные системы
Анализ временных рядов

5. Classical ML: Детекция аномалий

Определение аномалий и необычных паттернов, которые могут свидетельствовать о
подозрительной деятельности или деятельности, которая отклоняется от нормы.

6. Classical ML: предсказательная аналитика

• Откажется ли клиент от услуг
интернет-провайдера.
• Сколько товаров завести в магазин.
• Прогнозирование рисков невозврата
кредита.
• В каких местах лучше размещать
рекламу.

7. Classical ML: анализ временных рядов

Анализ временных рядов позволяет
находить основные закономерности в
данных, упорядоченных по времени, и
прогнозировать их (например, курс
доллара).
• Прогнозирование цен на акции
• Валютные курсы
• Управление портфелем
• Прогнозирование ВВП
• Инфляция

8. Classical ML: Рекомендательные системы

Рекомендательные системы - это программы которые пытаются предсказать, какие
объекты (фильмы, музыка, книги, новости, веб-сайты) будут интересны пользователю.

9. NLP: Обработка естественного языка

Обработка естественного языка определяет смысл
сообщений по контексту. Ответы и действия
становятся более близки к замыслу.
1. Чат-боты. Они понимают сложности
английского языка и находят фактический смысл
предложения.
2. Автозаполнение в поисковых системах. Они
угадывают, что вы вводите, и автоматически
дополняют ваши предложения.
3. Голосовые помощники. Они используют
сложную комбинацию распознавания речи,
понимания естественного языка и обработки
естественного языка, чтобы понимать, что говорят
люди, и действовать в соответствии с этим.

10. NLP: Sentiment analysis

Это область компьютерной лингвистики, которая занимается изучением мнений и
эмоций в текстовых документах. Такие модели помогают определить тон и эмоции,
которые содержится в тексте. Известная задача sentiment analysis – определение, с
каким тоном написан твит, с положительным или отрицательным.
10

11. NLP: NER

11
Named Entity Recognition (NER) — это задача в области обработки естественного языка (NLP), направленная на
выделение и классификацию именованных сущностей в тексте, таких как имена людей, названия организаций,
даты, местоположения, суммы денег и другие типы специфических объектов

12. NLP: Speech recognition

Это область в сфере обработки естественного языка (NLP), которая позволяет
компьютерам «слушать» и понимать человеческую речь.
12

13. NLP: генерация текст

Обработка естественного языка используется для создания чат-ботов, которые пытаются
подражать живому человеку и разговаривать с вами на естественном языке.
13

14. NLP: Translation

Обработка естественного языка помогает переводить тексты. Перевод получается
качественным, т.к. учитывается контекст слова в предложении.
14

15. Компьютерное зрение (CV)

Все задачи компьютерного зрения сводятся к анализу изображения или
видеопотока
(по сути представляющего из себя набор сменяющихся изображений)
ТАК, НА КАССАХ УСТАНОВЛЕНЫ
УМНЫЕ ВЕСЫ, СПОСОБНЫЕ
ОПРЕДЕЛИТЬ ПРОДУКТ, КОТОРЫЙ
НА НИХ ЛЕЖИТ, НЕ ПО ШТРИХКОДУ, А ПО ВНЕШНЕМУ ВИДУ.
САМООБУЧАЮЩИЙСЯ АЛГОРИТМ
ОТЛИЧАЕТ БАНАНЫ ОТ ЯБЛОК
И ДАЖЕ ОТ ОГУРЦОВ. ТОЧНОСТЬ
РАСПОЗНАВАНИЯ
И ДОСТИГАЕТ 92 %
Источник: https://digitalocean.ru/n/lenta-testiruet-videoraspoznavanie-tovarov

16. CV: Image Classification

Image Classification
определяет и
описывает то, что
изображено на
фото.
16

17. CV: Object detection

17
Object detection обнаруживает различные
объекты на изображении. Например, модели
компьютерного зрения могут определить
номер автомобиля и эмоции на лице.

18. CV: Object Detection

Определение языка жестов
18

19. CV: Object detection

Организация
пропускного
режима.
Акая система есть в
офисе на Проспекте
вернадского.
19

20. CV: Object detection

Роботы пылесосе используют Object detection для эффективного выполнения своей работы.
20

21. CV: Object detection

Object detection
используется в
магазинах для
распознавания
продуктов,
нахождения
просроченных
товаров и
автоматических
покупок.
З.Ы. В Перекресте на
взвешиваемые
продукты
определяются такой
системой.
21

22. CV: Object detection

Object detection
используется для
контроля техники
безопасности.
22

23. CV: Image Segmentation

Вот так нас видит автопилот Tesla. Красным выделены объекты, с которыми надо избегать
близкого контакта.
23

24. CV: Image Segmentation

24
Image Segmentation может обнаружить
объект на более детальном уровне и
определить его форму. Это продвинутый
и более точный способ обнаружения
края и формы объекта. Он используется
в различных областях, например, в
медицинской сфере для определения
повреждённых клеток на медицинских
изображениях.

25. CV: генеративные сети

Генеративные сети создают картинку по текстовому описанию.
25

26. CV: Neural Style Transfer

Перенос
стиля на
картинку по
текстовому
описанию.
26

27. CV: Image Restoration

Image Restoration помогает восстановить объекты в их первоначальном виде.
27

28. CV: Video

Генеративные
сети создают
картинку по
текстовому
описанию.
28

29. ML в Ростелеком

1. Чат-бот технической поддержки B2C/B2B
2. Поиск информации с помощью LLM по
документам
3. Сервис для конференций: транскрибация,
диаризация и самари
29
(nps)
12.Выявление проблемы у клиента при звонке
13.Подбор аудиторий для баннерной и
контекстной рекламы в интернете
14.Оценка сроков реализации проектов (в
4. Сервис для оценки прохождения скриптов
срок, отклонение от срока)
операторами
15.Предсказание финансовых показателей
5. Сервис анализа опросников HR
инвестиционных проектов
6. Детекция рекламы на билбордах
7. Отток клиентов
8. Рекомендации продуктов и услуг
9. Предсказание увольнения/выгорания
сотрудников
10.Предсказание оттока по продуктам
11.Предсказание индекса удовлетворенности
16.Оценка релевантности тендеров для
участия Ростелекома
17.Предсказание ltv и среднего чека
потенциальных и действующих клиентов
18.Выбор домов для размещения indoor
рекламы
19.Генерация изображений для маркетинговых
материалов

30. Нейрошлюз (ai.rt.ru)

30