8.67M

Лекция 1

1. Машинное обучение

Превращение данных в знания

2. Что такое Машинное обучение

3. Как работает Машинное обучение

4. Искусственные нейронные сети

5. Чем отличаются данные от знаний?

6. Данные

Таблицы
Текст
Сигналы
Звук
Изображения
Видео

7. Данные и Знания

Таблицы
Текст
Сигналы
Звук
Изображения
Видео

8. Данные и Знания

Данные – совокупность зафиксированных фактов
Информация – сведения, уменьшающие
неопределённость
Знания – сведения, позволяющие действовать с
прогнозируемым результатом
Типичная проблема:
Мы располагаем данными, они хранятся в цифровом
виде, но мы не знаем, что в них.

9. Что такое машинное обучение?

(англ. Machine learning)
подраздел искусственного интеллекта (ИИ),
изучающий методы построения
алгоритмов, способных обучаться.

10. Машинное обучение

11. Машинное обучение

Примеры
данных
с закономерностями
Обучающийся
алгоритм
Модель
закономерности
Поиск закономерностей в
новых данных

12. Простой пример

“Картина мира” через известные нам данные

13. Простой пример

Синий или красный новый объект?

14. Простой пример

15. Простой пример

16. Простой пример

Шум или выброс?

17. Простой пример

Ошибка?

18. Машинное обучение

F : X -> Y
Признаки (Х)
Целевая переменная (Y)
Рост
IQ
Пиво в день
Пол
Ср. бал в школе
Ср. бал в универ.
Курит?
170
128
0
М
4.7
4.4
Нет
195
90
40
М
3.3
3.1
Да
160
111
2
Ж
4.0
3.9
Нет
183
143
0
М
4.8
4.7
Да
158
118
25
Ж
3.7
3.5
Да
178
132
10
М
4.4
?
?
170
120
4
Ж
3.9
?
?
165
100
20
М
3.5
?
?
Трен.
Тест.

19. Машинное обучение

20. Машинное обучение

21. Машинное обучение

22. Как решаем?

Окончательная
модель

23. Пример из жизни

Спам
Электронная
почта
Алгоритм
машинного
обучения
Не спам

24. Что еще может ML?

• Классифицировать
• Давать вещественный ответ (регрессия)
• Прогнозировать
• Ранжировать
• Фильтровать выбросы
• Находить наиболее значимые показатели
• Давать рекомендации
и многое другое

25. Пример из жизни

Прогнозирование состояния дорожного полотна на 6 и 24 часа
Координаты
интересующих
дорог
Текущая погода
с погодных станций
Предобработка
данных
Прогнозы
погоды
по интересующим
координатам
Модель
Предсказание
состояния
Сухое
Влажное
Лед
Снег

26. Пример из жизни

Прогнозирование состояния дорожного полотна на 6 и 24 часа
Прогнозы
погоды
Координаты
интересующих
дорог
Текущая погода
с погодных станций
Фактическое
состояние
по интересующим
координатам
Предобработка
данных
Предобработка
данных
Модель
Обучение
нескольких
моделей
Тестирование и
сравнение
моделей
Предсказание
состояния
Сухое
Влажное
Лед
Снег

27. Пример из жизни

Погодные наблюдения
1930 – текущее время
~ 800 станций в РФ
измерение каждый 3 ч.
MAE: 1.8 °C

28. Пример из жизни

Прогнозирование поломок оборудования
и возникновения внештатных ситуаций

29. Пример из жизни

Прогнозирование поломок оборудования
и возникновения внештатных ситуаций
Сигналы в
реальном
времени
Предобработка
Очистка сигналов,
синхронизация,
формирование доп.
параметров и др.
Формирование
входного вида
данных
Вектор, массив,
временной ряд, bitmap
Оценка
алгоритмом
критериев
состояний
Прогноз

30. А если данные не структурированы?

31. Что такое глубокое обучение?

(англ. Deep learning)
набор алгоритмов машинного
обучения, основанных на
изучении множества уровней
представления.
Множество уровней
представления означают
множество уровней абстракции.

32. Нейронные сети

(англ. Neural network)
математическая модель, построенная по принципу организации
биологических нейронных сетей живых организмов.

33. Нейронные сети

AlexNet

34. Пример из жизни

Формирование конкурсной документации
Задачи
• Возможность накапливать опыт специалистов и переиспользовать его
• Автоматизация подготовки и проверки документов
• Сокращение времени на подготовку документа

35. Пример из жизни

36. Пример из жизни

Формирование конкурсной документации
Пример
Стул цвет красный или синий
Стул высота 400 – 500 мм
Стул материал ДПС, дерево, фанера
Стол должен быть изготовлен из
дерева или фанеры, высотой от 60см
до 80см, покрашен краской зеленого
или синего цвета
→ Стул цвет красный
→…
→…
→…

37. Пример из жизни

Алгоритм Sequence-to-sequence
…
Стул
цвет
красный
<EOS>
Стул
цвет
красный
<EOS>

38. Пример из жизни

Формирование документации
Возможности
• Обработка строк
• Генерация строк
• Выделение из текста значимых частей
• Исправление ошибок (в т.ч. смысловых)
• Выходной контроль

39. Пример из жизни

Формирование документации
Проблемы
• Генерация строк требует обучающей базы >1млн. записей
• Помнит и хранит контекст до 100 слов
Достижения
• Разбиение текста на значимые единицы
• Выходной контроль

40. Пример из жизни

41. Пример из жизни

Сегментация космических снимков

42. Пример из жизни

Сегментация космических снимков
Космические снимки
• ортогональные 4х-канальные (RBG+NIR)
• с разрешением 0,5-1м на пиксель
Обрабатываемые типы объектов:
• дороги
• постройки
• деревья (лес)
• травяное(растительное) покрытие
• земля (пашня)
• вода
• железные дороги

43. Пример из жизни

Сегментация космических снимков

44. Умный холодильник SmartKi

*самостоятельно распознает продукты

45. Какие задачи решает глубокое обучение?

Компьютерное зрение (computer vision)
Распознавание речи (speech recognition)
Обработка естественных языков (natural language processing - NLP)
Медицинская диагностика и Биоинформатика
Финансовые приложения
Обработка текстов и документов
Защита данных и выявление мошенничества
Персональная безопасность
Рекомендации и персонализированный маркетинг
Интеллектуальные автомобили и роботы
Техническая диагностика
Информационный поиск
Интеллектуальные игры

46. Спасибо за внимание!

English Русский Rules