Similar presentations:
Машинное обучение
1. Машинное обучение
Превращение данных в знанияМаксим Каськов
PureMind
2. Что такое Машинное обучение
Максим КаськовPureMind
3. Как работает Машинное обучение
Максим КаськовPureMind
4. Искусственные нейронные сети
Максим КаськовPureMind
5. Чем отличаются данные от знаний?
Максим КаськовPureMind
6. Данные
ТаблицыТекст
Сигналы
Звук
Изображения
Видео
Максим Каськов
PureMind
7. Данные и Знания
ТаблицыТекст
Сигналы
Звук
Изображения
Видео
Максим Каськов
PureMind
8. Данные и Знания
Данные – совокупность зафиксированных фактовИнформация – сведения, уменьшающие
неопределённость
Знания – сведения, позволяющие действовать с
прогнозируемым результатом
Типичная проблема:
Мы располагаем данными, они хранятся в цифровом
виде, но мы не знаем, что в них.
Максим Каськов
PureMind
9. Что такое машинное обучение?
(англ. Machine learning)подраздел искусственного интеллекта (ИИ),
изучающий методы построения
алгоритмов, способных обучаться.
Максим Каськов
PureMind
10. Машинное обучение
Максим КаськовPureMind
11. Машинное обучение
Примерыданных
с закономерностями
Обучающийся
алгоритм
Модель
закономерности
Поиск закономерностей в
новых данных
Максим Каськов
PureMind
12. Простой пример
“Картина мира” через известные нам данныеМаксим Каськов
PureMind
13. Простой пример
Синий или красный новый объект?Максим Каськов
PureMind
14. Простой пример
Максим КаськовPureMind
15. Простой пример
Максим КаськовPureMind
16. Простой пример
Шум или выброс?Максим Каськов
PureMind
17. Простой пример
Ошибка?Максим Каськов
PureMind
18. Машинное обучение
F : X -> YПризнаки (Х)
Целевая переменная (Y)
Рост
IQ
Пиво в день
Пол
Ср. бал в школе
Ср. бал в универ.
Курит?
170
128
0
М
4.7
4.4
Нет
195
90
40
М
3.3
3.1
Да
160
111
2
Ж
4.0
3.9
Нет
183
143
0
М
4.8
4.7
Да
158
118
25
Ж
3.7
3.5
Да
178
132
10
М
4.4
?
?
170
120
4
Ж
3.9
?
?
165
100
20
М
3.5
?
?
Максим Каськов
Трен.
Тест.
PureMind
19. Машинное обучение
F : X -> YПризнаки (Х)
Целевая переменная (Y)
Рост
IQ
Пиво в день
Пол
Ср. бал в школе
Ср. бал в универ.
Курит?
170
128
0
М
4.7
4.4
Нет
195
90
40
М
3.3
3.1
Да
160
111
2
Ж
4.0
3.9
Нет
183
143
0
М
4.8
4.7
Да
158
118
25
Ж
3.7
3.5
Да
178
132
10
М
4.4
?
?
170
120
4
Ж
3.9
?
?
165
100
20
М
3.5
?
?
Трен.
Тест.
Объекты
Максим Каськов
PureMind
20. Машинное обучение
F : X -> YПризнаки (Х)
Целевая переменная (Y)
Рост
IQ
Пиво в день
Пол
Ср. бал в школе
Ср. бал в универ.
Курит?
170
128
0
М
4.7
4.4
Нет
195
90
40
М
3.3
3.1
Да
160
111
2
Ж
4.0
3.9
Нет
183
143
0
М
4.8
4.7
Да
158
118
25
Ж
3.7
3.5
Да
178
132
10
М
4.4
?
?
170
120
4
Ж
3.9
?
?
165
100
20
М
3.5
?
?
Объекты
Трен.
Тест.
Метки
Максим Каськов
PureMind
21. Машинное обучение
F : X -> YПризнаки (Х)
Целевая переменная (Y)
Рост
IQ
Пиво в день
Пол
Ср. бал в школе
Ср. бал в универ.
Курит?
170
128
0
М
4.7
4.4
Нет
195
90
40
М
3.3
3.1
Да
160
111
2
Ж
4.0
3.9
Нет
183
143
0
М
4.8
4.7
Да
158
118
25
Ж
3.7
3.5
Да
178
132
10
М
4.4
?
?
170
120
4
Ж
3.9
?
?
165
100
20
М
3.5
?
?
Регрессия
Классификация
Объекты
Максим Каськов
Трен.
Тест.
PureMind
22. Как решаем?
Окончательнаямодель
Максим Каськов
PureMind
23. Пример из жизни
СпамЭлектронная
почта
Алгоритм
машинного
обучения
Не спам
Максим Каськов
PureMind
24. Что еще может ML?
• Классифицировать• Давать вещественный ответ (регрессия)
• Прогнозировать
• Ранжировать
• Фильтровать выбросы
• Находить наиболее значимые показатели
• Давать рекомендации
и многое другое
Максим Каськов
PureMind
25. Пример из жизни
Прогнозирование состояния дорожного полотна на 6 и 24 часаКоординаты
интересующих
дорог
Текущая погода
с погодных станций
Предобработка
данных
Прогнозы
погоды
по интересующим
координатам
Модель
Предсказание
состояния
Сухое
Влажное
Лед
Снег
Максим Каськов
PureMind
26. Пример из жизни
Прогнозирование состояния дорожного полотна на 6 и 24 часаПрогнозы
погоды
Координаты
интересующих
дорог
Текущая погода
с погодных станций
Фактическое
состояние
по интересующим
координатам
Предобработка
данных
Предобработка
данных
Модель
Обучение
нескольких
моделей
Предсказание
состояния
Сухое
Влажное
Лед
Снег
Тестирование и
сравнение
моделей
Максим Каськов
PureMind
27. Пример из жизни
Погодные наблюдения1930 – текущее время
~ 800 станций в РФ
измерение каждый 3 ч.
MAE: 1.8 °C
Максим Каськов
PureMind
28. Пример из жизни
Прогнозирование поломок оборудованияи возникновения внештатных ситуаций
Максим Каськов
PureMind
29. Пример из жизни
Прогнозирование поломок оборудованияи возникновения внештатных ситуаций
Сигналы в
реальном
времени
Предобработка
Очистка сигналов,
синхронизация,
формирование доп.
параметров и др.
Формирование
входного вида
данных
Оценка
алгоритмом
критериев
состояний
Прогноз
Вектор, массив,
временной ряд, bitmap
Максим Каськов
PureMind
30. А если данные не структурированы?
Максим КаськовPureMind
31. Что такое глубокое обучение?
(англ. Deep learning)набор алгоритмов машинного
обучения, основанных на
изучении множества уровней
представления.
Множество уровней
представления означают
множество уровней абстракции.
Максим Каськов
PureMind
32. Нейронные сети
(англ. Neural network)математическая модель, построенная по принципу организации
биологических нейронных сетей живых организмов.
Максим Каськов
PureMind
33. Нейронные сети
AlexNetМаксим Каськов
PureMind
34. Пример из жизни
Формирование конкурсной документацииЗадачи
• Возможность накапливать опыт специалистов и переиспользовать его
• Автоматизация подготовки и проверки документов
• Сокращение времени на подготовку документа
Максим Каськов
PureMind
35. Пример из жизни
Формирование конкурсной документацииПример
Стул цвет красный или синий
Стул высота 400 – 500 мм
Стул материал ДПС, дерево, фанера
Стол должен быть изготовлен из
дерева или фанеры, высотой от 60см
до 80см, покрашен краской зеленого
или синего цвета
→…
→…
→…
→…
Максим Каськов
PureMind
36. Пример из жизни
Формирование конкурсной документацииПример
Стул цвет красный или синий
Стул высота 400 – 500 мм
Стул материал ДПС, дерево, фанера
Стол должен быть изготовлен из
дерева или фанеры, высотой от 60см
до 80см, покрашен краской зеленого
или синего цвета
→ Стул цвет красный
→…
→…
→…
Максим Каськов
PureMind
37. Пример из жизни
Алгоритм Sequence-to-sequence…
Стул
цвет
красный
Стул
цвет
красный
<EOS>
<EOS>
Максим Каськов
PureMind
38. Пример из жизни
Формирование документацииВозможности
• Обработка строк
• Генерация строк
• Выделение из текста значимых частей
• Исправление ошибок (в т.ч. смысловых)
• Выходной контроль
Максим Каськов
PureMind
39. Пример из жизни
Формирование документацииПроблемы
• Генерация строк требует обучающей базы >1млн. записей
• Помнит и хранит контекст до 100 слов
Достижения
• Разбиение текста на значимые единицы
• Выходной контроль
Максим Каськов
PureMind
40. Пример из жизни
Формирование конкурсной документацииПример
Стул цвет красный или синий
Стул высота 400 – 500 мм
Стул материал ДПС, дерево, фанера
Стол должен быть изготовлен из
дерева или фанеры, высотой от 60см
до 80см, покрашен краской зеленого
или синего цвета
→ Стул цвет красный
→ Стул высота 0,5 м
→ Стул материал дерево
→ Стол изготовлен из дерева,
высотой 0,8м, покрашен краской
зеленого цвета
Максим Каськов
PureMind
41. Пример из жизни
Сегментация космических снимковМаксим Каськов
PureMind
42. Пример из жизни
Сегментация космических снимковКосмические снимки
• ортогональные 4х-канальные (RBG+NIR)
• с разрешением 0,5-1м на пиксель
Обрабатываемые типы объектов:
• дороги
• постройки
• деревья (лес)
• травяное(растительное) покрытие
• земля (пашня)
• вода
• железные дороги
Максим Каськов
PureMind
43. Пример из жизни
Сегментация космических снимковМаксим Каськов
PureMind
44. Умный холодильник SmartKi
*самостоятельно распознает продуктыМаксим Каськов
PureMind
45. Какие задачи решает глубокое обучение?
Компьютерное зрение (computer vision)Распознавание речи (speech recognition)
Обработка естественных языков (natural language processing - NLP)
Медицинская диагностика и Биоинформатика
Финансовые приложения
Обработка текстов и документов
Защита данных и выявление мошенничества
Персональная безопасность
Рекомендации и персонализированный маркетинг
Интеллектуальные автомобили и роботы
Техническая диагностика
Информационный поиск
Интеллектуальные игры
Максим Каськов
PureMind
46. Спасибо за внимание!
Максим Каськов[email protected]
+7(917)1272092
max8mk
http://PureMind.tech