Машинное обучение как парадигма программирования

1.

Парадигмы программирования
(с примерами на языке R)
Машинное обучение как парадигма
программирования
Голубничий А.А.
[email protected]
@Golubnichij

2.

Структура занятия
• структура машинного обучения;
• биологический нейрон;
• искусственный нейрон;
• функция активации;
• нормализация данных;
• структура нейронной сети;
• варианты нейронных сетей;
• создание нейронной сети в R;
• библиотеки.
2

3.

Отличие машинного обучения от
стандартного программирования
3

4.

Процесс создания модели обучения
4

5.

Признаки и результат (на примере ExTL)
5

6.

Структура машинного
обучения
Машинное обучение (machine
learning) – подраздел искусственного
интеллекта, изучающий методы
построения алгоритмов, способных
обучаться.
6

7.

Биологический нейрон
Аксон – длинный отросток нейрона. Приспособлен для проведения
возбуждения и информации от тела нейрона к нейрону или от
нейрона к исполнительному органу.
Дендриты – короткие и сильно
разветвлённые отростки нейрона,
служащие главным местом для
образования влияющих на нейрон
возбуждающих и тормозных
синапсов, и которые передают
возбуждение к телу нейрона.
Синапс – место контакта между
двумя нейронами или между
нейроном и получающей
сигнал эффекторной клеткой7

8.

Искусственный нейрон
Искусственный нейрон – узел искусственной нейронной сети,
являющийся упрощенной моделью естественного нейрона.
Математически, искусственный нейрон обычно представляют как
некоторую нелинейную функцию от единственного аргумента –
линейной комбинации всех входных сигналов.
Математически нейрон
представляет собой взвешенный
сумматор, единственный выход
которого определяется через его
входы и матрицу весов следующим
образом:
8

9.

Функции активации
Функция активации нейрона определяет выходной сигнал,
который определяется входным сигналом или набором входных
сигналов
Тождественная
Единичная
ступенька
Логистическая
th
9

10.

Нормализация данных
MinMax нормализация – нормализация проводимая по формуле:
где X* – это нормализованное значение,
min(X), max(X) – минимальное и максимальное значение атрибута X.
Формула позволяет расположить координаты на отрезке [0;1]
10

11.

Структура нейронной сети
11

12.

Варианты нейронных сетей
Нейронные сети прямого
распространения (feed forward neural
networks, FF или FFNN) и
перцептроны (perceptrons, P) очень
прямолинейны, они передают информацию
от входа к выходу.
Нейронная сеть Хопфилда
(Hopfield network, HN) – это
полносвязная нейронная сеть
с симметричной матрицей
связей.
12

13.

Создание нейронной сети в R(1)
13

14.

Создание нейронной сети в R(1)
Исходные данные
Нормализованные данные
14

15.

Создание нейронной сети в R(2)
15

16.

Создание нейронной сети в R(3)
16

17.

Создание нейронной сети в R(4)
17

18.

Библиотеки в R
Нейронные сети и глубокое обучение:
• нейронная сеть с одним скрытым слоем – пакет nnet
• интерфейс для симулятора Штутгартской нейронной сети – пакет
RSNNS
• нейронные сети с глубоким обучением – пакеты deepnet, RcppDL,
h2o
• интерфейс к tenserflow – пакет tenserflow
Рекурсивное разбиение:
rpart, tree, RWeka, Cubist, C50
Random Forest:
randomForest, ipred, party, randomForestSRC
Бустинг градиентный спуск:
gbm, xgboost, bst
18