Алгоритмы оптимизации нейронной сети

1.

Алгоритмы оптимизации
нейронной сети

2.

Стохастический градиентный спуск
(SGD)

3.

Стандартное накопление импульса

4.

Импульс Нестерова

5.

АdaGrad

6.

RMSProp

7.

Адам

8.

Подготовка набора данных

9.

Формирование обучающей выборки

10.

Формирование валидационной
выборки.

11.

Формирование тестовой выборки

12.

Компиляция

13.

Обучение

14.

Перекрёстная
энтропия

15.

Расстояние Кульбака – Лейблера или
относительная энтропия

16.

17.

Cross - entropy

18.

Связь перекрёстной энтропии и
расстояния Кульбака - Лейблера

19.

Целевая функция для бинарной
классификации

20.

Формула Байеса для двух классов

21.

22.

23.

k классов