3.4.Lecture_Optimization_Methods

1.

ВВЕДЕНИЕ В
НЕЙРОННЫЕ СЕТИ.
МЕТОДЫ
ОПТИМИЗАЦИИ

2. Activation Functions

Методы оптимизации
Activation Functions
Loss функция и локальная
оптимизация
Зацикливание
2
Метод
импульсов
(Momentum)
Идея! Учесть инерцию
точки как при движении
материального тела

3. Activation Functions

Momentum
Activation Functions
Экспоненциальный
фильтр
тогда по аналогии, градиент целевой
функции
Чем меньше γ, тем больше алгоритм
SGD
3

4. Activation Functions

Градиент Нестерова (NAG)
Activation Functions
Элемент прогнозирования
движения
Если градиент увеличивается движемся
быстрее, если уменьшается - замедляемся
4

5. Activation Functions

Метод Ньютона
Activation Functions