Презентация1

1. Классический метод Ньютона

Метод Ньтона - метод для
нахождения экстремума.
Берём начальное приближение x0​,
проводим касательную к графику
функции в этой точке и смотрим,
где эта касательная пересекает
ось x. Эта точка становится новым
приближением.
Повторяем процесс.
Схождение алгоритма возможно,
если хорошо выбрана начальная
точка и отсутствуют локальные
экстремумы

2. Проблема больших данных

3. Решение: Квази-ньютоновская модификация

Зачем каждый раз заново считать всю кривизну для огромных данных, когда можно просто
приближённо угадывать её, глядя на то, как менялся градиент от шага к шагу

4.

L-BFGS (ограниченное
использование памяти) —
используется в случае большого
количества неизвестных.
Не хранит матрицу целиком, а
запоминает только m последних
пар
.
L-BFGS-B — модификация с
ограниченным использованием
памяти в многомерном кубе
(то есть просто увеличивается
размерность приближаемой
матрицы).

5. Стохастический метод

•Вместо точного градиента и Гессиана по всему датасету используют случайную
подвыборку данных (мини-батч).
•На каждом шаге строят приближённый ньютоновский шаг: считают градиент по
батчу, оценивают или аппроксимируют кривизну (Гессиан или его действие на
вектор) тоже по батчу, и делают шаг в этом направлении.
•За счёт этого одна итерация по стоимости близка к градиентному спуску(SGD), но
направление учитывает кривизну, поэтому сходимость обычно быстрее, чем у чисто
первых порядков.