Градиентный метод

1. Лекция 3 Градиентный метод

2. Определение градиентного метода

3. Геометрический смысл

4. Критерий останова

Критерий останова может сертифицировать
сходимость в ЛОКАЛЬНОМУ минимуму

5. Сходимость

6.

7.

8.

9.

10. Геометрический смысл градиентного метода

x 2+3 y 2
6
4
4
2
2
0
0
y
6
-2
-2
-4
-4
Зависимость от выбора длины шагового множителя
-6
-6
-6
-4
-2
0
x
2
3
4
x 2+50 y 2
6
-6
-4
-2
0
x
2
1
y
y
x 2+3 y 2
0
-1
-2
Зависимость от «вытянутости» линий уровня
-3
0
1
2
3
4
5
x
6
7
8
9
10
2
4
6

11. Варианты выбора шага

x 2+y 2
10
8
6
4
y
2
0
-2
-4
-6
-8
-10
-10
-8
-6
-4
-2
0
x
2
4
6
8
10

12.

x 2+50 y 2
3
2
y
1
0
-1
-2
-3
0
1
2
3
4
5
x
6
7
8
9
10

13. Правило Армихо (Armijo)

14. Влияние константы Липшица градиента

15. Пример сходимости градиентного метода