Обучение с учителем. Линейная регрессия

1. Обучение с учителем & Линейная регрессия

Обучение с учителем
&
Линейная регрессия

2. Обучение с учителем

3.

4. Немножко формализма

• X – input features
• Y – target variable
• (xi ; yi) – training example
• { (xi ; yi) i = 1 … m } – training set

5. Цель обучения с учителем

Prediction function h : X -> Y
Регрессия – бесконечное множество
Классификация – конечное
множество (дискретные величины)

6. Вспомним пример

7.

8. Метод Градиентного спуска

Нужно найти такие коэффициенты, чтобы
минимизировать функцию стоимости J.

9.

10. ПСЕВДообратная матрица Мура - Пенроуза

• Пусть A – m x n матрица. Матрица C называется
псевдообратной к A, если:
1. ACA = A
2. CAC = C
3. (AC)* = AC
4. (CA)* = CA
Обозначение: C = A+

11. Системы линейныХ уравнений и связь с линейной регрессией

Пусть Ax = B – С.Л.У
Теорема Мура – Пенроуза:
x = A+B + (En – A+A)y, где y из Rn

12. ПриМеры нелинейных моделей регрессии

13. Переобучение и регуляризация

• Переобучение - нежелательное явление, возникающее
при решении задач обучения по прецедентам, когда
вероятность ошибки обученного алгоритма на
тестовой выборке оказывается существенно выше,
чем средняя ошибка на обучающей выборке.
Переобучение возникает при использовании
избыточно сложных моделей
• Недообучение - нежелательное явление, возникающее
при решении задач обучения по прецедентам, когда
алгоритм обучения не обеспечивает достаточно малой
величиный средней ошибки на обучающей выборке.
Недообучение возникает при использовании
недостаточно сложных

14. Разберем пример

Будем апроксимировать
Обучающая выборка
Модель
Алгоритм
Тестовая выборка

15. P = 2 : Недообучение

16. P = 20 : оптимальная модель

17. p = 40: Переобучение

18. Регуляризация

Штраф к функции ошибки ( или функция стоимости )

19. Сравнение