Эконометрика. Множественная линейная регрессионная модель

1. Множественная линейная регрессионная модель

0011 0010 1010 1101 0001 0100 1011
Y 0 1 X 1 ... k X k
1
2
4

2. Темы лекции

0011 0010 1010 1101 0001 0100 1011
• Множественная линейная регрессионная
модель
• Метод наименьших квадратов оценки
коэффициентов МЛРМ.
• Матричное выражение МНК-оценок
коэффициентов МЛРМ.
1
2
4

3. Множественные регрессионные модели

0011 0010 1010 1101 0001 0100 1011
Независимая переменная Y характеризует
состояние или поведение экономического
объекта. Набор переменных X1,…,Xk
характеризуют этот экономический объект
качественно или количественно.
1
2
4

4. МЛРМ

Y 0 1 X 1 ... k X k
0011 0010 1010 1101 0001 0100 1011
Пример
D
1
2
Q 0 1 P 2 X 3 PM
где QD объем спроса на масло,
Х доход,
P цена на масло,
PM цена на мягкое масло.
4

5.

Y 0 1 X 1 ... k X k
0011 0010 1010 1101 0001 0100 1011
Здесь нам неизвестны коэффициенты и параметры
распределения .
Для их оценки имеется выборка из N наблюдений над
переменными Y и X1,…,Xk.
Для каждого наблюдения должно выполнятся следующее
равенство:
1
2
4
Yi 0 1 X 1i ... k X ki i

6. Матричная форма записи МЛРМ

0011 0010 1010 1101 0001 0100 1011
Y X
где
1
2
1
Y1
0
1 X 11 ... X k 1.
... ...
Y ... X .
.
.
N
Y N
k
1 X N 1 ... X kN
4

7. Векторная форма записи МЛРМ

0011 0010 1010 1101 0001 0100 1011
yi x'i i
где
x'i (1, X 1i , X 2i ,..., X ki )
1
2
4
0
x'i (1, X 1i , X 2i ,..., X ki ) ... 0 1 X 1i 2 X 2i ... k X ki
k

8. Метод наименьших квадратов

0011 0010 1010 1101 0001 0100 1011
N
i 1
2
ei
min
( ˆ )
Среди всех возможных
гиперплоскостей
выбираем ту, для
которой сумма
квадратов остатков
минимальна
1
2
4

9. Что будем минимизировать

Yi ˆ 0 ˆ 1 X 1i ... ˆ k X ki
ei Yi Yi Yi ˆ 0 ˆ 1 X 1i ... ˆ k X ki
0011 0010 1010 1101 0001 0100 1011
RSS
N
e
2
i
i 1
N
i 1
N
i 1
2
(Yi Yi )
1
2
4
2
ˆ
ˆ
ˆ
(Yi 0 1 X 1i ... k X ki )
min
( ˆ 0 , 1 ,..., ˆ k )

10. Минимизация

0011 0010 1010 1101 0001
0100N 1011
RSS
ˆ
0
RSS
ˆ
1
RSS
ˆ
2
...
RSS
ˆ
k
0
0
0
0
или
ˆ 0 ˆ 1 X 1i ... ˆ k X ki ) 0
ˆ 0 ˆ 1 X 1i ... ˆ k X ki ) X 1i 0
ˆ 0 ˆ 1 X 1i ... ˆ k X ki ) X 2i 0
ˆ 0 ˆ 1 X 1i ... ˆ k X ki ) X ki 0
2 (Yi
i 1
N
2 (Yi
i 1
N
2 (Yi
i 1
...
N
2 (Yi
i 1
1
2
4

11. Система нормальных уравнений

0011 0010 1010 N1101 0001 0100
1011
N
N
N
ˆ
ˆ
ˆ
ˆ
X ki Y1i
N 0 1 X 1i 2 X 2i ... k
i 1
i 1
i 1
i 1
N
N
N
N
N
2
X 1i X ki Y1i X 1i
ˆ 0 X 1i ˆ 1 X 1i ˆ 2 X 1i X 2i ... ˆ k
i 1
i 1
i 1
i 1
i 1
N
N
N
N
N
ˆ
2
X 2i X ki Y1i X 2i
0 X 2i ˆ 1 X 1i X 2i ˆ 2 X 2i ... ˆ k
i 1
i 1
i 1
i 1
i 1
...
N
N
N
N
N
ˆ
2
ˆ
ˆ
ˆ
X
X
X
X
X
...
X
Y1i X ki
ki
1
1i ki
2
2 i ki
k
ki
0
i 1
i 1
i 1
i 1
i 1
Система линейных уравнений
1
2
4

12. Система в матричном виде

X
X X
X X
N
X 1i
X 2i ...
0011 0010 1010 1101 0001
0100 1011
X 1i
X 12i
X 1i X 2i ...
2
X
X
X
X
...
2i
1i 2i
2i
...
X 1i X ki
X 2i X ki ...
X ki
или
X ' X X 'Y
ˆ 0
Yi
ˆ
Yi X 1i
1i ki 1
ˆ Y X
i 2i
2i ki 2
... ...
X ki2 ˆ k Yi X ki
ki
1
2
4

13. Итог

0011 0010 1010 1101 0001 0100 1011
1
( X ' X ) X 'Y
1
2
4
МНК оценки коэффициентов МЛРМ

14. Полная мультиколлинеарность

0011 0010 1010 1101 0001 0100 1011
Коэффициенты по методу наименьших квадратов
существуют не всегда, а только в том случае,
когда определитель матрицы (X’X) отличен от
нуля.
Определитель будет равен нулю в случае, если
столбцы матрицы X линейно зависимы. Такое
может произойти, если между независимыми
переменными существует точное линейное
соотношение.
1
2
4

15. Пример

0011 0010 1010 1101 0001 0100 1011
Y 0 1 X 2 D 3W
где
Y - средняя оценка на экзамене состоящую из
трех объясняющих переменных:
I доход родителей,
D среднее число часов, затраченных на
обучение в день,
W среднее число часов, затраченных на
обучение в неделю.
Очевидно, что W=7D.
1
2
4

16. Устранение полной мультиколлинеарности

0011 0010 1010 1101 0001 0100 1011
Случай полной мультиколлинеарности
отследить легко, поскольку в этом случае
невозможно построить оценки по методу
наименьших квадратов. Если в модели
присутствует полная
мультиколлинеарность, следует удалить из
регрессионного уравнения одну из
переменных, которые входят в линейное
соотношение.
1
2
4

17. DUMMY TRAP

0011 0010 1010 1101 0001 0100 1011
Дамми-переменная – переменная,
принимающая только два значения: 0 и 1.
С помощью таких переменных
учитывается влияние качественных
переменных, принимающих несколько
значений.
1
2
4

18. Вопросы для самопроверки

0011 0010 1010 1101 0001 0100 1011
Система нормальных уравнений для нахождения коэффициентов по
МНК.
В каком случае линии регрессии по методу наименьших квадратов не
существует
Приведите примет модели, в которой присутствует полная
мультиколлинеарность.
Укажите размерности матриц, участвующих в формуле МНКкоэффициентов.
.Как устранить проблему полной мультиколлинеарности.
Выведите систему нормальных уравнений.
Выведите матричную формулу МНК коэффициентов.
Приведите пример ситуации, когда линейной зависимости между
объясняющими переменными нет, а коэффииценты МЛРМ не
существуют.
Как влияют выбросы на результаты оценивания.
Как исследовать устойчивость результатов оценивания.
1
2
4