Свойства коэффициентов множественной регрессии

1.

СВОЙСТВА КОЭФФИЦИЕНТОВ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
Предположения для модели A
А.1 Модель линейна по параметрам и правильно задана.
Y 1 2 X 2 ... k X k u
А.2 Не существует точной ( строго соответствующей) линейной
зависимости между независимыми переменными регрессии в
выборке(между регрессорами в выборке).
А.3
Математическое ожидание остаточного члена равно нулю.
А.4 Случайный член гомоскедастичен.
А.5 Значения случайного члена имеют независимые распределения.
А.6 Случайный член имеет нормальное распределение .
Переходя от простой к множественной регрессионной модели, мы начнем с
повторения условий (допущений), относящихся к модели регрессии.
1

2.

СВОЙСТВА КОЭФФИЦИЕНТОВ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
Допущения для модели A
А.1 Модель линейна по параметрам и правильно задана.
Y 1 2 X 2 ... k X k u
А.2 Не существует точной ( строго соответствующей) линейной.
зависимости между независимыми переменными регрессии в
выборке(между регрессорами в выборке).
А.3
Математическое ожидание остаточного члена равно нулю.
А.4 Случайный член гомоскедастичен.
А.5 Значения случайного члена имеют независимые распределения.
А.6 Случайный член имеет нормальное распределение
.
Мы видим, что только пункт П.2 имеет отличие.
Ранее утверждалось, что в переменной X должно быть какое-то изменение.
Мы объясним разницу в одном из последующих слайдов
2

3.

СВОЙСТВА КОЭФФИЦИЕНТОВ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
Допущения для модели A
А.1 Модель линейна по параметрам и правильно задана.
Y 1 2 X 2 ... k X k u
А.2 Не существует точной ( строго соответствующей) линейной
зависимости между независимыми переменными регрессии в
выборке(между регрессорами в выборке).
А.3
Математическое ожидание остаточного члена равно нулю.
А.4 Случайный член гомоскедастичен.
А.5 Значения случайного члена имеют независимые распределения.
А.6 Случайный член имеет нормальное распределение .
При условии, что допущения модели регрессии действительны, методы оценки OLS в
модели множественной регрессии являются беспристрастными и эффективными, как и в
простой модели регрессии.
3

4.

СВОЙСТВА КОЭФФИЦИЕНТОВ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
Истинная модель
Соответствующая модель
Y 1 2 X 2 3 X 3 u
Yˆ ˆ1 ˆ2 X 2 ˆ3 X 3
2
X
X
Y
Y
X
X
2i 2 i 3i 3
X 3 i X 3 Yi Y X 2 i X 2 X 3 i X 3
ˆ
2
2
2
2
X 2i X 2 X 3i X 3 X 2i X 2 X 3i X 3
Мы не будем пытаться доказать эффективность.
Однако, мы опишем доказательство несмещенности (отсутствия смещенности).
4

5.

СВОЙСТВА КОЭФФИЦИЕНТОВ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
Истинная модель
Y 1 2 X 2 3 X 3 u
Соответствующая модель
Yˆ ˆ1 ˆ2 X 2 ˆ3 X 3
2
X
X
Y
Y
X
X
2i 2 i 3i 3
X 3 i X 3 Yi Y X 2 i X 2 X 3 i X 3
ˆ
2
2
2
2
X 2i X 2 X 3i X 3 X 2i X 2 X 3i X 3
Yi Y 1 2 X 2 i 3 X 3 i ui 1 2 X 2 3 X 3 u
2 X 2 i X 2 3 X 3 i X 3 ui u
Первым шагом, как всегда, является замена Y из действительной взаимосвязи.
Составляющие Y из ˆ2фактически находятся в видеYi минус его среднее значение,
поэтому для этого удобно получить выражение.
5

6.

СВОЙСТВА КОЭФФИЦИЕНТОВ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
Истинная модель
Y 1 2 X 2 3 X 3 u
Соответствующая модель
Yˆ ˆ1 ˆ2 X 2 ˆ3 X 3
2
X
X
Y
Y
X
X
2i 2 i 3i 3
X 3 i X 3 Yi Y X 2 i X 2 X 3 i X 3
ˆ
2
2
2
2
X 2i X 2 X 3i X 3 X 2i X 2 X 3i X 3
Yi Y 1 2 X 2 i 3 X 3 i ui 1 2 X 2 3 X 3 u
2 X 2 i X 2 3 X 3 i X 3 ui u
ˆ2 2 ai*2 ui
После подстановки и упрощения мы можем сделать вывод о том, что ˆ 2можно разложить на :
истинное значение ˆ 2 плюс взвешенная линейная комбинация значений случайного члена в
примере, приведенном выше.
6

7.

СВОЙСТВА КОЭФФИЦИЕНТОВ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
Истинная модель
Y 1 2 X 2 3 X 3 u
Соответствующая модель
Yˆ ˆ1 ˆ2 X 2 ˆ3 X 3
2
X
X
Y
Y
X
X
2i 2 i 3i 3
X 3 i X 3 Yi Y X 2 i X 2 X 3 i X 3
ˆ
2
2
2
2
X 2i X 2 X 3i X 3 X 2i X 2 X 3i X 3
Yi Y 1 2 X 2 i 3 X 3 i ui 1 2 X 2 3 X 3 u
2 X 2 i X 2 3 X 3 i X 3 ui u
ˆ2 2 ai*2 ui
На слайде представлено то, что мы нашли в простой модели регрессии. Разница в том, что
выражение для определения значимости, которое зависит от всех значений X2 и X3 в
образце, значительно усложняется.
7

8.

СВОЙСТВА КОЭФФИЦИЕНТОВ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
Истинная модель
Y 1 2 X 2 3 X 3 u
Соответствующая модель
Yˆ ˆ1 ˆ2 X 2 ˆ3 X 3
2
X
X
Y
Y
X
X
2i 2 i 3i 3
X 3 i X 3 Yi Y X 2 i X 2 X 3 i X 3
ˆ
2
2
2
2
X 2i X 2 X 3i X 3 X 2i X 2 X 3i X 3
Yi Y 1 2 X 2 i 3 X 3 i ui 1 2 X 2 3 X 3 u
2 X 2 i X 2 3 X 3 i X 3 ui u
ˆ2 2 ai*2 ui
E ˆ2 2 E ai*2 ui 2 E ai*2 ui 2 ai*2 E ui 2
Достигнув этого момента, доказать несмещенность легко.
Принимая ожидания, 2 не изменяется, будучи постоянным.
Ожидание суммы равно сумме ожиданий.
8

9.

СВОЙСТВА КОЭФФИЦИЕНТОВ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
Истинная модель
Y 1 2 X 2 3 X 3 u
Соответствующая модель
Yˆ ˆ1 ˆ2 X 2 ˆ3 X 3
2
X
X
Y
Y
X
X
2i 2 i 3i 3
X 3 i X 3 Yi Y X 2 i X 2 X 3 i X 3
ˆ
2
2
2
2
X 2i X 2 X 3i X 3 X 2i X 2 X 3i X 3
Yi Y 1 2 X 2 i 3 X 3 i ui 1 2 X 2 3 X 3 u
2 X 2 i X 2 3 X 3 i X 3 ui u
ˆ2 2 ai*2 ui
E ˆ2 2 E ai*2 ui 2 E ai*2 ui 2 ai*2 E ui 2
А * члены нестационарны, так как они зависят только от значений Х2 и Х3. Следовательно,
члены а * могут быть выведены из ожиданий как факторы.
9

10.

СВОЙСТВА КОЭФФИЦИЕНТОВ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
Истинная модель
Y 1 2 X 2 3 X 3 u
Соответствующая модель
Yˆ ˆ1 ˆ2 X 2 ˆ3 X 3
2
X
X
Y
Y
X
X
2i 2 i 3i 3
X 3 i X 3 Yi Y X 2 i X 2 X 3 i X 3
ˆ
2
2
2
2
X 2i X 2 X 3i X 3 X 2i X 2 X 3i X 3
Yi Y 1 2 X 2 i 3 X 3 i ui 1 2 X 2 3 X 3 u
2 X 2 i X 2 3 X 3 i X 3 ui u
ˆ2 2 ai*2 ui
E ˆ2 2 E ai*2 ui 2 E ai*2 ui 2 ai*2 E ui 2
По предположению А.3, E(ui) = 0 для всех i. Следовательно, E ( ˆ 2 ) равно ( ˆ 2) и,
следовательно, является несмещенной оценкой. Точно так же является несмещенной
оценкой ˆ3.
10

11.

СВОЙСТВА КОЭФФИЦИЕНТОВ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
Истинная модель
Y 1 2 X 2 3 X 3 u
Соответствующая модель
Yˆ ˆ1 ˆ2 X 2 ˆ3 X 3
ˆ1 Y ˆ2 X 2 ˆ3 X 3
Наконец, мы покажем, что это несмещенная оценка ˆ1 . Это довольно просто, поэтому вы
должны попытаться сделать это самостоятельно, прежде чем смотреть на остальную часть
этой последовательности.
11

12.

СВОЙСТВА КОЭФФИЦИЕНТОВ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
Истинная модель
Y 1 2 X 2 3 X 3 u
Соответствующая модель
Yˆ ˆ1 ˆ2 X 2 ˆ3 X 3
ˆ1 Y ˆ2 X 2 ˆ3 X 3
1 2 X 2 3 X 3 u ˆ2 X 2 ˆ3 X 3
Сначала замените среднее значение выборки Y.
12

13.

СВОЙСТВА КОЭФФИЦИЕНТОВ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
Истинная модель
Y 1 2 X 2 3 X 3 u
Соответствующая модель
Yˆ ˆ1 ˆ2 X 2 ˆ3 X 3
ˆ1 Y ˆ2 X 2 ˆ3 X 3
1 2 X 2 3 X 3 u ˆ2 X 2 ˆ3 X 3
E ˆ1 1 2 X 2 3 X 3 E u X 2 E ˆ2 X 3 E ˆ3
1 2 X 2 3 X 3 X 2 2 X 3 3
1
Теперь первый момент. Первые три условия являются нестационарными, поэтому они не
зависят от ожиданий.
13

14.

СВОЙСТВА КОЭФФИЦИЕНТОВ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
Истинная модель
Y 1 2 X 2 3 X 3 u
Соответствующая модель
Yˆ ˆ1 ˆ2 X 2 ˆ3 X 3
ˆ1 Y ˆ2 X 2 ˆ3 X 3
1 2 X 2 3 X 3 u ˆ2 X 2 ˆ3 X 3
E ˆ1 1 2 X 2 3 X 3 E u X 2 E ˆ2 X 3 E ˆ3
1 2 X 2 3 X 3 X 2 2 X 3 3
1
Ожидаемое значение среднего члена возмущения равно нулю, так как E(u) равно нулю в
ˆ
каждом наблюдении. Мы только что показали, что E ( 2) равно b2 и что E ( ˆ 3) равно b3.
14

15.

English Русский Rules