Множественная линейная регрессия

1. МНОЖЕСТВЕННАЯ линейная РЕГРЕССИЯ

МНОЖЕСТВЕННАЯ
ЛИНЕЙНАЯ РЕГРЕССИЯ
yx a b1 x1 b2 x2 ... bm xm

2.

Спецификация модели
Отбор факторов
Выбор вида уравнения
Должны быть количественно измеримы
Цена товара
Производитель
5000 руб.
16000 руб.
18500 руб
….
Отечественный
Импортный
0
1

3.

Отбор факторов
Должны объяснять вариацию результирующего
признака
2
m 1
R
R
2
m
S
2
остm 1
S
Спецификация модели
2
остm

4.

Отбор факторов
Не должны быть взаимно коррелированы либо
находится в точной функциональной
зависимости
rxi x j 0.8
xi f ( x j )
Спецификация модели

5.

Объем
продаж, руб.
Номер
квартала
Цена, руб
Цена
конкурента,
руб.
Реклама, руб.
Y
12 000
X1
1
X2
16
X3
17
X4
5 000
13 000
2
15
18
6 000
15 000
3
15
17
4 000
18 000
4
15
16
9 000
23 000
5
16
18
8 000
34 000
6
17
19
10 000
Отбор факторов

6.

yˆ f ( x1, x2 , x3 , x4 )
y
y
x1
x2
x3
x4
x1
x2
x3
x4
1
0,92
1
0,78
0,52
1
0,66
0,45
0,7
1
0,81
0,81
0,51
0,32
Отбор факторов
1

7.

yˆ f ( x1, x2 , x3 )
y
y
x1
x2
x3
x1
x2
x3
1
0,92
1
0,78
0,52
1
0,66
0,46
0,7
Отбор факторов
1

8.

yˆ f ( x1, x2 )
y
x1
y
1
x1
0,92
1
x2
0,78
0,52
Отбор факторов
x2
1

9.

yˆ a b1 x1 b2 x2 b3 x3
rx1x1
rx1x2
rx1x3
DetR rx2 x1
rx3 x1
rx2 x2
rx3 x2
rx2 x3
rx3 x3
1 10 10
10 11 10 01
10 10 11
Отбор факторов

10.

Исключение коррелированных факторов
Увеличение объема выборки
y a b1 x1 b2 x2 b3 x3 b12 x1 x2 b13 x1 x3 b23 x2 x3
Отбор факторов

11.

Оценка параметров линейного уравнения
множественной регрессии
yx a b1 x1 b2 x2 ... bm xm
y y
i
i
xi
2
min

12.

Оценка параметров линейного уравнения
множественной регрессии
Скалярный метод
,
22
cov(
cov(xx12, ,yy)
) xx cov(
cov(xx21 , y ) cov(x11, x22))
b12 a y b211 x1 b2 x2
2
2 2
x x (cov(x1, x2 ))
1 2
yˆ f ( x1, x2 )

13.

Оценка параметров линейного уравнения
множественной регрессии
a 56631,5
b1 3141,732
b2 4129,921
yˆ 56631,5 3141,732 x1 4129 ,921 x2
yˆ f ( x1, x2 )

14.

Оценка параметров линейного уравнения
множественной регрессии
Матричный метод
y1
1 x11
y
1 x
12
2
X
Y
... ...
...
1
x
y
1n
n
xm1
... xm 2
... ...
... xmn
...
a
b
1
B
...
bm

15.

Оценка параметров линейного уравнения
множественной регрессии
Матричный метод
Y XB e
e [e1 , e2 ,..., en ]'
e Y XB

16.

Оценка параметров линейного уравнения
множественной регрессии
Матричный метод
Q
2
ei
min
B X ' X X 'Y
1

17.

Оценка параметров линейного уравнения
множественной регрессии
Семья Накопления Доход, Y Имущество,
,S
W
1
3
40
60
2
6
55
36
3
5
45
36
4
3,5
30
15
Оценить
5
1,5 регрессию30S на Y и W. 90
Матричный метод

18.

Оценка параметров линейного уравнения
множественной регрессии
3
6
S 5
3,5
1,5
1
1
X 1
1
1
40 60
a
55 36
45 36 B b1
b2
30 15
30 90
Матричный метод

19.

Оценка параметров линейного уравнения
множественной регрессии
237
5 200
X ' X 200 8450 9150
237 9150 14517
Матричный метод

20.

Оценка параметров линейного уравнения
множественной регрессии
X ' X
1
5,6916 0,1074 0,0252
0,1074
0,0024 0,00024
0,0252 0,00024 0,00033
Матричный метод

21.

Оценка параметров линейного уравнения
множественной регрессии
B X ' X X 'Y
1
ˆ
,2787 00,1229
,1229Y 00,,0294W
S 0 0,2787
Матричный метод

22.

Регрессионная модель в стандартизованном
масштабе
t y 1t x1 2t x2 ... mt xm ,
ty
y y
t y , t x1 , ..., t xm
y
ty txi 0
t xi
xi xi
xi
t y txi 1

23.

Регрессионная модель в стандартизованном
масштабе
t y 1t x1 2t x2 ... mt xm ,
y
bi i
xi
a y b1 x1 b2 x2 ... bm xm

24.

Регрессионная модель в стандартизованном
масштабе
2 rx1x2 3rx1x3 ... m rx1xm ,
ryx1 1
3 rx1x3 ... m rx1xm ,
ryx2 1rx1x2 2
........................................................
ryx 1rx x 2 rx x 3rx x ... m ,
1 m
2 m
3 m
m

25.

Частные уравнения регрессии
A
b
x
ˆi x1x,...,i xxi 11,,...,
yˆ xy
xi 1 ,...,
x
xi m1 , xi 1 ,..., xm
i
i
i
a b1 x1 ... bi 1 xi 1 bi xi bi 1 xi 1 ... bm xm
(i 1,2,..., m)
Ai a b1 x1 ... bi 1 xi 1 bi 1 xi 1 ... bm xm
yˆ xi x1,..., xi 1, xi 1,..., xm a b1 x1 ... bi 1 xi 1 bi xi bi 1 xi 1 ... bm xm

26.

Частные уравнения регрессии
ЭЭy xyx bbi i
ii
xxi i
yˆyxix xx1,...,
x
,
x
,...,
x
,
x
,...
x
,
x
,...,
x
i
1
i
1
i 1 2
i 1 i 1
m m

27.

Частные уравнения регрессии
ryxi x1x2 ... xi 1 xi 1 ... xm
2
1 R yx x ... x ... x
1 2
i
m
1
2
1 R yx
1 x2 ... xi 1 xi 1 ... xm

28.

Частные уравнения регрессии
ryx1 x 2
2
1 R yx1 x 2
1
2
1 ryx2
ryx2 x1
2
1 R yx x
1 2
1
2
1 ryx
1

29.

Частные уравнения регрессии
ryx1 x2
ryx1 ryx2 rx1x2
2
(1 ryx2
2
) (1 rx1x2
ryx2 x1
)
ryx2 ryx1 rx1x2
2
2
(1 ryx1 ) (1 rx1x2 )

30.

Проверка существенности факторов и
показатели качества регрессии
bi
tbi
,
mbi
a
ta
ma
(i 1,2,..., m)
mbi
2
S ост
(X X )
1
ii
(i 0,1,2,..., m)

31.

Проверка существенности факторов и
показатели качества регрессии
H 0 : bi 0
H0 : a 0
t расч tтабл ( ; n m 1)

32.

Проверка существенности факторов и
показатели качества регрессии
bi tтаб mbi bi bi tтаб mbi
a tтаб ma a a tтаб ma

33.

Проверка существенности факторов и
показатели качества регрессии
Fxi
Fx1
2
R yx1... xi 1xi 1... xm
2
1 R yx1x2 ... xm
2
R yx1x2 ... xm
2
2
R yx
r
yx2
1x2
2
1 R yx1x2
(n 3)
Fx2
n m 1
1
2
ryx1
2
1 R yx
1x2
2
R yx1x2
(n 3)

34.

Проверка существенности факторов и
показатели качества регрессии
2
Sост
R yx1x2 ...xm 1
2
Sy
R yx1x2 ...xm max( ryxi ),
(i 1, m)

35.

Проверка существенности факторов и
показатели качества регрессии
y
y
2
ˆ
(
y
y
)
n
1
x1x2 ...xm
2 R
R yx x ...x 1
1
2
1 2
m
y yy) y n m 1
(
2
2
yx1x2 ... xm
x1x2 ... xm
2

36.

Проверка значимости уравнения регрессии
F
2
S факт
2
S ост
F Fтабл
n m 1
2
m
1 R
R
2
k1 m, k 2 (n m 1)