335.50K

Categories: $mathematics$ mathematics

economics

Метод найменших квадратів. (Тема 4)

1. Метод найменших квадратів

Тема 4
Метод найменших
квадратів
Лектор: к.е.н., доц., доцент кафедри вищої математики,
економетрії і статистики ДЕМЧИШИН М.Я.
1

2. План

4.1. Суть методу найменших квадратів (МНК).
4.2. Передумови застосування МНК.
4.3. Система нормальних рівнянь.
2

3. 4.1. Суть методу найменших квадратів

y
0
y
x
0
y
x
0
x
Рис. 4.1. Способи знаходження прямих регресії
3

4.

y
0
x
Рис. 4.2. Геометрична інтерпретація методу найменших квадратів
4

5. Суть методу найменших квадратів (МНК)

полягає у знаходженні такої теоретичної лінії
регресії, яка в порівнянні з іншими проходить
найближче до емпіричної лінії регресії,
тобто дає
найменшу суму квадратів відхилень
фактичних значень результативної ознаки від
розрахункових (теоретичних) значень
5

6.

n
2
~
y
y
min
i i
i 1
• де y – емпіричні (вихідні) дані показника
• ỹ– теоретичні (розраховані за рівнянням
регресії)
6

7. 4.2. Передумови застосування МНК

1) Існує лінійний зв’язок між
результуючою змінною у та факторною
змінною x, який описується рівняннями
регресії
y 0 1x
~
y b0 b1 x
7

8.

i j
,
2) Факторна змінна x є детерміністичною (невипадковою) величиною.
3) Математичне сподівання (середнє значення) випадкового вектора дорівнює
нулю, а дисперсія є невеликою постійною додатньою величиною, яка не
залежить від індексу i, тобто
.
E 0
2
2 величинами, тобто для
4) Компоненти вектора є некорельованими
випадковими
D
E
i
i
кожного i
.
i, j 1,2,..., n
5) Часто вважають, що випадкова величина має нормальний закон розподілу з
рівним нулю математичним
і постійною додатньою невеликою
cov i , j сподіванням
0
дисперсією
У даному випадку модель називається класичною нормальною лінійною регресійною
моделлю.
2
•Зауваження. У випадку класичної нормальної лінійної регресійної моделі умова 4
еквівалентна умові статистичної незалежності помилок .
~ N 0,

9. 4.3. Система нормальних рівнянь

Будемо вважати, що зв’язок між ознаками х та
у є лінійним і описується лінійним рівнянням
регресії
y b0 b1 x
(4.3)
де у – результуюча змінна; b0, b1– параметри
рівняння регресії; х – факторна змінна; ε–
випадкова величина.
9

10.

У загальному випадку nарна лінійна регресія є
лінійною функцією мiж залежною змінною У i
однiєю пояснюючою змінною Х:
y b0 b1 x
Це спiввiдношення називається теоретичною
лінійною регресiйною моделлю
b0 i b1 - теоретичні параметри
(теоретичні коефіцієнти) peгpeciї.
10

11.

x1
x2
x3
. . . xn-1
xn
y1
y2
y3
...
yn-1
yn
11

12.

n
n
n
i 1
i 1
i 1
ui ( yi yi ) ( yi b0 b1xi )
n
n
u y
i 1
n
ui
i 1
2
i
i 1
n
n
i
yˆ i yi aˆ0 aˆ1 xi
метод найменших
модулів (МНМ).
i 1
n
( yi yˆi ) ( yi b0 b1 xi )
i 1
2
i 1
2
~
Q y y min
2
метод найменших
квадратів (МНК).
12

13.

y
.
u{
1
u2{ .
.
..
.
.
.
.
.
. u. .
i
0
x1
xi
x
13

14.

n
n
n
i 1
i 1
2
2
ˆ
u
Q
(
b
,
b
)
(
y
y
)
(
y
b
b
x
)
i
i i i 0 1 i min
0 1
2
i 1
Необхідною умовою існування мінімуму неперервно
диференційованої функції двох змінних є рівність нулю її
частинних похідних.
Так як
y
x;
b1
y
xi ;
b1 i
y
1;
b0
y
1;
b0 i
14

15.

n
Q
b 2 yi b1 xi b0 xi 0
i 1
1
n
Q
2 yi b1 xi b0 0
b0
i 1
n
n
n 2
b1 xi b0 xi xi yi ;
i 1
i 1
i 1
n
n
b x b n y
1
i
0
i
i 1
i 1
15

16. Система нормальних рівнянь

b0 n b1 x y
2
b0 x b1 x xy
16