Классическая линейная модель множественной регрессии. МНК
Постановка задачи регрессионного анализа
Линейная модель множественной регрессии
Геометрическая интерпретация функции регрессии
Классическая линейная модель множественной регрессии (КЛММР)
Методы оценки коэффициентов КЛММР
Метод наименьших квадратов
54.50K
Category: informaticsinformatics

Классическая линейная модель множественной регрессии. МНК. Лекция 2

1. Классическая линейная модель множественной регрессии. МНК

2. Постановка задачи регрессионного анализа

Слайд №1
Постановка задачи регрессионного анализа
Ставится задача на основе выборочных данных, представленных в виде
y1
y
вектора Y 2 , где yi – наблюдаемое значение результативного признака
...
yn
x11 x12 x1k
x22 x 2 k
x
Y для i-го объекта и матрицы X 21
, где xij –
x n1 x n 2 xnk
наблюдаемое значение j-го объясняющего признака для i-го объекта
выборочной совокупности, выявить «зависимость» результативного
показателя Y от факторных (объясняющих) признаков X 1 , X 2 ,..., X k .
Функция f Y ( X 1 , X 2 ,..., X k ) , описывающая зависимость условного
среднего значения результативного признака Y от заданных значений
факторных признаков X 1 , X 2 ,..., X k , называется функцией (уравнением)
регрессии, т.е. f Y ( X 1 , X 2 ,..., X k ) МY / X 1 , X 2 ,..., X k .

3. Линейная модель множественной регрессии

Слайд №2
Линейная модель множественной регрессии
~
f Y ( X 1 , X 2 ,..., X k ) Y 0 1 X 1 ... k X k ,
где 0 , 1 ,..., k – коэффициенты линейного уравнения регрессии.
Система линейных уравнений yi 0 1 xi1 2 xi2 ... k xik i ,
где i – регрессионный остаток, характеризующий расхождение
между наблюдаемым значением y i и «осредненным» значением ~
yi ,
i 1, n ;
или
Y X , ( 0 ,..., k ) , ( 1 ,..., n ) T ,
1 x11 x12 x1k
1 x21 x22 x2k
X
1 xn1 x n 2 xnk
называется линейной моделью множественной регрессии.

4. Геометрическая интерпретация функции регрессии

Слайд №3
Геометрическая интерпретация функции регрессии
y
~
y 0 1x1
yi
ei
~y
i
xi1
x

5. Классическая линейная модель множественной регрессии (КЛММР)

Слайд №4
Линейная
модель
множественной
регрессии,
удовлетворяющая следующим пяти требованиям, называется
классической линейной моделью множественной регрессии.
Условия Гаусса–Маркова
1) X 1 , X 2 ,..., X k – детерминированные переменные;
2) ранг матрицы Х равен k+1 – среди признаков нет линейно
зависимых;
3) M i 0 , i 1, n – нет систематических ошибок в измерении Y;
4) D i M i2 2 , i 1, n – гомоскедастичность регрессионных
остатков (равноточные измерения);
5) cov( i , j ) M ( i j ) 0 – условие некоррелированности
регрессионных остатков, i j , i 1, n , j 1, n .

6. Методы оценки коэффициентов КЛММР

Слайд №5
Методы оценки коэффициентов КЛММР
1. Минимума отклонения наблюдаемых значений
результативного признака от значений, полученных
n
по функции регрессии:
i 1
( yi ~
yi ) min .
2.
Минимум
сумму
абсолютных
величин
отклонения значений результативного признака от
значений, полученных по функции регрессии:
n
i 1
/ yi ~
y i / min .
3. Минимум суммы квадратов отклонений
наблюденных значений yi от "значений" функции
регрессии:
n
i 1
( yi ~
y i ) 2 min .
Критерий
положен
в
основу метода наименьших квадратов.
4. Метод максимального правдоподобия, который
может быть применен в тех случаях, когда с
точностью до неизвестных значений параметров
известен
общий
вид
закона
распределения
вероятностей имеющихся выборочных данных.

7. Метод наименьших квадратов

Слайд №6
n
F ( y i b0 b1 x i1 b2 x i 2 ... bk x in ) 2 (Y X b ) T (Y X b )
i 1
Y T Y b T X T Y Y T X b b T X T X b Y T Y 2b T X T Y b T X T X b min
2 X T Xb 2 X T Y 0
В силу предположения о справедливости условий ГауссаМаркова, в частности (Х=k+1), матрица ХТХ – не вырождена и
получим МНК - оценки для вектора :
bМНК b ( X T X ) 1 X T Y
оценка уравнения регрессии:
yˆ b0 b1 x1 b2 x 2 ... bk x k
( Sb 0 )
( sb1 )
( Sb 2 )
( Sbk )
English     Русский Rules