Многомерный регрессионный анализ. Алгоритмов бейесовского оценивания. Теорема о многомерном условном распределении вероятностей

1. 1. Многомерный регрессионный анализ

Основа алгоритмов бейесовского оценивания Теорема о многомерном условном
распределении вероятностей:
Процесс в k векторов с НЗР, разделен на 2 части
k1 (фактор, объясняющая часть) и k2 (отклик,
результирующая часть) (k1 + k2 = k) →
описывается многомерным условным законом
распределении
вероятностей
с
оценками
характеристик известного вида для условного
математического ожидания МО(Y|X) и условной
ковариационной матрицы K(Y|X).
1

2. 1. Многомерный регрессионный анализ

Основные шаги:
1. Расширенная матрица плана Х0 совместная для k1
объясняющих переменных Х и k2 результирующих
переменных Y – они обязательно на последнем месте
x11
x
12
X0
x1n
xk11 y11
xk1 2 y12
xk1n y1n
X nk1
yk2 1
yk2 2
X
yk2 n
Ynk2
Y
2

3. 1. Многомерный регрессионный анализ

2. Из матрицы плана Х0 :
а) вектор средних по столбцам для X → X и Y → Y
б) оценка совместной ковариационной матрицы К0,
которая состоит из блоков
Т
X
1 ц Xц
T
K0 X 0 X 0 n Т
n Yц X ц
X цТYц K XX
Т
Yц Yц KYX
K XY
KYY
где Хц, Yц – вектора, центрированные средним, для
получения ковариационной матрицы. Использование
девиаций Sij (не нормированные величиной п
отклонения от среднего как S вместо К0 ).
3

4. 1. Многомерный регрессионный анализ

3. Характеристики многомерного условного распределения
вероятностей:
– условное математическое ожидание (линейное уравнение
регрессии с многомерным откликом)
1
MO Y | X Yˆ Y KYX K XX
X X
k2 1
k2 1
k2 1
k2 k1
k1 k1
с соответствующими размерностями, т.к.
K XX
k1 k1
K0
k k
YX
K
k2 k1
k1 1
K XY
k1 k2
,
k
k
k
1
2
KYY
k2 k2
Очевидно что вектора средних – столбцы!
4

5. 1. Многомерный регрессионный анализ

Обычно условное математическое ожидание (линейное
уравнение регрессии с многомерным откликом) приводят к
нормальному виду
1
MO Y | X Yˆ Y KYX K XX
X X Y A X X
Y AX AX
где
1
A KYX K XX
Тогда окончательно его нормальный вид с размерами
Yˆ AX Y AX A X B
k2 1
k2 k1 k1 1
k2 1
с вектором свободных членов B Y AX
5

6. 1. Многомерный регрессионный анализ

– условная ковариационная матрица К(Y|X) отклика
(результирующей матрицы переменных Y модели) с
размерностями
1
KY | X KYY KYX K XX
K XY .
k2 k2
k2 k2
k2 k1
k1 k1
k1 k2
Здесь KY | X - матрица оценок точности смоделированных
рядов откликов Y? – по диагонали – дисперсии,
недиагональные – ковариации.
Формулы позволяют решить задачу определения
оптимальных коэффициентов линейного
преобразования одной части в другую с оценкой
точности модели преобразования.
6

7. 1. Многомерный регрессионный анализ

Вариант когда известна обратная ковариационная матрица
K0 1 C0 . 2 основных подхода:
1. Обратить обратную матрицу и использовать полученные
ранее формулы;
2. Воспользоваться теоремой Фробениуса об обращении
блочных матриц
1
T
1
T
1
K
U
M
U
U
M
K XX K XY
1
XX
K0
K 0 C0
1
1
M U
M
KYX KYY
C XX
CYX
Здесь
C XY
CYY
1
1
M KYY KYX K XX
K XY , U KYX K XX
7

8. 1. Многомерный регрессионный анализ

Вспоминаем, что матрица коэффициентов А и матрица оценок KY|X
имеют вид
1
A KYX K XX
1
KY | X KYY KYX K XX
K XY
Рассматривая структуру обратной матрицы С0
1
K XX
U T M 1U U T M 1 C XX C XY
C0
1
1
C
C
M
U
M
YY
YX
1
1
M KYY KYX K XX
K XY , U KYX K XX
не сложно заметить, что для коэффициентов в виде «строки» имеем
1
A U MM 1 U CYY
CYX
а в виде «столбца» соответственно
1
AT U T U T M 1 M CXY CYY
8

9. 1. Многомерный регрессионный анализ

Матрица оценок KY|X
1
KY | X KYY KYX K XX
K XY
из структуры обратной матрицы С0
1
K XX
U T M 1U
C0
1
M
U
U T M 1 C XX
1
M
CYX
C XY
CYY
1
1
M KYY KYX K XX
K XY , U KYX K XX
есть
1
KY | X M CYY
Нюанс нормировки (n и n - k). Целесообразность девиационной
матрицы S. Формулы этого вида используются часто.
9

10. 1. Многомерный регрессионный анализ

Формулы получают исходя из следующих соображений:
- Для всего процесса с k рядами получают многомерный закон
распределения f(Y, X) (совместный для набора X из k1 рядов и Y из
k2 рядов)
-Получаем многомерный закон распределения f(Х) для набора X
из k1 факторных переменных.
-По теореме Байеса условный закон распределения f(Y|X) для Y
при фиксированных (измеренных) рядах X получаем как
f (Y , X )
f (Y | X )
f (X )
Новый закон распределения f(Y|X) имеет главные характеристики:
условное математическое ожидание МО(Y|X)
и условную
ковариационную матрицу KY|X.
10

11. 1. Многомерный регрессионный анализ

Основные частные случаи теоремы:
1. 1 факторная переменная (ряд), 1 результирующая – парный линейный
регрессионный анализ
2. Много факторных переменных, 1 результирующая – многомерный
(многофакторный) линейный регрессионный анализ с одномерным
откликом (1-откликом)
3. Много факторных переменных, много результирующих – многомерный
(многофакторный) линейный регрессионный анализ с многомерным
откликом (n-откликом)
Известная и важная в геодезии задача трансформации систем координат
имеет:
2 факторные, 2 результирующие переменные – 2-факторный линейный
регрессионный анализ с 2-откликом.
Расчет по девиатам. Девиационная матрица. Коэффициенты – по
условному математическому ожиданию, целевую функцию vTv – по
условной ковариационной матрице
11

12. 1. Многомерный регрессионный анализ

1 вариант: – 1 фактор, 1 отклик:
Характеристики одномерного условного закона распределения
для 1-отклика MO(y|x) = f(x) для процесса с факторной
переменной х и результирующей переменной у на последнем
месте (х у): имеется выборочная ковариационная матрица
k xx
K0
k yx
k xy Dx
cov( x, y ) - элементы числа,
k yy cov( x, y )
Dy
Понадобится обратная ковариационная матрица С0
K
1
0
cxx
C0
c yx
1
cxy
1 Dx
c yy 1 rxy2 rxy
x y
rxy
x y
1
Dy
12

13. 1. Многомерный регрессионный анализ

– условное математическое ожидание ( и она же линейная
форма парной регрессии)
MO y | x y? y k yx k xx 1 x x
y
cov( x, y )
y
x x y
x x y rxy x x
k xx
Dx
x
k yx
y a x x
или в нормальном виде
yˆ y a x x a x y ax a x d
с
?y
cov( y, x)
a
rxy
, d y a x
?x
Dx
13

14. 1. Многомерный регрессионный анализ

– условная дисперсия (ковариационная матрица для 1 ряда,
дисперсия модели)
K y| x
2
cov ( x, y )
D y | x ? k yy k yx k k xy Dy
Dx
Dy
2
0
rxy2 Dx Dy
Dx
1
xx
Dy 1 rxy2
Проблема нормировки: что получим умножают на
n
t
n 2
т.к. два определяемых коэффициента. Если матрица девиат S,
то что получат (это [v2]) делят на (n - 2).
14

15. 1. Многомерный регрессионный анализ

Вычисления через прямую К0 и обратную С0
ковариационные матрицы:
- прямая
cov( x, y )
k xx k xy Dx
K0
Dy
k yx k yy cov( x, y )
коэффициенты регрессии
a k yx k
1
xx
дисперсия модели
k yx
k xx
, d y a x
k xy2
det( K 0 )
D y | x ? k yy k yx k k xy k yy
k xx
k xx
2
0
1
xx
Не забыть нормировку t.
15

16. 1. Многомерный регрессионный анализ

- обратная
1
cxx cxy
1 Dx
1
K 0 C0
2
c
c
1
r
yy
xy rxy
yx
x y
коэффициенты регрессии
a cxy c
1
yy
дисперсия модели
cxy
c yy
rxy
x y
1
Dy
, d y a x
1
D y | x ?02 cyy
Не забыть нормировку t. Трудоемка точность коэффициентов.
16

17. 1. Многомерный регрессионный анализ

2 вариант: 1 отклик, n факторов
Теорема о характеристиках многомерного условного
закона
распределения
для
1-отклика:
имеется
выборочная ковариационная матрица
K xx
K0
K yx
K xy K xx
K yy k yx
k xy
ky
для процесса с факторными переменными Х = (х1, х2, …,
хk) и результирующей переменной у на последнем месте
(Х у). Закон распределения процесса описывается
условным
многомерным
нормальным
законом
распределения вероятностей характеристиками:
17

18. 1. Многомерный регрессионный анализ

– условным математическим ожиданием (линейной формой
множественной регрессии)
1
ˆ
MO y | x1,...,xn y y k yx K xx x x y a x x
или в нормальном виде
yˆ y a x x a x y ax a x d
Здесь а' – вектор-строка, x и y – столбцы.
– условной дисперсией (дисперсией модели)
или
D y | x1,...,xn ˆ 02 k y k yx K xx 1 kxy .
2
2
ˆ
0 Dy 1 ry|...
18

19. 1. Многомерный регрессионный анализ

Через обратную матрицу С0
1
K XX
U T M 1U
C0
1
M
U
C XX
c yX
c Xy
c y
1 u T u
K
U T M 1 XX
m
M 1
u
m
uT
m
1
m
1
1
m k y k yX K XX
k Xy , u k yX K XX
имеем вектор коэффициентов в виде строки и столбца
c yX
c Xy
T
T
u a
, u a
cy
cy
и дисперсию модели
1
YY
KY | X M C Dy| X
1
cy
2
0
19

20. 1. Многомерный регрессионный анализ

3 случай общий: n факторов, n откликов уже рассмотрен
Нюанс для оценки модели:
1
KY | X KYY KYX K XX
K XY KYY A K XY
Результат – матрица, где по диагонали дисперсии
смоделированных k2 рядов Y. Общая дисперсия – их
сумма, т.е. след матрицы KY|X. Тогда погрешность модели
в общем (среднем) есть
02 Tr ( KY | X )
Соблюдать нормировку, извлекать корень.
20