Статистический анализ

1. 4. Статистический анализ

Уравнение регрессии для многомерной однооткликовой
линейной модели y = f(x1,x2,…,xn), → вычисление
основных корреляционных характеристик разными
способами:
-множественный коэффициент корреляции
-частный коэффициент корреляции.
Основа вычислений:
-теорема о характеристиках многомерного условного
закона распределения
- разложение общей дисперсии на составляющие
- использование формулы для парного коэффициента
корреляции после определенного преобразования
данных.
1

2. 4. Статистический анализ

Теорема о характеристиках многомерного условного
закона
распределения
для
1-отклика:
имеется
выборочная ковариационная матрица
K xx
K0
K yx
K xy K xx
K yy k yx
k xy
ky
для процесса с факторными переменными Х = (х1, х2, …,
хk) и результирующей переменной у на последнем месте
(Х у). Закон распределения процесса описывается
условным
многомерным
нормальным
законом
распределения вероятностей характеристиками:
2

3. 4. Статистический анализ

–
условным математическим ожиданием (линейной
формой множественной регрессии)
MO y | x1,...,xn y y k yx K xx 1 x x y a x x
или в нормальном виде
y y a x x a x y ax a x d
– условной дисперсией (дисперсией модели)
D y | x1,...,xn 02 k y k yx K xx 1 kxy .
или
Dy 1 r
2
0
2
y|...
3

4. 4. Статистический анализ

Общую дисперсию Dоб результирующей переменной y при
многомерной 1-откликовой регрессии разлагают на факторную Dф
(объясненную) и остаточную Dос (необъясненную) дисперсии
s0 y y
[( y y ) 2 ] [( y y ) 2 ] [( y y ) 2 ]
Sоб Sос Sф
Dоб = Dос + Dф
Теорем: отношение объясненной части дисперсии Dф к общей
части Dоб есть коэффициент детерминации, или квадрат
множественного коэффициента корреляции
Dô
Dî ñ
R r
1
Dî á
Dî á
2
y
2
y|...
4

5. 4. Статистический анализ

Так как, 02 Dос , Dy Dоб имеем
02 Dy 1 ry2|... Dост Dобщ 1 ry2|...
Сопоставив 02 Dост k y k yx K xx 1 kxy . и Dоб = Dос + Dф
имеем
D D k
îá
y
y
1
Dô k yX K XX
k Xy a k Xy
откуда из
Dф
Dос
R r
1
Dоб
Dоб
простой подстановкой получаем ряд формул для
множественного коэффициента корреляции:
2
y
2
y|...
1
1
1. Dоб k y , Dост ry|... 1
k y cy
сy
5

6. 4. Статистический анализ

2. Из Dî á Dy k y
1
Dô k yX K XX
k Xy
и r
2
y|...
Dô
Dî á
, имеем
ry|...
1
k yX K XX
k Xy
ky
3. Из Dоб Dy k y , имеем
Dф a k Xy
ry|...
a k Xy
ky
6

7. 4. Статистический анализ

4. Из D D k
об
y
y
1
1
Dф k yX K XX
k Xy a k Xy a K XX K XX
k Xy a K XX a T
и r
2
y|...
Dô
Dî á
, имеем
a K XX a T
ry|...
ky
5. Домножив числитель и знаменатель п.4 на числитель
T
a
K
a
получим
XX
r
y|...
k y a K XX a T
Отсюда - множественный коэффициент корреляции между
результирующим признаком у и матрицей факторных
переменных Х - парный коэффициент корреляции Пирсона
между вектором у и его модельным значением y .
7

8. 4. Статистический анализ

Учитывая связь между ковариационной матрицы К и
корреляционной матрицы R, ковариации и корреляции
K D R D; D diag ( K ); R D 1 K D 1
cov( x, y) k xy rxy x y
из второй формулы после перехода от ковариационной
матрицы К к корреляционной R имеем
ry|... r y Ró 1 r Ty
с ry – вектор-строкой из парных коэффициентов корреляции
между у и всеми xi, Ry – укороченной корреляционной матрицей
без результирующего признака.
Выразив в основных формулах ковариации через корреляции,
коэффициенты уравнения регрессии, их комбинации и т.д. можно
получить и ряд других полезных формул.
8

9. 4. Статистический анализ

При вычислении частных коэффициентов корреляции:
-условная дисперсия - преобразованная дисперсия
результирующего признака Dy,
- получена путем учета и исключения влияния на
результирующий признак всех факторных переменных.
-для исключения и учёта в исследуемом процессе влияния
на два любых вектора всех остальных, в ковариационной
матрице они должны быть вместе в конце (или в начале),
- преобразованная часть ковариационной матрицы, в которой
исключено и учтено влияние на 2 последних вектора всех
остальных будет
K22 1 K22 K21 K11 1 K12 D(Y | X )
9

10. 4. Статистический анализ

Теорема: частный коэффициент корреляции между 2
векторами есть парный коэффициент корреляции из
преобразованной части
K22 1 K22 K 21 K11 1 K12
при определенных выше условиях.
Из теоремы легко следует известная формула
rij|...
Cij
Cii C jj
через элементы обратной ковариационной матрицы
C K 1
10

11. 4. Статистический анализ

Вычисления на основе моделирования.
1. Результирующая переменная z смоделирована через
факторную переменную х в виде z1 = f(x) с остаточной
дисперсией D1. Добавив в модель новую факторную
переменную у имеем новую модель z2 = f(x, у) с
остаточной дисперсией D2.
Теорема: частный коэффициент корреляции между z и y
при исключении влияния переменной х будет
rzy|x
D1 D2
D
1 2
D1
D1
т.е. равен относительному изменению дисперсии при
добавлении новой переменной в модель.
11

12. 4. Статистический анализ

Вычисления на основе моделирования.
2. При определении для векторов x, y, z частного
коэффициента корреляции между z и y при исключении
влияния переменной х:
- моделируем парной линейной регрессией ряды у = f (x)
и z = f (x).
-получаем два вектора поправок (остатков) v1 и v2 от
моделирования парной линейной регрессией ряда у = f
(x) и ряда z = f (x).
- парный коэффициент корреляции между рядами
остатков v1 и v2 есть частный коэффициент корреляции
между z и y при исключении влияния переменной х.
12

13. 4. Статистический анализ

Трансформация систем координат
как задача регрессии
Формулировка задачи:
Есть координаты (х, у) для п точек в строй
системе координат Кс и есть координаты (X, Y)
для этих же точек в новой системе Кн. Используя
линейное преобразование старой системы в
новую, получить коэффициенты перехода
(трансформации) старой системы в новую,
отвечающие заданному критерию качества.
13

14. 4. Статистический анализ

Алгебраический вид линейной трансформации для 1 точки
X i a xi b yi c
Y d x e y f
i
i
i
Матричный вид для n точек с отдельным сдвигом
a b X1
X 1 X 2 ... X n
Y1 Y2 ... Yn н d e Y1
К нТ Х К сТ d
X 2 ...
Y2
...
Xn
c
f
Yn
с
а матричный вид для n точек с внутренним сдвигом
X1
Y1
X 2 ...
Y2
...
Xn
a b
Yn
н d e
X1
c
Y1
f
1
X 2 ...
Y2
...
1
...
Xn
Yn
1
c
K нТ Х K с Т
14

15. 4. Статистический анализ

Имеем классическую модель 2-факторной регресии с 2мерным откликом. Моделируется Кн, по стандартному МНК
-модель
KнТ V Х Kс Т
-уравнения поправок (V – матрица)
V Х Kс Т KнТ
-целевая функция
Ф = v′T·v′ = Trace(VT·V) = min
где v′ = vec(VT)
15

16. 4. Статистический анализ

Минимизация Ф приводит к правосторонней
трансформации Гаусса
V Х Kс Т KнТ V Kc Х Kс Т Kc KнТ Kc
или на основе обобщенной (матричной) леммы Гаусса
Т
Т
Х Kс Kc Kн Kc
Х′ N = D,
Решение на основе обращения матрицы N-1 = Q - полная
матрица оценок коэффициентов преобразования Х′
a b
Х
d e
c
D Q
f
16

17. 4. Статистический анализ

Модельные значения
KнТ Х Kс Т
Поправки
Т
Т
Т
Т
V K K Х Kс K н K н K с Q E
Т
н
Т
н
Тогда оценка точности модели
0
2n 6
а коэффициентов
K X 02 Q
с
Q E X X E Q
T
1
17

18. 4. Статистический анализ

Имеем Q размера 3х3 и из
a b
Х
d e
c
D Q
f
Получаем что погрешности для столбцов одинаковы
a = d, b = e, c = f
Поэтому считают только Q , учитывают правило и
K X 02 Q
18

19. 4. Статистический анализ

При решении задачи трансформации на основе условного
математического ожидания для 2-факторной регрессии с 2мерным откликом по общей теореме о характеристиках
многомерного условного нормального закона распределения
имеем для расчета в девиатах общую матрицу плана
K Kc
n 4
Kí
X c1 Yñ1
X í 1 Yí 1
общую блочную ковариационную матрицу
Т
C
T
c Cc
S C C Т
Сн Сс
CcТCн Sсс
Т
Сн Сн Sнс
Sсн
Sнн
с центрированными блоками С
19

20. 4. Статистический анализ

условное математическое ожидание
MO К н | К с К н К н Sнс Sсс 1 К с К с К н Хˆ К с К с
или
Кн Х Кс Кн Х Кс Х Кс D
с искомыми коэффициентами трансформации
1
X
S
S
нс
сс
D Kн Х Kс
20

21. 4. Статистический анализ

Условная ковариационная матрица
СКн |Кс Sнн Sнс Sсс 1 Sсн
след которой равен целевой функции Ф. Оценка модели
0
2n 6
Оценка коэффициентов сложна – минус для метода.
21

22. 4. Статистический анализ

1.
2.
3.
4.
5.
6.
Контрольные вопросы по модулю 4
Многомерная многооткликовая регрессия –
основные положения
Многомерная однооткликовая регрессия –оценка
Гаусса (МНК)
Многомерная однооткликовая регрессия –оценка
Байеса (метод средних)
Многомерная многооткликовая регрессия –
матричный МНК
Получение корреляций на основе регрессии
Задача трансформации и методы её решения
22