Корреляционный анализ

1. 1. Корреляционный анализ

Интервальные оценки коэффициента корреляции
-более адекватно отражают реальное положение вещей.
-необходимо знать закон распределения значений
коэффициента корреляции.
r k r r k r
При нормальном распределении
2
1
r
(1
r
)
M (r ) O , M (r ) r
,
2n
n
(1 2 ) 2
1
D(r )
O 3 / 2 .
n
n
1

2. 1. Корреляционный анализ

Интервальная оценка
r u
2
1
r
r u
2
1
r
,
n
n
и – параметр функции Лапласа при заданной
доверительной вероятности
При малом числе п и значениях близких к 1 весьма
грубо отражает реальность.
при = 0: t
r n 2
1 r2
t-распределение Стьюдента с
п –2 степенями свободы
2

3. 1. Корреляционный анализ

Приближение интервальной оценки:
r (1 r 2 )
1 r2
r (1 r 2 )
1 r2
r
r
uq / 2
uq / 2
2n
2n
n
n
Достоинства, недостатки.
3

4. 1. Корреляционный анализ

z-функция Фишера
1 1 r
r = th(z), ->> z ln
2 1 r
Распределение z не зависит от значений и п, при п > 10
быстро сходится к нормальному закону с параметрами
1 1
1
M ( z ) ln
, D( z )
.
2 1 2(n 1)
n 3
4

5. 1. Корреляционный анализ

Доверительный интервал [z1, z2] для математического
ожидания М(z)
uq / 2
1 1 r uq / 2
r
r
z1,2 ln
arcth( z )
2 1 r n 3 2(n 1)
2(
n
1)
n
3
истинное значение коэффициента корреляции с
доверительной вероятностью = 1– q заключено в
пределах
th( z1 ) th( z2 )
Варианты упрощения без смещения.
5

6. 1. Корреляционный анализ

Значимость статистической связи
-сводится к проверке статистической значимости
коэффициента корреляции.
Общий случай: проверяется нулевая гипотеза с какой
либо альтернативной, например
H 0 : R 2 0,
H1 : R 2 0
F-тест Фишера: общий разброс разлагается на
объясненную и не объясненную составляющие
y2 = k2 + e2.
Переход к дисперсиям.
6

7. 1. Корреляционный анализ

F-статистика:
k2
p
F 2
e
m
р = n - 1– число объясняющих переменных (для парной
регрессии 1); m = n - k – число наблюдений без
количества оцениваемых коэффициентов (для парной
регрессии n – 2).
F F ; p ,q - нулевая гипотеза отвергается, R2 значимо
7

8. 1. Корреляционный анализ

Значимость парного выборочного коэффициента
корреляции p = 1, m = n - 2:
r122 y2 (n 2)
k (n 2)
r122 (n 2)
F
2
2
2
e
y (1 r12 )
(1 r122 )
2
р = 1, то F = t2:
F t r12
(n 2)
1 r2
если t t ,q , нулевая гипотеза H0 : r = 0 принимается с
доверительной вероятностью .
8

9. 2. Дисперсионный анализ

-значимость влияния факторов;
-выбор наиболее важных факторов;
-оценка их влияния.
Основная идея:
-разложение общей дисперсии случайной величины на
независимые случайные характеризующие слагаемые,
-сравнение этих дисперсий для оценки существенности
влияния факторов на исследуемую величину.
Виды дисперсионного анализа.
9

10. 2. Дисперсионный анализ

Однофакторный дисперсионный анализ
-на результаты эксперимента действует только один
фактор. Отслеживают процесс в m серий по n элементов
в каждой:
Число элементов n
Число
серий m
1
2
…
j
…
n
x
1
x11
x12
…
x1j
…
x1n
x1 j
2
…
i
…
m
x21
…
xi1
…
xm1
x22
…
xi2
…
xm2
…
…
…
…
…
x2j
…
…
…
…
…
…
x2n
…
xin
…
xmn
x2 j
…
xij
…
xmj
…
xmj
10

11. 2. Дисперсионный анализ

Проверим гипотезу о равенстве средних i в серии с
нулевой гипотезой
H 0 : 1 2 ... i ... m
сравнением внутрисерийных и общей дисперсий по Fкритерию.
-расхождение незначительно, то нулевая гипотеза
принимается.
- расхождение значительно, значит значительно действие
исследуемого фактора.
11

12. 2. Дисперсионный анализ

Для этого:
-Найдем сумму квадратов отклонений всех элементов от
общего среднего Q;
-Разложим эту величину на девиаты: сумму квадратов
отклонений между сериями (Q1 - рассеиванием по
факторам ) и сумму квадратов отклонений внутри
серии (Q2 - остаточное рассеивание ):
Q = Q1 + Q2
Q1 /(m 1)
F
Q2 / m(n 1)
Сила проявления влияния факторов: если F < Fq гипотеза об отсутствии достаточно сильного влияния
фактора принимается
12