Использование математических методов в процессе массовой оценки прогнозирования корреляционнорегрессионого анализа. (Тема 6)

1. Тема 6 Использование математических методов процессе массовой оценки

6.1 Сущность и виды прогнозирования
6.2 Прогнозирование с помощью методов
экстраполяции
6.3 Сущность и цели корреляционнорегрессионого анализа (КРА)
6.4 Методика проведения КРА

2. 6.1 Сущность и виды прогнозирования

Основные понятия:
• Сущность прогнозирования
• Виды прогнозов

3. 6.2 Прогнозирование с помощью методов экстраполяции

Основные понятия:
• Установление цели и задачи исследования,
анализ объекта прогнозирования
• Подготовка исходных данных
• Фильтрация исходного временного ряда
• Логический отбор видов аппроксимирующей
функции
• Оценка математической модели
прогнозирования
• Выбор математической модели
прогнозирования

4. 1. Установление цели и задачи исследования, анализ объекта прогнозирования

• Анализ зависимости рассматриваемого
объекта (параметра, показателя) от других
систем одного уровня и субсистемы (системы
более высшего уровня);
• взаимосвязи между данным объектом и
другими объектами системы;
• установления характера предоставления
статистических данных об объекте.

5. 2. Подготовка исходных данных:

• проверка временного ряда;
• формирование массива функций.

6. 3. Фильтрация исходного временного ряда (сглаживание и выравнивание)

1
y 0 y 1 y 0 y 1
3
y 1
1
5 y 1 2 y 0 y 1
6
y 1
1
y 1 2 y 0 y 1
6
(1)
(2)
(3)
где y0 , y 0 - значения исходной и сглаженной функции в средней
точке группы;
- значение исходной и сглаженной функции в левой точке
y 1 , y 1группы;
y 1 , y 1 - значения исходной и сглаженной функции в правой точке
группы.

7. Сглаживание по 5 точкам

1
y 0 y 2 y 1 y0 y 1 y 2
5
y 1
1
4 y 2 3 y 1 2 y 0 y 1 ;
10
y 1
1
y 1 2 y0 3 y 1 4 y 2
10
y 2
y 2
1
3y 2 2 y0 y 1 y 2
5
1
y 2 y0 2 y 1 3 y 2
5
(4)
(5)
(6)
(7)
(8)

8. Выравнивание (логарифмирование или замена переменных)

где
a, b
t
y f t ,a,b
(9)
- время,
- параметры
Y a1T b0
(10)

9. Пример 1

Исходная функция
y at
b
Логарифмируя, получим lg y lg a b lg t
Вводя замену переменных, имеем:
T lg t Y lg y
где
a1 b
b1 lg a
Y a1T b1

10. 4. Логический отбор видов аппроксимирующей функции

а) является ли исследуемый показатель величиной
монотонно возрастающей (убывающей), стабильной,
периодической, имеющей один или несколько
экстремумов;
б) ограничен ли показатель сверху или снизу какимлибо пределом;
в) имеет ли функция, определяющая процесс, точку
перегиба;
г) обладает ли анализируемая функция свойством
симметричности;
д) имеет ли процесс четкое ограничение развития во
времени.

11. Виды используемых полиномов

n
y t a0 ai t
i
(11)
i 1
i
y t exp a ai t
i 1
n
(12)
n
1
y t a0
i
i 1 ai t
(13)

12.

y t a bt
y t a bt ct
y t at
(14)
2
b
(16)
y t a exp bt
y t k ae
b
y t a
c t
k
y t
1 b e et
(15)
bt
(17)
(18)
(19)
(20)

13.

5. Оценка
математической
модели
прогнозирования
Метод
наименьших
квадратов (МНК)
Метод
экспоненциального
сглаживания

14. Метод наименьших квадратов

n
S y i yi min
2
i 1
где y i - расчетные (теоретические) значения
исходного ряда;
yi - фактические значения исходного ряда;
n - число наблюдений

15.

n
S i y i yi min
2
i 1
i 1

16. Метод экспоненциального сглаживания

y
W
1,0
0,5
wi e ti
t0-m
t0-2 t0-1 t0
tn
Рис. 1. Коэффициент экспоненциального сглаживания
t

17.

bp
b2 2
p
yt b0 b1 t t ... t t
2!
p!
где b0 , b1 , b2 ,...,bp
p
t
k
j! t
j 0
- порядок полинома;
- случайная ошибка.
n
i 0
- параметр
сглаживания
bj
- коэффициенты;
k 1
S t ( y ) α 1 α S t 1
где
p
t
y
j
t

18. Формула Брауна

k
k
k 1
St y St
y 1 S t 1 y
Начальные условия
1
2
k
S ,S ,S
0
0
0

19. Формула Брауна-Мейера

ˆ α(1 α)
b
p
k
p
p
j ( p 1 j )!
S t ( y ) ( 1)
j (1 α)
,
p! (k - 1)! j 0
j!
p 0
n
p 12
, ,..., n 1
;
где
b
- оценки коэффициентов.

20.

Линейная модель
Брауна
yt b0 b1 t t
Начальные приближения для случая линейного тренда равны
1
1
S 0 y b0
b1
2 1
2
S 0 y b0
b1
;
(27)
(28)

21.

1
1
S t y yt 1 S t 1 y
;
(29)
2
2
1
S t y S t 1 S t 1 y
Оценки коэффициентов линейного тренда
1
2
b0 2St y St y
;
1
2
b1
St y St y
1
.
(31)
(32)

22.

Прогноз на
t
шагов (на время l ) равен
yt b 0 b 1t
Ошибка прогноза
t
2
2 2
1
4
1
5
1
2
4
3
t
2
t
3
2

23.

Оценка
2
N 1
n

24.

2
x
1
2
1 4 5
2
2 1 3 2
2
3
2
где 1
- период прогноза;
- среднеквадратическая ошибка аппроксимации исходного
динамического ряда.

25. Пример

Год
t
yt
2007
2008
2009
2010
1
2
3
4
40
43
46
48
55
yt
50
45
40
35
0
1
2
3
4
5
t

26.

Год
Период
времени
Фактическое
значение
yt
Расчетные значения
t
2
t yt
y 37,5 2,7 t
y y yt
2007
1
40
1
40
40,2
0,2
2008
2
43
4
86
42,9
-0,1
2009
3
46
9
138
45,6
-0,4
2010
4
48
16
192
48,3
0,3
Итого
10
177
30
456
-
-
y a0 a1 t

27.

n
D0
ti
ti
2
ti
4 10
120 100 20 ;
10 30
yi t i
D1
2
yi t i t i
n
D2
ti
yi
ti yi
177 10
456 30
750 ;
4 177
54 ;
10 456

28.

D1 750
a0
37,5 ;
D0 20
D2 54
a1
2,7
D0 20
y 37,5 2,7 t
Прогноз на 2011
У = 37,5 + 2,7*5= 51

29. Основная ошибка

2
2
0,2 01
, 0,4 0,3
t
0,3
3
2
2

30. Параметр сглаживания

2
2
0,4
N 1 4 1
1 0,4
1
S 0 37,5
2,7 33,45 ;
0,4
2 1 0,4
2
S 0 37,5
2,7 29,4
0,4

31. Для вычислим экспоненциальные средние и коэффициенты

Для t 2 вычислим
экспоненциальные средние и
коэффициенты
1
S 2 0,4 40 0,6 33,45 36 ;
2
S2 0,4 36 0,6 29,4 32 ;
a0 2 36 32 40,
0, 4
a1
36 32 2, 6;
1 0, 4

32.

*
y2
40 2,6 1 42,6 ;
*
y2
42,6 43 0,4 .

33.

Год
Расчетные значения
Период
времени
t
Фактическое
значение Yt
2007
1
40
2008
2
43
36
32
40
2,6
42,6
-0,4
2009
3
46
38,6
34,6
42,6
2,7
45,3
-0,7
2010
4
48
41,6
37,4
45,8
2,8
48,6
0,6
2011
1
-
44,2
40,1
48,3
2,7
51
-
2 a
1
0
St S t
a 1
* y* y* y
t
t
yt
yt 48 ,3 2 ,7
=1, 2, ...

34. Ошибка прогноза

y*
0,4
2
2
0,3
1
4
0
,
6
50
0
,
6
0
,
8
2
,
8
1
0
,
32
1
0,3 0,87 0,46
3
1,6

35. 6. Выбор математической модели прогнозирования

Качество модели
Адекватность
Точность

36.

Адекватность
Независимость уровней
Случайность уровней
Соответствие нормальному закону
распределения
Равенство нулю средней ошибки

37. Независимость уровней. Критерий Дарбина-Уотсона

n
d
yi ; yi 1
yтi ; yтi 1
n
yi yтi yi 1 yтi 1
2
i 2
n
yi yт i
2
i 1
уровни фактического динамического ряда
теоретические (прогнозные) уровни динамического ряда
- объем
выборки.

38.

dв d 4 dв
0 d dн
3. dн d dв и
4 dв d 4 dн
4 dн d 4
принимается гипотеза:
автокорреляция отсутствует;
принимается гипотеза о
существовании положительной
автокорреляции остатков;
при выбранном уровне значимости
нельзя прийти к определенному
выводу;
принимается
гипотеза
о
существовании
отрицательной
автокорреляции остатков.

39.

где
d
d
ra 1
2
- статистика ДарбинаУотсона.
ra raт

40. Случайность уровней

2n 1
29
K
2 16n
3
90

41. Соответствие нормальному закону распределения

1
3
Аc yi yт i
n i 1
n
1 n
4
Эk yi yт i
n i 1
1
2
yi yтi
n i 1
n
2
3
1
2
yi yтi 3
n i 1
n

42. Фактические и прогнозные значения показателя

Q
Показатель
Y-эмп.
Y-прогнозн.
Y-теор.
2003
2004
2005
2006
2007
2008
2009
2010
Фактические и прогнозные значения показателя
2011
t

43.

6 n 2
Sa
n 1 n 3
Sэ
24 n n 2 n 3
n 1 n 3 n 5
2

44.

Ac 15
, Sa
Эk 15
, Sэ
Ac 2S a Эk 2S э

45.

RS E max E min S
где
Emax
Emin
S
-
максимальный
уровень
ряда
остатков (
yi yтi ),
i 1, n
yi yтi), i 1, n
- минимальный уровень ряда остатков (
среднеквадратическое
остатков.
отклонение

46. t –критерий Стьюдента

n
1
n
t p yi yтi
n i 1
S
f1 n 1

47.

Точность
Оценка стандартной ошибки
Средняя относительная ошибка
Среднее линейное отклонение
Ширина доверительного интервала

48. Оценка стандартной ошибки

n
S1, f x
yi f x i
i 1
2
n p
n - число наблюдений;
p - число определяемых коэффициентов модели

49. Средняя относительная ошибка оценки

yi f x i
1
m
100 %
n i 1 f x i
n

50. Среднее линейное отклонение

n
B
yi f x i
i 1
n n 1

51. Ширина доверительного интервала в точке прогноза

a0 a 0 t p a 0
a1 a 1 t p a 1
V1 n m 1

52. Стандартные ошибки коэффициентов регрессии

a 0
a 1
2
n
n
2
xi x
i 1
2

53. Несмещенная оценка дисперсии случайной составляющей

n
;
2
- фактические значения динамических
рядов
и y
yтi - теоретическое значение, рассчитанное
по уравнению регрессии;
x i , yi
.
1
2
y
y
i
тi
n 2 i 1
x
x
x
- среднее значение фактора

54.

в
Верхняя Y
в
и нижняя
f a
Y f
Y
в
a0 ;
в
a1 ;
xn
н
Y
н
границы
доверительного
интервала в точке
прогноза
;
; x ,
в
в
a0 ; a1 ; xn
н
н
0 ; a1
n
н
a0 - верхнее и нижнее значения параметра
a0
модели прогноза;
н
a1 - верхнее и нижнее значение параметра1
- модели прогноза;
a
- значение фактора времени в точке прогноз
в
Y Y
н

55. 6.3 Сущность и цели корреляционно-регрессионого анализа (КРА)

Основные понятия:
• Зависимости
• Регрессия
• Корреляция
• Задачи анализа
• Уравнение регрессии
• Дисперсия
• Ковариация

56.

Виды зависимости
Функциональная
Стохастическая

57. Виды регрессий

По числу переменных
По форме зависимости
Простая
Линейная
Множественная
Нелинейная
По характеру регрессии
Положительная
Отрицательная
По типу соединения явлений
Непосредственная
Косвенная
Ложная

58. Задачи регрессионного анализа

1. Установление формы зависимости.
2. Определение функции регрессии и
установление влияния факторов на
зависимую переменную.
3. Оценка неизвестных значений
переменой (экстраполяция и
интерполяция).

59. Виды корреляции

По числу переменных
По типу соединения явлений
Простая
Непосредственная
Множественная
Косвенная
Частная
Ложная
По характеру
По форме связи
Положительная
Отрицательная
Линейная
Нелинейная

60. Задачи корреляционного анализа

1. Измерение степени связности
(тесноты, силы).
2. Отбор факторов, оказывающих
существенное влияние.
3. Обнаружение неизвестных причинных
связей.

61. Основные понятия КРА

n
Среднее значение переменной
x
xi
i 1
n
n
Дисперсия
2
x
xi x
i 1
n 1
2

62.

Ковариация:
n
Cov xy xi x yi y
i 1
Коэффициент корреляции:
.
rx y
n
x i x yi y
i 1
n
n
x i x yi y
i 1
2
i 1
2

63.

Коэффициент множественной
корреляции
R 1
2
ост
2
общ
n
Общая дисперсия
2
общ
yi y
i 1
n 1
n
Остаточная дисперсия
2
ост
2
yi yiт
i 1
n 1
2

64.

Коэффициент детерминации
Д 1
0 Д 1
Стандартная ошибка оценки равна
2
ост
2
ост
2
общ

65.

Корреляционное отношение
n
yiт y
i 1
n
yi y
i 1
2
2

66. 6.4 Методика проведения КРА

Основные понятия:
Исходные предпосылки
Свойства исходных данных
1. Априорное исследование экономической проблемы.
2. Формирование перечня факторов и их логический
анализ.
3. Сбор исходных данных и их первичная обработка.
4. Спецификация функции регрессии.
5. Оценка функции регрессии.
6. Отбор главных факторов.
7. Проверка адекватности модели.
8. Экономическая интерпретация.
9. Прогнозирование неизвестных значений зависимой
переменной

67. Исходные предпосылки

• При нахождении оценок переменной предполагается
существование зависимости переменной только от
тех объясняющих переменных, которые вошли в
модель (регрессию).
• влияние неучтенных факторов постоянно
• Отсутствует автокорреляция между возмущающими
переменными
• Число наблюдений должно превышать число
параметров регрессии
• Предполагается односторонняя зависимость
переменной от факторов
• Зависимая переменная и факторы распределены
нормально

68. Свойства данных оценки параметров регрессии

Несмещенность
Состоятельность
Эффективность
Достаточность

69.

Виды исходной
информации
Динамические
(временные)
ряды
Пространственная
информация
Сменнаятабличная форма

70.

nmin 5 m n 5 3 1 20

71.

rij 0,70 0,80
Отрицательное воздействие мультиколлинеарности:
1.
Усложняется процедура выбора главных
факторов.
2.
Искажается смысл коэффициента
множественной корреляции (он предполагает
независимость факторов).
3.
Усложняются вычисления при построении
самой модели.
4.
Снижается точность оценки параметров
регрессии, искажается оценка дисперсии.

72.

Д R
m
Д d yj
j 1
dyj
2
ryj
2

73.

m
M Д dyj
j 1
ryj 0,70

74.

Отбор главных факторов
1. Анализ на
мультиколлинеарность
2. Анализ тесноты
взаимосвязи Х и У
3. Анализ коэффициентов
факторов
4. Проверка
коэффициентов на
статистическую значимость
5. Анализ факторов на
управляемость
6. Строится новая
регрессионная модель
Критерий Стьюдента
Критерий Фишера
7. Исследование
целесообразности
исключения факторов

75.

rxi y =0

76.

k a k
где
k
- коэффициент
xk
y
k
-го фактора;
xk - среднеквадратическое отклонение к- го фактора;
y
ak
- среднеквадратическое отклонение функци
- коэффициент регрессии при К-ом факторе

77.

ak
tk
S ak
f n m 1
t k t f ,
t k t f ,

78.

ak
Fk
S ak
2
2
t
f1 1, f2 n m 1
Fk F f1 f 2
Fk F f1 f 2

79.

Д
F
m
Д m1 n m 1
m m1 1 Д m
f1 m m1 m2
F F f1 f 2
f2 n m 1
F F f1 f 2

80.

Проверка
адекватности
Оценка
значимости
коэффициента
детерминации
Проверка
качества подбора
уравнения
Вычисление
специальных
показателей

81.

Д n m 1
F
m 1 Д
Д R
f1 m
и
2
f2 n m 1
F F f1 f 2

82.

yi yiт
1
Е
100 %
n i 1 yiт
n

83.

xk
Э k ak
y
gi
2
j
m
s R
2
j 1
2
j