Similar presentations:
Логические основы модели Раша
1. Логические основы модели Раша
План лекции1. Модель Раша – ключевой аспект
теории измерения латентных переменных
2. История построения модели
3. Формальные предпосылки построения
модели
4. Логические основы построения модели
30.03.2017
Измерение компетенций и качества
образования
1
2. Латентная переменная
это конструкт (теоретический), которыйпредставляет интерес для исследователя
30.03.2017
Измерение компетенций и качества
образования
2
3. Расположение индивидов и тестовых заданий на линейном континууме
30.03.20172
1
2
1
2
1
2
1
2
1
Измерение компетенций и качества
образования
3
4. Нелинейность тестового балла
30.03.2017Измерение компетенций и качества
образования
4
5. Вместо обоснования модели …
«логистическая модель используется наиболее широко, таккак она специально предназначена для тестов» [Дружинин В.К.,
с. 193];
«… у G. Rasch возникла идея выразить вероятность
правильного ответа на задание посредством так называемой
логистической функции» [Аванесов В.С., с. 182];
«Простейшая модель вероятности успеха … предложена
датским математиком Рашем» [Нейман Ю.М., Хлебников В.А., с.
12] и др.
«G. Rasch удалось предложить удачную форму связи между
параметрами» [Челышкова М.Б. (2001), с. 61] и др.
30.03.2017
Измерение компетенций и качества
образования
5
6. Первое применение модели Раша - измерение прогресса школьников в чтении
Ключевые требования:- при каждом тестировании должны
использоваться различные тексты (тесты);
- тексты должны соответствовать уровню
подготовленности испытуемого – они должны быть
ни слишком трудными, ни слишком легкими;
- оценки подготовленности должны измеряться
на одной и той же шкале.
В качестве статистики выбрано число ошибок
при чтении.
30.03.2017
Измерение компетенций и качества
образования
6
7. Схема назначения текстов в тесте (по возрастающей трудности)
Возраст/тест
7
8
9
10
1
2
+-
++-
3
4
6
7
+-
+-
++-
11
++-
12
30.03.2017
5
++-
Измерение компетенций и качества
образования
+7
8. Ожидаемые результаты при назначении тестов с возрастающей трудностью
Возраст/тест1
2
3
4
5
6
7
7
+-
+-
--
--
--
--
--
8
++
+-
+-
--
--
--
--
9
++
++
+-
+-
--
--
--
10
++
++
++
+-
+-
--
--
11
++
++
++
++
+-
+-
--
12
++
++
++
++
++
+-
+-
30.03.2017
Измерение компетенций и качества
образования
8
9. Гипотеза Георга Раша
В качестве гипотезы (на основемногочисленных данных и диаграмм) Георг Раш
предположил, что среднее число ошибок можно
представить в виде
Ave x pt
Dt
Bp
где Ave[xpt] среднее число ошибок, которое сделает
p-ый школьник с уровнем подготовленности Bp при
чтении t-ого текста с трудностью Dt.
30.03.2017
Измерение компетенций и качества
образования
9
10. Сравнение двух тестов по трудности
В качестве примера сравним по трудности тест 1 и тест 2,которые были пройдены p-ым испытуемым.
x p1
x p2
D1 D2 D1
:
B p B p D2
Оказалось, что сравнение двух тестов по трудности не
зависит от уровня подготовленности испытуемых,
которые их прошли.
30.03.2017
Измерение компетенций и качества
образования
10
11. Обобщение Георга Раша
Некоторый текст может быть выбран какстандарт, и затем различные тексты можно
откалибровать относительно этого стандарта.
Испытуемым можно дать любойD из
текстов для чтения, и их уровень подготовки
будет измерен на одной и той же шкале.
Исходя из этого относительные трудности
могут быть выражены в логарифмической шкале:
1
i log Di
30.03.2017
Измерение компетенций и качества
образования
11
12. Формальные предпосылки модели Раша
если i 0 то P x i 1 0.5если i 0 то P x i 1 0.5
если i 0 то P x i 1 0.5
0 P xi 1 1
i
0 e i
e i
0
i 1
1 e
i
e
P x i 1 , i
i
1 e
30.03.2017
Измерение компетенций и качества
образования
12
13. Иллюстрация модели Раша
Индив
ид
ы
Задания
1
1111111….1101
4
0
0,98
2
1111111….1010
3
0
0,95
…
…
2
0
0,88
N
1111110….0100
1
0
0,73
0
0
0,50
30.03.2017
p
i
e
P i
i
1 e
Измерение компетенций и качества
образования
13
14. Отношение шансов на успех l-ого и m-ого студентов
P{ X ij 1 | i , j }e
( i j )
1 e
( i j )
Qij {X ij 0 | i , j } 1
( i j )
e
( i j )
Pij
i j
1
e
e
( i j )
Qij
e
1
( i j )
1 e
30.03.2017
e
e
l j
m j
Измерение компетенций и качества
образования
e
( i j )
1 e
( i j )
e
1
1 e
( i j )
l m
14
15. Вычисление вероятности правильного ответа
еслиe 6 4
e2
7.39
6, i 4, то P x i 1 , i
0.88
6 4
2
1 e
1 e
8.39
i
5
4
3
2
1
0
-1
-2
-3
-4
-5
30.03.2017
Вероятность
Правильного ответа
0,99
0,98
0,95
0,88
0,73
0,50
0,27
0,12
0,05
0,02
0,01
Измерение компетенций и качества
образования
15
16. Предпосылки конструирования модели измерения
При заданных Bν и Di отношение (odds) Bν / Di являетсямультипликативным, вероятность правильного ответа
равна
B / Di
1 B / Di
Для перехода к логарифмически линейной метрике
используется преобразование
ln B
ln Di
или
B
i
e
Di
логлинейная метрика
30.03.2017
B e
или
Di e
Si
мультипликативная метрика
Измерение компетенций и качества
образования
16
17. Логические основы модели Раша
Простейшая модель Раша имеет видi
e
p i
i
1 e
где
pνi – вероятность правильного
испытуемого на i-ое задание;
ответа
ν-го
βν – уровень знаний ν-го испытуемого;
δi – уровень трудности i-го задания.
30.03.2017
Измерение компетенций и качества
образования
17
18. Для иллюстрации – «прыжки в высоту»
n-ый прыгун в высоту пытается «взять»различные высоты (i = 1, 2, …, L).
При «взятии» i-ой высоты возможны три исхода:
- высота взята (xni = 1),
- высота не взята (xni = 0),
- высота пропущена (xni = -).
Попытки n-ого прыгуна преодолеть все L высот
представляются в виде вектора (1, 1, -, 0, 1, …, 0), где
«1» обозначает успешную попытку, «0» обозначает
неудачную попытку, а «-» обозначает то, что прыгун
пропустил данную высоту.
30.03.2017
Измерение компетенций и качества
образования
18
19. Сравнение прыгунов и прогноз
Общее число успехов n-ого прыгунаRn = xni
При использовании этой статистики для
сравнения прыгунов необходимо, чтобы все они
пытались преодолеть один и тот же набор высот.
Однако с помощью этой статистики нельзя
получить прогноз на будущее.
Для прогнозирования необходимо знать
вероятность того, что в следующий раз n-ый
прыгун возьмет i-ую высоту.
30.03.2017
Измерение компетенций и качества
образования
19
20. Число успешных исходов – достаточная статистика
Число успешных исходов Rn являетсяконкретной и вместе с тем ограниченной
информацией.
Вероятность является абстрактной и вместе с
тем принципиально необходимой информацией для
прогноза. Это очень важный аспект, потому что
прогноз – это одна из важнейших задач науки.
В исходной матрице могут быть пропуски,
однако в матрице ожиданий пропусков нет – для всех
ni-ых комбинаций вычисляется вероятность
успешной попытки.
30.03.2017
Измерение компетенций и качества
образования
20
21. Исходы попыток преодоления i-ой высоты двумя прыгунами
n-ый прыгунВозможные исходы
взятия высоты у обоих
прыгунов
m-ый
прыгун
30.03.2017
Высота
взята
xni = 1
Высота не
взята
xni = 0
Высота взята
xmi = 1
Pmi Pni
Pmi (1-Pni)
Высота не
взята
xmi = 0
(1-Pmi) Pni
(1-Pmi) (1-Pni)
Измерение компетенций и качества
образования
21
22. Обозначения числа успешных прыжков
N11-число успешных прыжков у обоихпрыгунов
N10-число прыжков успешных у m-ого прыгуна
и неуспешных у n-ого прыгуна
N01-число прыжков успешных у n-ого прыгуна
и неуспешных у m-ого прыгуна
N00-число неуспешных прыжков у обоих
прыгунов
30.03.2017
Измерение компетенций и качества
образования
22
23. Информативность исходов попыток преодоления i-ой высоты
Числа N11 и N00 бесполезны для целей сравнения.Информативными являются только исходы, когда
один из прыгунов не берет высоту, а другой прыгун
берет, т.е. информативны для целей сравнения только
числа N10 и N01.
Обозначим через Pni вероятность того, что n-ый
прыгун возьмет i-ую высоту, тогда (1-Pni) –
вероятность того, что этот прыгун не возьмет эту
высоту. Аналогичные обозначения – для
m-ого
прыгуна.
30.03.2017
Измерение компетенций и качества
образования
23
24. Разность или отношение?
СтатистикаA
Ситуация
B
C
D
Число «побед» mого прыгуна
N10
9
90
9000
5004
Число «побед» nого прыгуна
N01
1
10
1000
4996
Разность
N10 - N01
8
80
8000
8
Отношение
N10 / N01
9
9
9
1
30.03.2017
Измерение компетенций и качества
образования
24
25. Статистики «отношение» и «разность»
N10 – это число прыжков, в которых «победа»на стороне m-ого прыгуна;
N01 – это число прыжков, в которых «победа»
на стороне n-ого прыгуна.
Сравнение этих двух прыгунов по уровню их
подготовленности отражает статистика
(N10 / N01), а не статистика (N10 - N01).
30.03.2017
Измерение компетенций и качества
образования
25
26. Сравнение m-ого и n-ого прыгунов по исходам взятия i-ой высоты
N10 Pmi (1 Pni )N 01 Pni (1 Pmi )
30.03.2017
Измерение компетенций и качества
образования
26
27. Сравнение m-ого и n-ого прыгунов по исходам взятия любых высот
Естественно предположить, чтосоотношение в уровне подготовленности
прыгунов не должно зависеть от «штурмуемой»
высоты.
Математически это можно записать так,
что для всех i и j
Pmj (1 Pnj )
Pmi (1 Pni )
Pni (1 Pmi )
Pnj (1 Pmj )
30.03.2017
Измерение компетенций и качества
образования
27
28. Вероятностная модель для n-ого прыгуна
Из предыдущего выражения следует, чтоPni Pnj (1 Pmj ) Pmi
(1 Pni ) (1 Pnj ) Pmj (1 Pmi )
30.03.2017
Измерение компетенций и качества
образования
28
29. Обобщение вероятностной модели для n-ого прыгуна
Для обеспечения объективностинеобходимо, чтобы соотношение между любой
парой высот i и j должно быть справедливо для
любого прыгуна m.
Любой прыгун и любая высота могут
быть выбраны в качестве точки отсчета для
проведения этих сравнений.
Удобно выбрать прыгуна 0 и высоту 0
эквивалентными, т.е. Р00=0,5.
30.03.2017
Измерение компетенций и качества
образования
29
30. Вероятностная модель для n-ого прыгуна
Выбрав прыгуна 0 и высоту 0 как эквивалентные получаемP00 = 0,5. В результате:
Pni Pn 0 P0i (1 P00 ) Pn 0 P0i
(1 Pni ) (1 Pn 0 ) (1 Pni ) P00 (1 Pno ) (1 P0i )
Откуда
Pni
bn
f (n) g (i)
di
(1 Pni )
где f(n) = bn (уровень подготовленности n-ого прыгуна);
g(i) = 1/di (уровень трудности высоты).
30.03.2017
Измерение компетенций и качества
образования
30
31. Условие объективности измерений
Необходимо подчеркнуть, что дляобъективности измерений отношение шансов
для n-ого прыгуна преодолеть i-ую высоту
должно
быть
произведением
уровня
подготовленности прыгуна, выраженного как
f(n) = bn и уровня трудности высоты,
выраженного как g(i) = 1/di. Ничего другого
здесь не требуется.
30.03.2017
Измерение компетенций и качества
образования
31
32. Оценка параметров модели
Отметим, чтоPn 0
bn
1 Pn 0
является исключительно свойством прыгуна n в
выбранной системе отсчета.
P0 i
Точно так же
1
di
(1 P0 i )
является исключительно свойством i-ой высоты
в той же самой системе отсчета.
30.03.2017
Измерение компетенций и качества
образования
32
33. Параметры прыгуна и высоты полностью разделены
В модели измерения параметрыпрыгуна и высоты полностью разделены
Это позволяет оценивать:
- уровень подготовленности прыгуна
независимо от уровня высоты;
- уровень высоты независимо от
уровня подготовленности прыгуна.
30.03.2017
Измерение компетенций и качества
образования
33
34. Диапазон варьирования найденных показателей
Подчеркнем, чтоbn – это отношение вероятностей (odds),
которое
варьируется
от
нуля
до
бесконечности и зависит только от
прыгуна n и выбранной системы отсчета;
di также варьируется от нуля до
бесконечности и зависит только от i-ой
высоты и той же самой выбранной
системы отсчета.
30.03.2017
Измерение компетенций и качества
образования
34
35. Дихотомическая модель Раша
Таким образом, определен способ выявлениясильнейшего прыгуна.
Следующий, важный для практики вопрос –
насколько сильнее? Однако «насколько» это уже
не отношение – это разность.
Прологарифмировав обе части полученного
выше уравнения получаем
Pni
Pn 0
P0i
ln
ln
ln
ln bn ln di
(1 Pni )
(1 Pn 0 )
(1 P0i )
30.03.2017
Измерение компетенций и качества
образования
35
36. Дихотомическая модель Раша
Удобно ввести следующие обозначенияPni
ln
Bn Di
(1 Pni )
Откуда следует, что
Pni
где
30.03.2017
exp Bn Di
1 exp Bn Di
Pn 0
Bn ln
ln bn
1 Pn 0
P0i
Di ln
1 Poi
Измерение компетенций и качества
образования
ln di
36
37. Дихотомическая модель является базовой в семействе моделей Раша
Модель Раша, используемая для представлениярезультатов тестирования, выводится на основе
аналогии с прыгунами, преодолевающими i-ую
высоту. Параметры Bn и Di рассматриваются как
уровень подготовленности испытуемого и
трудность задания соответственно.
Все остальные виды моделей Раша являются
производными от этой дихотомической модели.
30.03.2017
Измерение компетенций и качества
образования
37
38.
Благодарю за внимание!Маслак Анатолий Андреевич,
дтн, проф., проректор по научной работе,
e-mail: [email protected]
Славянский-на-Кубани государственный
педагогический институт
www.sgpi.ru
30.03.2017
Измерение компетенций и качества
образования
38