Отчет по апробации теста оценки знаний педагогов среднего образования

1.

Отчет по апробации теста оценки знаний
педагогов среднего образования
Выполнил: А. Қ. Қуандық

2.

План:
1.Введение – Цели и задачи апробации;
2.Описание теста – Структура теста;
3.Результаты и анализ – Основные выводы и статистические
данные;
4.Выявленные проблемы – Слабые места и возможные улучшения;
5.Рекомендации – Предложения по доработке теста;

3.

Цели и задачи апробации
Цели апробации:
Задачи апробации:
Оценка качества тестовых заданий и их соответствия
Проведение тестирования среди педагогов
профессиональным компетенциям педагогов.
Анализ уровня подготовки педагогов по ключевым
направлениям.
среднего образования.
Оценка восприятия теста участниками.
Выявление возможных трудностей и недостатков в
Сбор и анализ полученных результатов.
тестовых заданиях.
Формирование рекомендаций по улучшению
Определение необходимости корректировки теста
содержания и структуры теста.
для повышения его валидности и объективности.

4.

Структура теста для оценки знаний педагогов
Тест состоит из 50 заданий с одним правильным ответом. За каждый
правильный ответ начисляется 1 балл.
Общая максимальная сумма баллов – 50.
Тест предназначен для оценки знаний педагогов в ключевых
областях их профессиональной деятельности.

5.

Классический анализ в программе TAP
Распределение:
Баллы варьируются от 6 до 44.
Большинство респондентов набрали от
35 до 44 баллов.
Пик приходится на 44 балла
(максимальный результат), что
указывает на высокую концентрацию
успешных участников.
Форма распределения:
Сильная асимметрия влево
(левосторонний сдвиг) — большинство
получили высокие баллы.
Мало низких результатов, лишь
несколько участников набрали менее
30 баллов.
Вывод:
Тест лёгкий, большинство участников
показали высокие результаты, но
возможны аномалии в тесте.

6.

Общая информация:
Число участников: 136
Максимальный балл: 50
Минимальный балл: 6 (12%)
Максимальный балл: 44 (88%)
Медианный балл: 41 (82%)
Средний балл: 39,18 (78,4%)
Стандартное отклонение: 5,361
Дисперсия: 28,738
Качество теста:
Средняя сложность вопросов: 0,784 (тест лёгкий)
Индекс дискриминации: 0,195 (слабая
дифференцирующая способность вопросов)
Средний бисериальный коэффициент: 0,236 (низкая
корреляция вопросов с общим баллом)
Надёжность теста (KR20): 0,755 (приемлемая)
Стандартная ошибка измерения (SEM): 2,653
(умеренная точность оценки)
Проблемные вопросы (6 шт.):
Крайне лёгкие (сложность > 0,95): 1 вопрос
Крайне сложные (сложность < 0,20): 0 вопросов
Слабая дискриминация (D < 0,10): 3 вопроса
Низкая корреляция (AdjPtBiserial <= 0,00): 2 вопроса

7.

Дистракторный анализ в программе Jamovi.
Гистограмма показывает
распределение баллов респондентов.
Баллы: большинство в диапазоне 35–
42, пик на 39–41.
Цвета:
Красные столбцы – 30–39.
Синие – 40–42 (максимум).
Серый – около 40 (средний/пороговый
балл).
Вывод:
Асимметрия влево (мало низких
баллов).
Две группы: 30–39 и 40–42
Средний балл ≈ 40.
В целом, тест несложный, но есть
неожиданные результаты.

8.

Странные тестовые задания
*46/47/48/50

9.

**Анализ графика**
График показывает долю выбора вариантов (Option selection
proportion) в группах по общему баллу (Group by total score).
- Вариант C (синий, пунктир) резко доминирует и увеличивает долю
с ростом группы.
- Остальные варианты (A, B, D, ) остаются на низком уровне,
постепенно уменьшаясь.
- B (красный) стабильно ≈ 0, значит, почти не выбирался.
- При этом КПО тестового задания вариант В(красный).
**И таких аномольных заданий у нас 4 а именно: 46/47/48/50
задании, дальше мы посмотрим в программе Winsteps.**

10.

Анализ результатов тестирования
Основные показатели:
136 испытуемых
•Средний балл: 39.18 (78.4% от максимума).
•Стандартное отклонение: 4.1 (невысокий разброс).
•Максимальный балл: 44 (88%), Минимальный: 21 (42%).
•Средний измеренный уровень (Measure): 1.96 с ошибкой 0.50.
Надёжность и дискриминация:
•Person Reliability (надежность измерений):
◦Реальная надежность: 0.58
◦Модельная надежность: 0.61
◦Cronbach’s Alpha (KR-20): 0.73.
**Тест в целом кажется нормальным, но выявлены аномалии, о которых говорилось ранее**

11.

Анализ лог-файла карты
распределения тестовых заданий
Этот график представляет распределение тестовых
заданий (Items) по шкале измерения
Как видно на карте, у нас в основном
лёгкие задания, но есть и
*непонятные вопросы*.
К непонятным вопросам относятся
ранее выявленные (46, 47, 48, 50), а
также два новых (2 и 16).

12.

Анализ данных по вопросам 2 и 16
Основные наблюдения:
1.Вопрос 2:
◦Правильный ответ: A
◦Неверный ответ: D
◦Статистика:
•135 испытуемых выбрали A (правильный ответ).
•1 испытуемый выбрал D (неверный ответ).
◦Сложность (Measure): 1.98 (очень лёгкий).
◦Дискриминация: 0.30 (слабая).
2.Вопрос 16:
◦Правильный ответ: C
◦Неверный ответ: B
◦Статистика:
•135 испытуемых выбрали C (правильный ответ).
•1 испытуемый выбрал B (неверный ответ).
◦Сложность (Measure): 1.98 (очень лёгкий).
◦Дискриминация: 0.30 (слабая).
Выводы:
•Оба вопроса (2 и 16) являются крайне лёгкими (Measure = 1.98), так как почти
все участники выбрали правильный вариант.
•Низкая дискриминация (0.30) говорит о том, что эти вопросы плохо
различают сильных и слабых испытуемых.
•1 ошибка на 136 респондентов указывает на возможное случайное
отклонение, а не реальную сложность.

13.

Краткий анализ графика ICC (Item
Characteristic Curve) для вопроса I0002 и
I0016
•Красная линия – ожидаемая кривая вероятности
правильного ответа.
•Черные крестики – фактические ответы испытуемых.
•Синяя линия – высокая ошибка измерения при низких
уровнях способности.
•Черная линия – эмпирическая подгонка данных.
Основные выводы:
•Вывод: Вопросы 2 и 16 слишком лёгкие, имеют низкую
дискриминацию и не помогают различать уровень
знаний тестируемых. Рекомендуется пересмотреть
формулировку или заменить их.

14.

Анализ показывает, что сильные участники
выбрали другой вариант, а не указанный
правильный ответ. Это может означать ошибку в
кодировке ответа или наличие двух правильных
вариантов.
Вывод:
- Код правильного ответа может быть задан
неверно в системе, из-за чего участники, зная
правильный ответ, получили ошибку.
- Вопрос может содержать два правдоподобных
правильных ответа, что вызывает путаницу.