Инструменты компьютерного контроля результатов обучения. Классификация, методика разработки, метрология

1. Инструменты компьютерного контроля результатов обучения: классификация, методика разработки, метрология

ИНСТРУМЕНТЫ
КОМПЬЮТЕРНОГО КОНТРОЛЯ
РЕЗУЛЬТАТОВ ОБУЧЕНИЯ:
КЛАССИФИКАЦИЯ, МЕТОДИКА
РАЗРАБОТКИ, МЕТРОЛОГИЯ
Д.т.н. проф. Е.Р. Пантелеев

2. Таксономия результатов обучения

ТАКСОНОМИЯ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ
Знания: способность к идентификации,
сопоставлению и классификации
элементов смысловой структуры
теоретического материала;
Умения: способность осознанно
применять знания для выполнения
простых теоретических и/или
практических действий;
Навыки – умения, доведенные до
автоматизма;
Компетенции: способность к решению
задач в профессиональной сфере на
базе совокупности полученных знаний,
умений и навыков.
Знания
Умения
Навыки
2
Компетенции

3. Результаты обучения, измеримые средствами компьютерного контроля

РЕЗУЛЬТАТЫ ОБУЧЕНИЯ, ИЗМЕРИМЫЕ
СРЕДСТВАМИ КОМПЬЮТЕРНОГО КОНТРОЛЯ
знания, полученные в процессе
самостоятельной работы с компьютерными
учебниками;
умения и навыки, полученные при помощи
тренажерных компонентов материала и
содержащие в себе существенную
деятельностную составляющую (в меньшей
степени );
Компетенции как синтетический результат не
могут быть достоверно измерены процедурами
компьютерного контроля.
3

4. Преимущества компьютерной формы контроля

ПРЕИМУЩЕСТВА КОМПЬЮТЕРНОЙ
ФОРМЫ КОНТРОЛЯ
объективность (при условии корректной
формулировки контрольного задания);
регистрация и долговременное хранение
результатов, обеспечивающее возможность
последующей статистической обработки;
возможность использования в формулировке
задания элементов «виртуальной реальности»,
доступных только благодаря компьютерным
технологиям;
возможность адаптации набора вопросов к
уровню подготовки студента.
4

5. Классификация заданий компьютерного контроля (вопросов)

КЛАССИФИКАЦИЯ ЗАДАНИЙ
КОМПЬЮТЕРНОГО КОНТРОЛЯ (ВОПРОСОВ)
Вопросы закрытого типа (на конструирование
ответа из предопределенных элементов)
На выбор
На сопоставление
На упорядочение
Вопросы открытого типа (на сопоставление
ответа, подготовленного студентом, с
эталоном):
Числовым
Строковым
текстовым
5

6. Примеры вопросов закрытого типа

ПРИМЕРЫ ВОПРОСОВ ЗАКРЫТОГО ТИПА
Используя курсор мыши,
укажите, в каком порядке
транспортные средства,
движущиеся на
разрешающий сигнал
светофора, проедут
через перекресток
6

7. Примеры вопросов открытого типа

ПРИМЕРЫ ВОПРОСОВ ОТКРЫТОГО ТИПА
7

8. Вариации формы представления контрольных заданий

ВАРИАЦИИ ФОРМЫ ПРЕДСТАВЛЕНИЯ
КОНТРОЛЬНЫХ ЗАДАНИЙ
Слайдер
Последовательность
кликов
Drag’n’drop
8

9. Методические рекомендации по разработке вопросов

МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ ПО
РАЗРАБОТКЕ ВОПРОСОВ
простота и однозначность формулировки задания
(не следует использовать слова, допускающие
неоднозначную трактовку, например, «часто»,
«иногда»);
проверка позитивных знаний (не следует
использовать отрицание в формулировке задания);
оптимальное количество элементов ответа (от 4 до
6);
наличие эффективных дистракторов (неверных,
отвлекающих от правильного, но правдоподобных
вариантов ответа);
независимость заданий (ответ на один вопрос не
должен содержать подсказки для ответа на другой);
разумная сложность заданий (следует избегать как
тривиальных, так и чрезмерно сложных вопросов).
9

10. Технология разработки процедур контроля в редакторе ГИПЕРТЕСТ

ТЕХНОЛОГИЯ РАЗРАБОТКИ ПРОЦЕДУР
КОНТРОЛЯ В РЕДАКТОРЕ ГИПЕРТЕСТ
Добавление процедуры контроля в
тематическую структуру учебника:
10

11. Технология разработки процедур контроля в редакторе ГИПЕРТЕСТ

ТЕХНОЛОГИЯ РАЗРАБОТКИ ПРОЦЕДУР
КОНТРОЛЯ В РЕДАКТОРЕ ГИПЕРТЕСТ
Настройка параметров процедуры контроля:
11

12. Технология разработки процедур контроля в редакторе ГИПЕРТЕСТ

ТЕХНОЛОГИЯ РАЗРАБОТКИ ПРОЦЕДУР
КОНТРОЛЯ В РЕДАКТОРЕ ГИПЕРТЕСТ
Наполнение процедуры контроля:
Добавление вопросов;
Добавление групп вопросов.
12

13. Технология разработки процедур контроля в редакторе ГИПЕРТЕСТ

ТЕХНОЛОГИЯ РАЗРАБОТКИ ПРОЦЕДУР
КОНТРОЛЯ В РЕДАКТОРЕ ГИПЕРТЕСТ
Настройка параметров вопроса
13

14. Технология разработки процедур контроля в редакторе ГИПЕРТЕСТ

ТЕХНОЛОГИЯ РАЗРАБОТКИ ПРОЦЕДУР
КОНТРОЛЯ В РЕДАКТОРЕ ГИПЕРТЕСТ
Формулировка вопроса:
14

15. Технология разработки процедур контроля в редакторе ГИПЕРТЕСТ

ТЕХНОЛОГИЯ РАЗРАБОТКИ ПРОЦЕДУР
КОНТРОЛЯ В РЕДАКТОРЕ ГИПЕРТЕСТ
Конструирование вопроса закрытого типа:
добавление элемента ответа
15

16. Технология разработки процедур контроля в редакторе ГИПЕРТЕСТ

ТЕХНОЛОГИЯ РАЗРАБОТКИ ПРОЦЕДУР
КОНТРОЛЯ В РЕДАКТОРЕ ГИПЕРТЕСТ
Формулировка варианта ответа:
16

17. Технология разработки процедур контроля в редакторе ГИПЕРТЕСТ

ТЕХНОЛОГИЯ РАЗРАБОТКИ ПРОЦЕДУР
КОНТРОЛЯ В РЕДАКТОРЕ ГИПЕРТЕСТ
Предварительный просмотр вопроса:
17

18. Технология разработки процедур контроля в редакторе ГИПЕРТЕСТ

ТЕХНОЛОГИЯ РАЗРАБОТКИ ПРОЦЕДУР
КОНТРОЛЯ В РЕДАКТОРЕ ГИПЕРТЕСТ
Определение вариантов ответа
18

19. Технология разработки процедур контроля в редакторе ГИПЕРТЕСТ

ТЕХНОЛОГИЯ РАЗРАБОТКИ ПРОЦЕДУР
КОНТРОЛЯ В РЕДАКТОРЕ ГИПЕРТЕСТ
Редактирование вариантов ответа:
19

20. Создание вопроса на базе интерактивной картинки – шаг 1

СОЗДАНИЕ ВОПРОСА НА БАЗЕ
ИНТЕРАКТИВНОЙ КАРТИНКИ – ШАГ 1
Выбор типа вопроса:
20

21. Создание вопроса на базе интерактивной картинки – шаг 2

СОЗДАНИЕ ВОПРОСА НА БАЗЕ
ИНТЕРАКТИВНОЙ КАРТИНКИ – ШАГ 2
Выбор фоновой картинки:
21

22. Создание вопроса на базе интерактивной картинки – шаг 3

СОЗДАНИЕ ВОПРОСА НА БАЗЕ
ИНТЕРАКТИВНОЙ КАРТИНКИ – ШАГ 3
Определение регионов (активных зон):
22

23. Создание вопроса на базе интерактивной картинки – шаг 4

СОЗДАНИЕ ВОПРОСА НА БАЗЕ
ИНТЕРАКТИВНОЙ КАРТИНКИ – ШАГ 4
Спецификация региона:
Выделен регион
«прямоугольник»
23

24. Создание вопроса на базе интерактивной картинки – шаг 5

СОЗДАНИЕ ВОПРОСА НА БАЗЕ
ИНТЕРАКТИВНОЙ КАРТИНКИ – ШАГ 5
Выбор типа вопроса:
24

25. Создание вопроса на базе интерактивной картинки – шаг 6

СОЗДАНИЕ ВОПРОСА НА БАЗЕ
ИНТЕРАКТИВНОЙ КАРТИНКИ – ШАГ 6
Параметризация вопроса (при нажатой Ctrl):
25

26. Создание вопроса на базе интерактивной картинки – шаг 7

СОЗДАНИЕ ВОПРОСА НА БАЗЕ
ИНТЕРАКТИВНОЙ КАРТИНКИ – ШАГ 7
26

27. Создание вопроса на базе интерактивной картинки – шаг 8

СОЗДАНИЕ ВОПРОСА НА БАЗЕ
ИНТЕРАКТИВНОЙ КАРТИНКИ – ШАГ 8
формулировка задания:
27

28. Создание группы вопросов

СОЗДАНИЕ ГРУППЫ
ВОПРОСОВ
Группа – это множество
вопросов
оценивающих одну и ту же
составляющую профиля,
имеющих одинаковую сложность,
заданный процент которых
случайно выбирается для
предъявления.
28

29. Способы расширения функциональности компьютерного контроля: внешние интерфейсы обработчиков в ГИПЕРТЕСТ

СПОСОБЫ РАСШИРЕНИЯ ФУНКЦИОНАЛЬНОСТИ
КОМПЬЮТЕРНОГО КОНТРОЛЯ: ВНЕШНИЕ
ИНТЕРФЕЙСЫ ОБРАБОТЧИКОВ В ГИПЕРТЕСТ
Внешний обработчик – веб-сервис (доступная в
Интернет библиотека программ) со
стандартными интерфейсными операциями:
Задать вопрос (вернуть страницу, содержащую
вопрос);
Оценить ответ (вернуть нормированное значение
оценки: 0..1);
ГИПЕРТЕСТ выполняет функции посредника
(транслирует ответы)
29

30. Сценарий взаимодействия среды ГИПЕРТЕСТ с обработчиком заданий по программированию

СЦЕНАРИЙ ВЗАИМОДЕЙСТВИЯ СРЕДЫ
ГИПЕРТЕСТ С ОБРАБОТЧИКОМ ЗАДАНИЙ ПО
ПРОГРАММИРОВАНИЮ
30

31. Обработчик заданий по программированию: выдача задания

ОБРАБОТЧИК ЗАДАНИЙ ПО
ПРОГРАММИРОВАНИЮ: ВЫДАЧА ЗАДАНИЯ
31

32. Обработчик заданий по программированию: диагностика ответа

ОБРАБОТЧИК ЗАДАНИЙ ПО
ПРОГРАММИРОВАНИЮ: ДИАГНОСТИКА ОТВЕТА
32

33. Контроль навыков решения расчетных задач

КОНТРОЛЬ НАВЫКОВ РЕШЕНИЯ
РАСЧЕТНЫХ ЗАДАЧ
Расчетная задача – это задача, которая состоит из
нескольких элементарных шагов и имеется несколько
вариантов последовательности их применения для
получения результата:
X L 2 fL
XL
L
R
U кат Z кат I
Z кат
Z кат R jX L
f
P I 2 R
XC
U
C
XC
U
I
Z
Z
1
2 fC
Z R j( X L X C )
U C jX C I
U кат
P
I
U C
33

34. Контроль навыков решения расчетных задач: интерфейс студента

КОНТРОЛЬ НАВЫКОВ РЕШЕНИЯ РАСЧЕТНЫХ
ЗАДАЧ: ИНТЕРФЕЙС СТУДЕНТА
34

35. Метрология компьютерного контроля результатов обучения

МЕТРОЛОГИЯ КОМПЬЮТЕРНОГО
КОНТРОЛЯ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ
Компьютерные тесты как инструменты
измерения результатов обучения нуждаются в
поверке, в ходе которой определяются
значения таких показателей, как:
Надежность;
Валидность;
Дискриминативность.
35

36. Надежность тестов

НАДЕЖНОСТЬ ТЕСТОВ
Мера надежности – коэффициент корреляции
результатов двух последовательных
применений теста для контроля знаний одной
и той же группы студентов.
Здесь X и Y – выборки результатов первого и повторного
тестирования; М(*) – математические ожидания
соответствующих величин; , – средние квадратические
отклонения по выборкам
36

37. Валидность тестов

ВАЛИДНОСТЬ ТЕСТОВ
Содержательная:
Задания контроля соответствуют содержанию
учебника;
Критериальная:
Результаты компьютерного контроля коррелируют
с результатами других форм контроля.
37

38. Дискриминативность тестов

ДИСКРИМИНАТИВНОСТЬ ТЕСТОВ
δ Фергюсона*:
n
N f k2
2
k 0
2
N 2 ( N /( n 1))
N – объем выборки (количество тестируемых); n – количество заданий
теста; – количество тестируемых, правильно ответивших на k
вопросов. На диаграмме N=8, n=7, k=0..7
дельта Фергюсона
8
6
1
4
0,5
2
0
0
1
Р…
2
3
Ряд1
4
5
Ряд2
6
Ряд3
1
2
дельта Фергюсона
3
4
Р…
7
Ряд4
8
дельта Фергюсона
38