Тестирование как технология контроля знаний и умений студентов в высшем учебном заведении

1.

ТЕСТИРОВАНИЕ КАК ТЕХНОЛОГИЯ
КОНТРОЛЯ ЗНАНИЙ И УМЕНИЙ
СТУДЕНТОВ В ВЫСШЕМ
УЧЕБНОМ ЗАВЕДЕНИИ
1

2. Цели и задачи

Цель - обобщение опыта применения системы
компьютерного тестирования знаний студентов по
различным дисциплинам в ХНУРЭ.
Рассматриваемые вопросы
1. Тестирование как способ контроля знаний.
2. Тестовые задания.
3. Контроль знаний, умений, навыков .
4. Технология проведения тестирований.
5. Оценивание знаний.
6. Статистические результаты тестирований.
7. Тестовый центр ХНУРЭ.
2

3. 1.1 Тестирование как форма контроля знаний

Тестирование - это способ (технология)
определения уровня знаний и умений студентов с
помощью специальных тестовых заданий.
Формы тестовых заданий :
вопросы (однозначные ответы);
контрольные задачи (контроль процесса решения).
Характеристики процесса тестирования :
дидактические (составление тестов);
технологические (организация тестирования);
технические (инструментальные средства).
3

4. 1.2 Организационные формы тестирования

Бланковое
достоинства : простота, надежность, мобильность ;
недостатки : дороговизна подготовки, сложность перестройки,
необходимость спец.персонала.
Аппаратное
Необходимость разработки специального оборудования .
Компьютерное
тестирование (обработка) на стороне клиента ;
тестирование (обработка) на стороне сервера
(клиент-серверные системы тестирования).
4

5. 1.3 Компьютерные (клиент-серверные) системы тестирования

Преимущества
массовое применение ;
минимальный технический персонал;
автоматизация получения результата;
конфиденциальность результатов.
Компьютерная система тестирования OpenTEST
Бесплатные программные инструментальные средства
СУБД MySQL ;
• Язык серверных сценариев PHP ;
• Язык текстовой разметки HTML ;
Язык клиентских сценариев JavaScript .
:
Мультиязычнй интерфейс (русский, украинский, английский).
5

6. 2.1 Тестовые задания вопросного типа. Типы вопросов

Вопросы закрытого типа
выбор одного из нескольких ;
выбор нескольких из нескольких
установка соответствия.
Вопросы открытого типа
свободноконструируемый ответ (ввод в поле ответа) ;
расставить, переместить и т.д.
6

7. 2.2 Структура выборочного вопроса

Описание ситуации.
В этой части вопроса могут присутствовать текст, рисунки, графики,
анимации и т.д. Эта часть вопроса не является обязательной, но все
же рекомендуется ее применять, так как одна и та же ситуация может
быть основой для множества однотипных вопросов.
Текст вопроса.
Он должен быть сформулирован четко, и не содержать двузначных
формулировок. Текст вопроса достаточно часто может быть совмещен
с описанием ситуации.
Варианты ответов.
В Web-интерфейсе выборочные варианты ответов на вопросы
реализуются через radio-button ("выбор одного из нескольких") или
check-box ("выбор нескольких из нескольких"). Визуально они
различимы, поэтому обучаемый всегда может определить, какой тип
вопроса ему предложен. Порядок следования вариантов ответов в
исходном задании теста абсолютно несущественен (при выдаче
тестов происходит случайное перемешивание порядка следования
вариантов ответов).
7

8. 2.3 Типы выборочных вопросов в системе OpenTEST

Внешний вид вопроса типа «один из нескольких» в Web-
интерфейсе системы OpenTEST.
Внешний вид вопроса типа «один из нескольких» в Web-
интерфейсе системы OpenTEST.
8

9. 2.4 Формы представления тестовой информации

Модель предметной области :
«Тема» - «Подтема» - «Вопросы темы»
Представление тестовой информации :
XML-формат;
doc-формат.
Способы ввода тестовой информации :
через Web-интерфейс непосредственно в БД;
через имитатор Web-интерфейса с конвертированием его в
XML-формат;
из doc-файла с конвертированием его в XML-формат;
из XML-файла (импортирование теста);.
9

10. 2.5 Формат представления тестового doc-файла

Представление вопросов в doc-файле в форме таблицы
Тема : Алгебраические уравнения
Подтема : Уровень 1
Вопрос :
3
Решить уравнение 2 x 5 3
-1;
0;
11;
16;
-11.
Тест
Т
В1
A
A
A+
A
A
В1
A
A
A
A
A+
Алгебраические уравнения
Уровень 1
Решить уравнение 3 2 x 5 3
-1
0
11
16
-11
Решить уравнение
-2
2
2
( ; )
( ;2)
( x 2) 2 2 x
10

11. 2.6 Внешний вид теста в базе данных

11

12. 2.7 Нормирование длины тестов в системе OpenTEST

Под тематической единицей принято понимать совокупность всех
видов
учебной
нагрузки
(лекции,
практические
занятия,
лабораторные работы, самостоятельная работа), необходимые для
изучения определенной темы. Рекомендуемая минимальная длина
тематической единицы – 7 часов.
Объем учебной Тематические
Длина
Общее количество
дисциплины в
единицы
сеанса вопросов в тесте (M)
кредитах
(темы)
тестирова
(минимальное
(54 часа)
на кредит
ния
колич.)
До 2-х кредитов
8-10
10-15
100 - 150
2-3 кредита
включительно
7-8
15-20
150 - 200
Свыше 3-х
кредитов
5-7
20-30
200 - 300
12

13. 3.1 Уровень сложности вопросов

В теории приобретения знаний выделяют три
уровня усвоения знаний :
узнавание (запоминание);
заучивание (понимание, применение);
актуализация (синтез новых понятий, комплексное
применение умений и навыков).
Разные уровни (сложности) вопросов проверяют разные
аспекты познавательной деятельности обучаемых.
Для точного оценивания уровня знаний, умений и навыков
авторам теста было бы целесообразно разделять тесты по
целевым установкам, например, "Физика_механика (знания)",
"Матанализ_пределы (умения)" .
13

14. 3.2 Пример вопросов на узнавание (запоминание)

Данный уровень сложности вопросов позволяет
определить на сколько тестируемый знаком с материалом
определенной предметной области. Такие вопросы проверяют
исключительно уровень знаний тестируемого.
На какой свет светофора следует переходить улицу :
Красный ;
Желтый;
Зеленый.
Какова область значений функции Y = x2 :
Y – больше / равно нуля (Y >= 0);
Y – меньше нуля (Y < 0);
Y – все действительные числа.
В каком году был основан город Харьков :
1554;
1645;
1654.
14

15. 3.3 Пример вопросов на применение (понимание)

При использовании вопросов данного уровня
сложности более глубоко проверяются знания и простейшие
умения. Главное в ответе на такой вопрос - это умение
правильно применять определенную формулу (закон,
нормативный акт, пункта правил и т.д.) к описанной ситуации.
Сколько электроэнергии потребит элетролампа мощностью
100 ватт :за 30 минут :
3 Квт-ч ;
0.3 Квт-ч ;
0.03 Квт-ч ;
0.05 Квт-ч ;
Сколько существует булевых функций от трех переменных :
8 ;
16;
256;
бесконечное множество ;
15

16. 3.4 Примеры вопросов на синтез новых понятий (умения и навыки)

При использовании вопросов данного уровня
сложности более глубоко проверяются умения и навыки в
решении типовых практических задач в данной предметной
области. Обычно для ответа на такой вопрос необходимо
применить
несколько
формул
в
определенной
последовательности или выбрать правильные начальные
условия для применения некоторых формул (законов), знать и
уметь использовать основные физические и математические
константы.
Как соотносятся между собой величины чисел eπ и πe :
eπ > πe ;
eπ < πe ;
eπ = πe.
16

17. 3.4 Примеры вопросов на синтез новых понятий (продолжение)

Дан фрагмент программного кода на языке С
#include <iostream>
void main() {
struct S{char c; S * next;} A = {'a', 0}, B={'b', &A},
C={'c', &B}
D={'d', &C}, *p = &D;
for (int i=0; i<2 && p; i++) p=p->next;
std::cout << p->c;}
Какая буква будет выведена на консоль.
'a';
'b';
'c';
'd'.
17

18. 3.5 Математические вопросы. Умения и навыки

Решить уравнение
2 x 4 x x 12
•2;
• 6 ;
• 16,
•8;
• 12 .
Применение свободноконструируемх ответов в математических
задачах ограничено !
Решить уравнение Cos 2x + Sin 2x = Cos x + Sin x
ответ { π/6 + 2/3 πn; 2πk } имеет достаточно много форм представления, в
частности " π " может быть заменено на "180 ", или на запись "180
градусов". Периодичность ответов для тригонометрических уравнений
также может быть представлена многими способами.
Математические символы типа “ ”, “ ”, “ ”, “ ” с клавиатуры
в Web-интерфейсе не вводятся.
18

19. 3.5 Математические вопросы с задержкой появления ответов

• Появление текста вопроса;
• Нажатие кнопки «Ответ готов»;
• Выбор ответа за 10 – 15 секунд (настраивается).
19

20. 4.1 Технология процесса тестирования

• Составитель (автор) тестов
Выполняет тематическую разбивку предметной области, выбирает типы
применяемых вопросов, группирует вопросы по уровням сложности и
предлагает варианты шкалы оценивания.
• Оператор ввода тестов
Является специалистом в области XML-формата и модуля “Студия
тестов” OpenTEST.Оператор должен уметь вводить тест во всех режимах.
• Организатор тестирования
Определяет цели и задачи тестирования, устанавливает параметры
сеанса тестирования и способ оценивания.
• Оператор проведения тестирования
Проводит тестирование непосредственно в машинном зале .
• Инженер по знаниям
Анализирует статистические результаты тестирований по заказам
преподавателей.
• Администратор системы
Выполняет инсталяцию и системы OpenTEST и устанавливает права
доступа разным категориям пользователей.
20

21.

4.2 Общая структура системы OpenTEST.
Web-интерфейс
21

22. 5.1 Оценивание в системе OpenTEST. Границы диапазонов шкалы оценивания

N
Bi – фактически набранный балл за ответ { 0 –1}
Bimax – максимально возможный балл за ответ { 1 }
i 1
*100% N – число вопросов в сеансе
B=
max
Bi
B – оценка за сеанс в процентах (диапазон 0 -100%)
Вi
k 1
Ck A 1 A
100%
D 1
1
m для вопроса типа "1 из N"
A 2 p 1
m
для вопроса типа " m из N"
2
1
Ck – верхние границы k-го интервала
k – номер интервала 1<k<D
D – диапазон (балльность) шкалы оценивания
А – частота «угадывания» в выборочном вопросе
m – общее число вариантов ответов («выбор»)
p – число правильных вариантов («несколько»)
22

23. 5.2 Пример шкалы оценивания с вопросами равной альтернативности

Пусть D=5, N=20, m=4 для всех вопросов.
При этом С1=25%, С2=44%, С3=63%,
С4=82%, С5=100%
*
25
44
63
82 100%
B<C1 - неоцениваемый диапазон,
соответствующий зоне «угадывания»
B=75%, оценка «хорошо»
23

24. 5.3 Установка авторской шкалы оценивания

24

25. 6.1 Форма выдачи результатов тестирования

25

26. 6.2 Норма шкалы оценивания

Распределение
количества
тестируемых
по
шкале
оценивания соответствует нормальному (Пуассоновскому)
закону распределения с заметно выраженным максимумом в
середине шкалы оценивания.
Пример распределения оценок
группы тестируемых по
пятибалльной шкале оценивания.
Максимальное значение количества оценок называется
«норма шкалы оценивания» и характеризует сложность теста
относительно группы тестируемых.
26