Фонды оценочных средств, разработка и экспертиза

1. «Методики профессионально-ориентированного обучения» Лекция 3. Фонды оценочных средств, разработка и экспертиза (По материалам

Челышковой М.Б.)
Кибальченко Ирина Александровны
Южный федеральный университет, ИКТИБ
http://pibg.tti.sfedu.ru

2. ПРИКАЗ Минобрнауки № 1367

ФОС для итоговой аттестации должен
оценивать результаты освоения
образовательной программы, т.е. всю
совокупность компетенций, которая
установлена образовательной организацией
для данной образовательной программы
2

3. Нормативное обеспечение ФОС

Требования ФГОС к результатам освоения ОП
Положение о системе оценивания в вузе
Положение о ФОС вуза
Методические указания по формированию
ФОС
• Требования к ФОС в рамках реализуемой ОП
• Паспорта оценочных средств
• Рецензии на оценочные средства

4. Для фонда оценочных средств для промежуточной аттестации необходимы

перечень компетенций с указанием этапов их
формирования в процессе освоения ОП;
описание показателей и критериев оценивания
компетенций на различных этапах их формирования,
описание шкал оценивания;
типовые контрольные задания или иные материалы,
необходимые для оценки знаний, умений, навыков и (или)
опыта деятельности, характеризующие этапы формирования
компетенций в процессе освоения образовательной
программы;
методические материалы, определяющие процедуры
оценивания знаний, умений, навыков и (или) опыта
деятельности и характеризующие этапы формирования
4
компетенций

5. Фонд оценочных средств (банк калиброванных заданий) (По приказу Минобрнауки России от 19.12.2013 № 1367)

Разрабатывается для итоговой (государственной)
аттестации и включает в себя:
• Перечень компетенций
• Описание показателей и критериев оценивания, а
также шкал оценивания
• Типовые контрольные задания или иные материалы,
необходимые для оценки результатов освоения ОП
(компетенций)
• Методические материалы, определяющие
процедуры оценивания

6. Основные вопросы

• Как разрабатывать оценочные средства?
• Как и в какой шкале интерпретировать
оценки освоения компетенций?
6

7.

Два механизма оценивания уровня сформированности
компетенций
(по рекомендации Росаккредагенства)
На основе оценивания
знаний, умений и навыков
по дисциплинам и
практикам, формирующим
части компетенций
и (или)
На основе результатов
оценивания опыта
деятельности на этапах
формирования
компетенции (группы
компетенций)

8. Требования к паспорту оценочного средства для промежуточного контроля

Назначение
Авторы разработки
Контролируемые результаты обучения
Форма проведения контроля
Метод оценивания (экспертный,
автоматизированный)
Критерии оценивания результатов
Дата последней коррекции заданий
(Росаккредагенство)

9. Предмет оценивания

Общепрофессиональные и профессиональные (прикладные
и профессионально-специализированные) компетенции,
которые:
- мета-латентны, поэтому необходимы специальные методы
и средства контроля
- многофункциональны и надпредметны, поэтому
необходимы полидисциплинарные модули в
образовательных программах
- носят по проявлению отсроченный характер, поэтому
необходимо оценивать уровень их освоения в обучении,
прогнозируя владение компетенциями в профессиональной
деятельности
- имеют обобщенный характер , поэтому нуждаются в
операционализации (представлении в форме индикаторов,
9
понятных для обучения и пригодных для измерений)

10. Операционализация компетенций

• Результаты освоения ОП – компетенции,
представленные в форме измеряемых
признаков проявления на языке
требований квалификационных
характеристик или профессиональных
стандартов
10

11. Последовательность действий при разработке ФОС для итоговой аттестации

1. Анализ профессиональных компетенций ФГОС.
2. Построение профессионального профиля
деятельности специалиста на основе
компетенций ФГОС в соответствии с
направленностью ОП
3. Установление связи каждой компетенции ФГОС с
квалификационными требованиями или
требованиями профессиональных стандартов (по
образовательной программе)
4. Разработка паспортов компетенций
11

12. Последовательность действий

5. Выделение дисциплин, на основе которых формируются
эти признаки у студента
6. Выбор оптимальных методов формирования каждой
компетенции в обучении (для рабочих программ
дисциплин)
7. Выбор оптимальных контрольно-оценочных средств для
промежуточной аттестации (для рабочих программ
дисциплин)
8. Выбор оптимальной модели измерителей для итоговой
аттестации (для образовательной программы)
12

13. Вывод

Для оценки уровня освоения компетенций
при итоговой аттестации необходимо
применять специальные
полидисциплинарные измерители,
гарантирующие оценивание компетенций.
Оценки прогнозируют успехи в дальнейшей
профессиональной деятельности после
окончания обучения
13

14.

Сравнительная характеристика способов оценивания
Сходство – одинаковый предмет и объект, одинаковая цель
Различия:
Традиционное оценивание
Педагогические измерения
Оценочное средство создается Создается на основе технологии,
на основе опыта, его качество его надежность и валидность
оценивается интуитивно
оценивается численными методами
на эмпирических данных
Нет
возможности
оценить Есть возможность оценить ошибку
ошибку измерения и принять измерения и принять решение о
решение о степени доверия к степени доверия к результатам
результатам
Нет
возможности
оценить Есть возможность оценить степень
степень
адекватности адекватности полученных оценок
полученных
оценок концептуально
выбранному
концептуально
выбранному предмету измерения – величину
предмету измерения
конструктной валидности
Рез-ты только качественные
Рез-ты
количественные 14 и
качественные

15.

Измерение - это процедура приписывания чисел
некоторым характеристикам объектов в соответствии с
определенными правилами
Современная трактовка
понятия
«педагогическое измерение»
Педагогическое измерение - это конструирование
функции, осуществляющей изоморфное отображение
некоторой эмпирической структуры в соответствующим
образом подобранную числовую структуру,
представляющую собой шкалу оценок качества учебных
достижений или других конструктов, являющихся целью
измерения.

16.

Компоненты процесса педагогических измерений
Процесс педагогических измерений включает:
выбор предмета измерения, под которым понимается одна или
несколько латентных характеристик объектов (выбор переменных
измерения и их числа);
выбор эмпирических референтов (наблюдаемых характеристик
объектов), замещающих латентные переменные;
определение выбор измерительных процедур, построение
модели измерений;
конструирование и использование измерительных инструментов;
выбор шкалы (если измеряемая переменная одна) или шкал (если
измеряют более одной переменной при многомерных измерениях);
построение отображения результатов измерения на шкалу
(шкалы в случае многомерных измерений) по определенным
процедурам и правилам;
анализ и интерпретацию результатов измерения.

17.

Шкала
Шкала служит для фиксации результатов измерения
определенных свойств эмпирических объектов путем
упорядочения результатов в определенную числовую систему.
В педагогических измерениях на шкале можно откладывать
сырые или преобразованные (производные) баллы для
повышения сопоставимости и удобства интерпретации
результатов измерения.

18.

19.

Истинный балл – параметр испытуемого,
характеризующий его подготовленность без
ошибки измерения
Классификация ошибок измерения –
систематические и случайные
Надежность – характеристика точности и
устойчивости результатов измерения
только под действием случайных ошибок
Валидность – характеристика пригодности
результатов измерений поставленной цели
их проведения

20.

Факторы, позволяющие повысить надежность теста
1. Гомогенность теста. Если при компоновке теста отбирать
задания, имеющие наибольшую корреляцию с другими
заданиями теста, то тест будет иметь высокую надежность и
обеспечит низкую погрешность измерения.
2. Длина теста. Надежность повышается с увеличением
длины теста.
При выборе оптимальной длины теста разработчики
руководствуются группой факторов, среди которых: высокая
дисперсия тестовых баллов, нормальный характер их
распределения, форма используемых заданий, возраст обучаемых
и определенное в соответствии с их физиологическими
возможностями оптимальное время выполнения теста.
3. Стандартизация процедуры тестирования и инструкций,
исключение влияния внешних переменных на процесси
результат.

21.

Виды валидности Вопрос
Соответствуют ли
Содержательная
содержания тестовых
валидность
заданий целям
измерения?
Конструктная
валидность
Прогностическая
валидность
Насколько сильно
результаты
выполнения нового
теста связаны с
результатами
выполнения
признанного теста той
же выборкой
студентов?
Может ли тест
предсказать успехи
или неудачу на
последующей
ступени обучения?
Ответ
Экспертиза и данные
факторного анализа говорят о
соответствии содержания
тестовых заданий целям
измерения
Результаты корреляционного
анализа данных тестирования
по новому и признанному
тестам показали, что они
измеряют одну и ту же
переменную
Результаты корреляционного
анализа данных тестирования
с оценками студентов на
последующей ступени
обучения показывают ее.

22. Меры по повышению валидности измерителей для оценивания компетенций

• кластеризация компетенций;
• построение
компетентностной
модели
деятельности
специалиста;
• разработка моделей многоуровневых измерителей;
• проведение оценочных процедур и сбор эмпирических данных
на репрезентативной выборке испытуемых;
• проведение факторного анализа эмпирических данных,
коррекция структуры кластеров и компетентностной модели;
• проведение анкетирования работодателей по результатам
сертификации квалификаций;
• оценка прогностической валидности измерителей, их
надежности и конструктной валидности;
• проведение линейного иерархического анализа данных с
целью выявления главных факторов (кластеров) влияния и
тенденций в отрасли
22

23. Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить, если:

А. Грамотно составлять задание, используя рекомендации приведенные
выше.
Б. Использовать при проверке только разработанную
стандартизированную схему оценивания не более, чем с тремя
оценочными категориями (0, 1, 2).
В. Обучить экспертов по проверке заданий пользовать
стандартизированными критериями оценивания.
Г. Привлекать не менее двух экспертов для проверки каждого задания и
приглашать третьего эксперта в случае расхождений первых двух
экспертов более, чем на один балл.
Д. Использовать принцип анонимности проверяемых работ и
независимость экспертных суждений.
Е. Не смотреть на оценку, данную предыдущему заданию, при
оценивании последующего.

24.

При критериально-ориентированном подходе по результатам
тестирования
можно:
выявить освоенные и не освоенные знания, умения либо
компетенции и построить индивидуальную образовательную
траекторию каждого студента (domain-referenced tests);
ранжировать тестируемых по проценту выполнения и построить
рейтинговые шкалы (domain-referenced tests);
разбить испытуемых на две группы с помощью одного
критериального балла (mastery, non-mastery tests);
выделить несколько групп студентов с помощью нескольких
критериальных баллов, поставив в соответствие результату
студента диапазон освоения компетенций и провести развернутый
анализ не освоенных компетенций

25.

Различия в нормативно-ориентированном и критериально-ориентированном подходах
Характеристики
Среднее число студентов,
выполнивших правильно
почти все задания теста
Область для сравнения
результатов обучаемых
Нормативно-
Критериально-
ориентированные тесты
5% - 10%
ориентированные тесты
80% - 90%
Результаты других
обучаемых
Содержательная область или
совокупность признаков
компетенций
Диапазон охвата целей
Широкий, охватывает
Узкий, обычно охватывает
проверки
многие цели и виды учебной несколько целей контроля
деятельности
Репрезентативность охвата Умеренная, фрагментарная – Большая, обычно включают
содержания предмета
обычно включают не все
все то, что можно
разделы
операционализировать и
принять за 100%
Разброс результатов
Высокий, поскольку
Низкий, внутри результатов
обучаемых (вариативность основная цель тестирования
группы испытуемых,
баллов)
– дифференциация по
прошедших за критерий,
уровню подготовки
почти нет вариативности
Подбор заданий по трудности
Распределение оценок
Распределение скошенное.
трудн.близко к нормальному
Основная часть заданий
(трудность 30% - 60%)
(трудность 70% - 90%)

26.

Распределение заданий по трудности в нормативно-ориентированном тесте
15% самых
лёгких
заданий
70% заданий средней
трудности
Диапазон расположения
заданий теста
15% самых
трудных
заданий
Ось оценок
трудности
заданий (долей
правильных
ответов)

27.

Распределение заданий по трудности в критериально-ориентированном тесте
Критериальный
балл
70% очень
лёгких заданий
30% очень
трудных заданий
Диапазон расположения заданий
теста
Ось оценок
трудности
заданий

28. Основные этапы работ

- формирование авторских коллективов
- обучение авторских коллективов
- выбор модели измерителя
- операционализация компетенций
- разработка спецификаций вариантов измерителей
- разработка авторских версий компетентностных
заданий
- экспертиза заданий
- коррекция заданий
- апробация заданий на выборке студентов
- повторная коррекция заданий
28

29.

Общая классификация современных оценочных средств и их
использование в управлении качеством образования

30. Современные тенденции в измерениях для управленческих решений

Многоступенчатые модели измерителей
используются для повышения
точности и обоснованности
аттестационных решений

31. Государственная программа РФ"Развитие образования" на 2013 - 2020 годы

Государственная программа
РФ"Развитие образования" на 2013 2020 годы
High Stakes Tests = «тесты для экзаменов
высокой значимости» измерители для
итоговой аттестации

32.

19. Модель
100
90
80
Пороговый балл
Диапазон высокой
компетентности
Пороговый балл
70
60
50
Диапазон базовой
компетентности
Мини-кейс или
собеседование в
форме
структурированного
интервью
Компетентностноориентированный
субтест для оценки
уровня освоения
компетенций (задания
с конструируемыми
ответами)
40
30
20
Пороговый балл
10
Диапазон
минимальной
компетентности
0
Субтест для проверки
основных знаний и
умений, необходимых
для выполнения
должностных
обязанностей
(задания с выбором
ответов)

33.

100
90
Диапазон высокой компетентности
Задания в форме кейса проблемного характера
(5 - 7 заданий)
80
70
Диапазон базовой компетентности
60
Компетентностные тесты (задания с
конструируемым ответом) или тесты
практической деятельности в
профессиональной области
50
40
30
20
10
0
(10 - 15 заданий)
Диапазон минимальной компетентности
Тест с выбором ответов
(20 и более заданий)
- Пороговый
балл

34. Последовательность действий при обеспечении итоговой аттестации

1. Анализ профессиональных компетенций ФГОС.
2. Построение профессионального профиля деятельности специалиста на
основе квалификационных требований или профессиональных
стандартов.
3. Выделение ядра профиля профессиональной деятельности
посредством установления связи каждой компетенции ФГОС с
квалификационными требованиями, разработка паспортов
4. Представление каждой компетенции в форме признаков проявления
по нескольким диапазонам на языке квалификационных требований.
5. Выделение дисциплин, на основе которых формируются эти признаки у
студента.
6. Разработка модели, спецификации и отбор содержания измерителей
7. Разработка
компетентностно-ориентированных заданий для
измерителей
34

35. Последовательность действий при обеспечении итоговой аттестации

8. Содержательная экспертиза заданий
9. Апробация заданий.
10. Обработка результатов апробации, анализ
и интерпретация
11. Коррекция заданий.
12. Помещение заданий в банк
35

36. Состав фонда оценочных средств (банка калиброванных заданий)

По каждому виду профессиональной
деятельности специалистов:
• Перечень компетенций
• Перечень трудовых функций
• Паспорта компетенций с дескрипторами по трем
уровням (минимальный, базовый, повышенный)
• Спецификации измерителя (отдельно для каждой
части)
• Задания с оценками параметра трудности и др.
• Описание показателей и критериев оценивания,
а также шкал оценивания

37. 2 пути представления трудовых функций

1-й: каждую трудовую функцию выразить
через трудовые действия по трем уровням
(минимальный, базовый, повышенный)
2-й: сгруппировать трудовые функции в
кластеры и представить их через трудовые
действия по трем уровням

38. Формат представления трудовых функций или квалификационных требований и уровней их проявления

Квалиф. Треб-е
или трудовая ф-я
Уровень проявления
Минимальный уровень
освоения
Определение
количественных
параметров целей
производственной
деятельности
подразделения (в
том числе и
физических)
Базовый уровень
освоения
Продвинутый уровень
освоения
Описание признаков
проявления
Способен принимать участие в
формировании …при поддержке
Способен проводить …по
стандартным процедурам
Способен реализовать …
Способен формировать …. при
консультационной поддержке.
Способен участвовать … и
использовать стандартное
программное обеспечение
Способен самостоятельно
формировать …
Способен самостоятельно создать
...
Способен самостоятельно
38
провести …

39. Состав спецификации измерителя

• Цель создания (для каждой части)
• Перечень нормативных документов (для каждой
части)
• Описание общей структуры измерителя и
временных интервалов между частями
• Число заданий различной формы с ключами
ответов и оценочных рубрик(для каждой части)
• Число параллельных вариантов
• Рекомендуемое время выполнения (для каждой
части)

40. Состав спецификации (для каждой части)

• Соотношение заданий по различных
компетенциям или трудовым функциям с их
перечнями (для каждой части)
• Рекомендации по периоду апробации
• Рекомендуемый порядок расположения
заданий

41.

Структура первой части измерителя (пример)
Дисциплины (разделы
дисциплин)
Планируемые к
№ п/п проверке знания
I (20%)
и умения
II
(10%)
III
IV
(30%) (40%)
Суммарное
число
заданий
1
А (10%)
1
1
2
2
6
2
В (20%)
2
1
4
5
12
3
С (30%)
4
2
5
7
18
4
D (30%)
4
2
5
7
18
5
E (10%)
1
—
2
3
6
12
6
18
24
60
Итого

42.

Структура второй и третьей части измерителя (пример)
Трудовая
функция
(кластер
функций)
1-я
функция
2-я
функция
И т.д.
Измеритель
Итого
Субтесты
2-й субтест
3 практических
задания
1 заданине с номером
….
1 задание с номером
….
3-й субтест
5 мини-кейсов
2 мини-кейса с
номерами ….
Не оценивается

43.

Общие принципы отбора
содержания теста
- репрезентативность
- высокая значимость
- системность
- правильность пропорций

44.

Экспертиза качества содержания измерителя
Первое направление - анализ качества содержания
отдельных заданий
- оценка уровня трудности содержания каждого задания
- оценка уровня значимости содержания каждого задания
- оценка логической корректности задания
- оценка правильности ответов или оценочных категорий при
конструируемом ответе
- оценка качества формулировок содержательной основы
заданий с позиций тестовой технологии
Второе направление - анализ качества содержания всего
измерителя:
- оценка полноты охвата требований ФГОС или ПС
- правильность пропорций содержания
- соответствие пропорций содержания спецификации
Третье направление - подготовка общего заключения и
обобщающих выводов и рекомендаций по улучшению
содержания измерителя

45. При оценивании ответов к мини-кейсам учитываются:

1.Степень правильности (0-2)
Наличие аналитического подхода (0-2)
2.Аргументированность выводов (0-2)
3.Самостоятельность и логика представления
материала (0-2)
4. Наличие нестандартных решений проблем
(0-3)
5. Полнота и обоснованность ответов (0-2)

46. Логическая модель построения задания основана на сформированности у студентов

Знаний
Понимания
Умений применять знания
Умений анализа
Умений синтеза
Рефлексивности
Креативности
др.

47. Необходимые условия для обоснованной оценки уровня освоения компетенций:

• Наличие в планируемых образовательных результатах ФГОС
профессиональных компетенций, согласованных и одобряемых
профессиональным сообществом/работодателями
• Наличие измерительных материалов/инструментов и процедур
для оценки профессиональных компетенций (отраженных в
профессиональных стандартах), привлечение к их разработке
работодателей
• Участие работодателей в различных формах аттестации
• НИРС и проекты по заказу работодателей
• Наличие различных форм вовлечения студентов в
профессиональную деятельность в рамках учебного процесса
• Организация полноценных практик студентов
• Использование образовательных технологий, адекватных
формированию задаче профессиональных компетенций

48.

Спасибо за внимание!