Введение в языковое тестирование

1.

Введение в языковое тестирование
Александр Владимирович Коротышев
кандидат педагогических наук,
директор секретариата Международной ассоциации
преподавателей русского языка и литературы
(МАПРЯЛ)

2.

Введение в языковое тестирование
Требования к чистоте научного эксперимента (Дж. Кеттелл)
Американский психолог Джеймс Мак-Кин Кеттелл в статье «Умственные
тесты и измерения» ввёл термин «тест». Дж. Кеттелл считал тест средством
для проведения научного эксперимента с соответствующими требованиями:
• наличие одинаковых условий для всех испытуемых;
• ограничение теста по времени ~1 час;
• изоляция испытуемых от внешних факторов, в том числе от посторонних
лиц;
• снабжение испытуемых одинаковыми инструкциями по тому, что и как
надо делать;
• статистическая обработка результатов тестирования

3.

Введение в языковое тестирование
Три базовых принципа тестирования (Френсис Гальтон)
Английский психолог Френсис Гальтон ( Francis Galton;1822—1911)
определил три базовых принципа тестирования:
1. Применение серии одинаковых испытаний к большим группам
тестируемых;
2. Статистическая обработка результатов тестирования;
3. Выделение эталонов оценки.

4.

Введение в языковое тестирование
Ассоциация лингвистических тесторов Европы (ALTE)
Организация ALTE (Ассоциация лингвистических тесторов Европы) была
основана в 1989 году Кембриджским университетом и Университетом
Саламанки.
Члены ALTE – 74 европейских университета, консорциума, института,
являющихся мировыми лидерами в области оценки языковых компетенций:
Кембриджский университет, Институт Гете, Альянс Франсез, Институт
Сервантеса, Стокгольмский университет и др. Российский государственный
Сертификат признан Ассоциацией лингвистических тесторов Европы.

5.

Введение в языковое тестирование
Получение статуса члена ассоциации АLTE
1994 г. – Германия, Регенсбург. VIII Конгресс МАПРЯЛ «Русский язык и
литература
в
современном
диалоге
культур»,
рабочая
встреча
«Тестирование, стандарты, сертификация»;
1997 г. – Российские лингвисты присоединяются к ALTE;
1999 г. – Словакия, Братислава. IX Конгресс МАПРЯЛ «Русский язык,
литература и культура на рубеже веков», Российская государственная
система тестирования, получила одобрение ALTE.

6.

Введение в языковое тестирование
Принципы контроля 1-го уровня (Т. М. Балыхина)
1. Принцип научности;
2. Принцип эффективности;
3. Принцип всесторонности;
4. Принцип иерархической организации материалов контроля;
5. Принцип систематичности и последовательности;
6. Принцип объективности.

7.

Введение в языковое тестирование
Принципы контроля 2-го уровня (Т. М. Балыхина)
1. Принцип валидности;
6.Принцип учета качества
2. Принцип надежности;
организации и управления;
3. Принцип учета
7. Принцип аутентичности;
социальных последствий;
8. Принцип законности;
4. Принцип экономичности;
9. Принцип равенства.
5. Принцип практичности;

8.

Введение в языковое тестирование
Валидность теста
Валидность – степень соответствия, пригодности тестовых результатов той
цели, с которой проводится тест.
Параметры валидности – количество заданий в тесте, их качество, степень,
полнота и глубина охвата содержания тестовых материалов, перечень
аспектов и тем заданий.

9.

Введение в языковое тестирование
Валидность теста. Подвиды
Содержательная
Критериальная
Конструктная
Внешняя
Функциональная
Определяется тем, насколько полно и всесторонне тест охватывает
учебный материал, для проверки которого он и был сконструирован в
соответствии с языковым материалом данного уровня.
Определяется тем, в какой степени результаты теста могут быть
соотнесены с реальным состоянием обученности испытуемого или
прогнозом эффективности его последующей учебной деятельности.
Демонстрирует, насколько объект тестирования, характер заданий
учитывает психолого-лингвистическую модель усвоения языкового
материала или модель коммуникативной компетенции.
Свидетельствует о приспособлении теста к испытуемым с учётом
уровня обученности, возрастных, национальных, культурных
особенностей.
Отражает степень соответствия теста тому уровню усвоения учебного
материала, тому аспекту языка, виду деятельности, для проверки
которого он был создан.

10.

Введение в языковое тестирование
Надёжность теста
Надёжность теста – это свойство измерительного инструмента, при
котором ситуация его многократного использования и результаты
применения оказываются идентичными.

11.

Введение в языковое тестирование
Факторы, отрицательно влияющие на надежность теста
1
Малое количество
заданий
4
Угадывание верных ответов
7
Слабая мотивация
2
Разнородность
материала
5
Отсутствие интереса к тесту
8
Трудность заданий
3
Недостаток времени,
отведённого на
выполнение теста
6
Непонимание инструкции к
заданию из-за некорректности
формулировок
9
Плохие условия
проведения теста

12.

Введение в языковое тестирование
Методы проверки надежности теста
1.
Метод параллельных форм
2. Метод ретестирования
Задаётся
аналогичный
вариант
уже
использованного теста.
Повторное тестирование, если нет аналогичных
тестов, показывает результаты одного и того же
теста в разное время.
Распределение на две равноценные по трудности
Метод расщепления (внутренней части (чётные и нечётные задания) и
3. согласованности форм теста)
сравнительное их оценивание.
4.
Метод субъективных оценок
Сопоставление итоговых матриц с оценками
независимых экспертов.

13.

Введение в языковое тестирование
Нормативно-методические документы
Приказ Минобрнауки РФ от 1 апреля 2014 года № 255 «Об утверждении уровней
владения русским языком как иностранным языком и требований к ним»
Приказ Минобрнауки РФ от 25 апреля 2014 года № 412 «Об утверждении формы,
порядка выдачи сертификата о прохождении государственного тестирования по
русскому языку как иностранному языку и технических требований к нему»
Приказ Минобрнауки России от 18 июля 2014 года № 667 «Об утверждении формы и
Порядка проведения государственного тестирования по русскому языку как
иностранному языку»

14.

Введение в языковое тестирование
Учет социальных последствий
Учёт социальных последствий - это комплекс диагностических процедур, направленных на
выявление и минимизацию рисков негативного влияния экзаменационной системы на
другие социальные институты.
Принцип учёта социальных последствий предполагает контроль того, как используются
результаты экзаменов. Согласно законодательству, экзаменационная работа и личные
данные участника экзамена не могут использоваться ни в каких других целях, кроме как в
целях оценки его личной компетенции в области владения русским языком в рамках
принятия решения о выдаче ему сертификата о прохождении экзамена.

15.

Введение в языковое тестирование
Принципы проведения тестирования
1. Практичность (технологичность) – доступность инструкций и содержания теста для
испытуемых, относительная простота организации тестирования, а также проверки,
подсчета результатов, подведения итогов;
2. Экономичность – возможность конкретного теста дать максимум достоверной
информации о тестируемом при минимальных затратах времени и усилий на
составление, проведение, проверку и обработку теста, компоновка заданий, которая
позволяет весь процесс тестирования или его часть вести с помощью технических
средств;
3. Аутентичность (подлинность) – выбор аутентичных текстов, создание тестовой ситуации,
приближенной к реальным условиям.

16.

Введение в языковое тестирование
Учёт качества организации и управления
Учёт качества организации и управления – это комплекс аналитических
процедур, направленных на обеспечение высокого качества оказания
услуги по сертификации знаний и коммуникативных умений иностранных
граждан при обязательном наличии кадрового, организационного и
научно-технического потенциала.
Проведение
экзамена,
исключающего
негативные
воздействия
на
социальные институты, не должно представлять опасность для жизни и
здоровья тестируемых.

17.

Введение в языковое тестирование
Принцип законности
Законность – это точное и неуклонное соблюдение правовых норм,
строгое и полное осуществление предписаний законов и основанных на
них юридических актов.
Законность обязательна для всех сторон участников экзамена. В случае
нарушения законности тестируемый удаляется с экзамена.

18.

Введение в языковое тестирование
Документы, регламентирующие деятельность
в сфере тестирования
• Конституция РФ
• Гражданский кодекс РФ
• Федеральный закон от 25.07.2002 № 115-ФЗ «О правовом положении
иностранных граждан в РФ»;
• Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных»
• Федеральный закон от 25.12.2008 № 273-ФЗ «О противодействии
коррупции»
• Федеральный закон от 29.12.2012 № 273-ФЗ «Об образовании в РФ»
• Приказы Минобрнауки РФ от 01.04.2014 № 255, от 25.04.2014 № 412, от
18.07.2014 № 667 и др.

19.

Введение в языковое тестирование
Принцип равенства
• единая система проведения экзамена для всех без исключения лиц, вне зависимости от
их пола, национальности, расы, языка, происхождения, имущественного и должностного
положения, места жительства, убеждений, в том числе религиозных, принадлежности к
общественным объединениям и других факторов;
• тенденция к стандартизации КИМов;
• грамотно составленные тесты, комфортное проведение экзамена, правильно
организованное административное сопровождение;
• заранее подготовленные КИМы, соответствующие типовым документам;
• стоимость экзамена – единая, может варьироваться в связи с экономическим состоянием
региона;
• cертификаты ТЭУ и ТБУ должны выдаваться на срок 5 лет, иной уровень – бессрочно.

20.

Введение в языковое тестирование
Принципы контроля 1-го уровня (Т. М. Балыхина)
Спасибо за внимание!