Согласованность экспертных классификаций

1.

Согласованность экспертных
классификаций
28.06.2023
Калугин Василий Федорович
А-14-19

2.

Цели работы
1. Рассмотреть алгоритмы для
проверки согласованности
экспертных классификаций.
2. Исследовать распределения
рассмотренных показателей.
3. Рассмотреть примеры
применения в реальных
задачах.
4. Написать программу для
построения распределений
и нахождения процентных
точек.

3.

Экспертные классификации
• Экспертные классификации представляют собой данные, в
которых каждый объект классифицируется несколькими
экспертами на некоторое заранее определенное
количество классов.
• Если классы упорядочены, то есть можно ввести
отношение > между каждыми классами, то в этом случае
классификация является сортировкой. Иначе - разбиением.
• Введем гипотезу С о случайности ответов экспертов, и если
эта гипотеза опровергается, тогда говорим о
согласованности экспертов.
3

4.

Проверка гипотезы
1. Для проверки гипотезы будем
сравнивать наблюдаемое
значение æ с верхней процентной
точкой Zα, соответствующей приня
тому уровню значимости α.
2. Если наблюдаемое значение
превосходит Zα, констатируем
согласованность.
3. Иначе констатируем
несогласованность.
4

5.

Случай двух экспертов
, где
Показатель согласованности
,
- Количество объектов, для которых разность номеров категорий равна r.
Можно заметить, что проверку гипотезы можно осуществить по P0, сравнив его
значение с нижней процентной точкой его распределения.
Для единственного
объекта
Для n объектов
, где
Утверждение 1. Распределение P0 асимптотически нормально.
5

6.

Распределение P0
6

7.

Случай нескольких экспертов
Показатель согласованности для i-го объекта
Где
Итоговый показатель согласованности можно вычислить как
Утверждение 2. Распределение Vi асимптотически нормально.
7

8.

Распределение Vi
8

9.

Распределение Vi
9

10.

Применение
Пример. Требуется оценить степень
согласия для двух мануальных
терапевтов, которые в некоторой
группе испытуемых определяют
наличие/отсутствие положительного
диагноза.
10

11.

Применение
Пример. Рассмотрим в качестве примера задачу определения возрастного
диапазона по фотографии на наборе данных FG-Net[7], состоящий из 1002
фотографий для 82 уникальных людей в разных возрастах. У эксперта есть 7
вариантов ответа: 1 – возраст от 0 до 9, 2 – от 10 до 19, 3 – от 20 до 29 и т.д.
Задача состоит в том, чтобы отобрать объекты, предсказанный класс которых
соответствует правильному ответу.
Для исходного набора данных(датасета) sucess = 0.345, MAE = 1.22.
1. Уровень доверия 95%, для него соответствует процентная точка 0.358. В этом
случае будет отобрано 688 с success = 0.376 и MAE=1.03.
2. Уровень доверия 98.5%, для него соответствует процентная точка 0.456. В
этом случае будет отобрано 535 объектов с success=0.411 и MAE=0.959.
11