Тестирование сверточной нейронной сети: матрица ошибок и метрики классификации

1.

Занятие 5
Тестирование модели разработанной
сверточной нейросети

2.

Этап формирования новых знаний и способов действия.
Анализ эффективности обучения модели
Чтобы проверить, что ваша сверточная нейросеть действительно работает, нужно
взять изображения, которые она не видела при обучении.
После этого запускают модель, получают её предсказания и сравнивают их с
правильными метками.
Такой процесс занимает много времени и заставляет вручную считать сколько раз
модель ошиблась, а сколько раз давала правильные предсказания.

3.

Этап формирования новых знаний и способов действия.
Зачем нужна матрица ошибок?
Для экономии времени и наглядности
результатов
можно
использовать
матрицу ошибок — таблицу, где
видно, сколько раз модель правильно
определяла целевой класс, а сколько
ошибалась.
Диагональ — правильные ответы, всё
остальное — ошибки и путаница
между классами.

4.

Этап формирования новых знаний и способов действия.
Что такое матрица ошибок?
Матрица ошибок (confusion matrix) —
это
табличное
представление,
которое используется для оценки
производительности
моделей
классификации.
Она
позволяет
визуализировать,
насколько
хорошо
модель
предсказывает
принадлежность
объектов к различным классам.

5.

Этап формирования новых знаний и способов действия.
Зачем нужна матрица ошибок?
Матрица ошибок — это инструмент анализа качества работы модели
классификации, который позволяет не просто узнать общий процент
правильных ответов, а детально понять, как именно модель принимает
решения.
С её помощью можно увидеть, какие классы модель распознаёт правильно,
а какие чаще всего путает между собой.

6.

Этап формирования новых знаний и способов действия.
Зачем нужна матрица ошибок?
Матрица ошибок помогает выявить систематические ошибки — то есть
такие ошибки, которые повторяются регулярно.
Если модель часто относит объекты одного класса к другому определённому
классу, это может говорить о схожести признаков или о недостатке
обучающих данных.

7.

Этап формирования новых знаний и способов действия.
Зачем нужна матрица ошибок?
Матрица
ошибок
позволяет
сравнивать разные модели между
собой.
Даже если у двух моделей одинаковая
точность, их распределение ошибок
может отличаться.

8.

Этап формирования новых знаний и способов действия.
Где применяются матрицы ошибок?
Матрицы ошибок широко применяются в различных областях, где
используются задачи классификации, то есть где системе необходимо
отнести объект к одному из заранее заданных классов.

9.

Этап формирования новых знаний и способов действия.
Где применяются матрицы ошибок?
В области распознавания образов матрица ошибок помогает оценить,
насколько точно модель классифицирует изображения, например
определяет объекты на фотографиях, жесты рук или дорожные знаки.

10.

Этап формирования новых знаний и способов действия.
Где применяются матрицы ошибок?
В сфере обработки естественного языка она
используется для анализа качества классификации
текстов — например, при определении темы
сообщения, его эмоциональной окраски или
принадлежности к определённой категории.

11.

Этап формирования новых знаний и способов действия.
Где применяются матрицы ошибок?
В медицинской диагностике матрица ошибок играет особенно важную роль,
так как позволяет оценить точность диагностических моделей, выявить
случаи неправильной постановки диагноза и определить, насколько часто
система пропускает заболевание или, наоборот, ошибочно указывает на его
наличие.

12.

Этап формирования новых знаний и способов действия.
Расчет функций метрики с помощью матрицы ошибок
На основе матрицы ошибок можно рассчитать различные функции
метрики (число, которое показывает, насколько хорошо нейросеть
справляется с задачей. Это “оценка качества” её ответов, то есть сколько
раз она угадала и насколько точно работает). Например, можно рассчитать
следующие метрики:
1. Категориальная правильность;
2. Полнота;
3. Точность;
4. F1-мера.

13.

Этап формирования новых знаний и способов действия.
Расчет функций метрики с помощью матрицы ошибок
Функция метрики “Категориальная правильность” - доля всех правильно
классифицированных объектов.
Данная функция метрики показывает общее качество модели, но может
быть обманчива при несбалансированных классах.

14.

Этап формирования новых знаний и способов действия.
Расчет функций метрики с помощью матрицы ошибок
Для того, чтобы рассчитать показание метрики
“Категориальная правильность” с помощью
матрицы ошибок, нужно разделить сумму главной
диагонали на общее количество объектов.
1. Рассчитаем сумму главной диагонали: 85 + 70 + 67 = 222;
2. Рассчитаем сумму всех предсказаний:
85 + 20 + 7 + 9 + 70 + 8 + 21 + 13 + 67 = 300;
1. Рассчитаем метрику “Категориальная правильность”:
222 / 300 = 0.74 (или 74%).

15.

Этап формирования новых знаний и способов действия.
Расчет функций метрики с помощью матрицы ошибок
Функция метрики “Полнота” - это доля положительных объектов, которые
были правильно классифицированы как положительные.
Данная метрика показывает, насколько хорошо модель обнаруживает
положительные случаи.

16.

Этап формирования новых знаний и способов действия.
Расчет функций метрики с помощью матрицы ошибок
Для того, чтобы рассчитать показание метрики “Полнота” с
помощью матрицы ошибок, нужно рассчитать долю верных
предсказаний модели по каждому из классов, просуммировать
все полученные значения и поделить результат на количество
классов.
1. Рассчитаем долю верных предсказаний по первому
столбцу матрицы: 85 / (85 + 20 + 7) = 0.76.
2. Рассчитаем долю верных предсказаний по второй строке
матрицы: 70 / (9 + 70 + 8) = 0.8.
3. Рассчитаем долю верных предсказаний по третьей строке
матрицы: 67 / (21 + 13 + 67) = 0.66.
4. Рассчитаем среднее значение:
(0.76 + 0.8 + 0.66) / 3 = 0.74 (или 74%).

17.

Этап формирования новых знаний и способов действия.
Расчет функций метрики с помощью матрицы ошибок
Метрика “Точность” в сверточных нейронных сетях измеряет долю верно
предсказанных положительных классов (класс, который является объектом
целевым классом.
Модель пытается правильно идентифицировать) относительно всех
объектов, которые модель предсказала как положительные.

18.

Этап формирования новых знаний и способов действия.
Расчет функций метрики с помощью матрицы ошибок
Для того, чтобы рассчитать показание метрики “Точность” с
помощью матрицы ошибок, нужно рассчитать долю каждого
класса, который был правильно распознан моделью
относительно ошибочных предсказаний модели, когда она
неправильно
отнесла
объект
к
данному
классу,
просуммировать все полученные значения и поделить
результат на количество классов.
1. Рассчитаем долю верных предсказаний по первой строке
матрицы: 85 / (85 + 9 + 21) = 0.74.
2. Рассчитаем долю верных предсказаний по второй строке
матрицы: 70 / (20 + 70 + 13) = 0.68.
3. Рассчитаем долю верных предсказаний по третьей строке
матрицы: 67 / (7 + 8 + 67) = 0.82.
4. Рассчитаем среднее значение:
(0.74 + 0.68 + 0.82) / 3 = 0.75 (или 75%).

19.

Этап формирования новых знаний и способов действия.
Расчет функций метрики с помощью матрицы ошибок
Функция метрики “F1-мера” – это среднее между точностью (precision) и
полнотой (recall). Она предоставляет более сбалансированную оценку
качества модели, чем отдельные метрики точности и полноты (рис. 5).
Данную метрику целесообразно использовать когда важны и точность
предсказаний и их полнота одновременно и при дисбалансе классов.

20.

Этап формирования новых знаний и способов действия.
Расчет функций метрики с помощью матрицы ошибок
Рассчитаем функцию метрики “F1-мера” по уже известным
значениям точности и полноты:
2 * 0.75 * 0.74 / (0.74 + 0.75) = 0.74.

21.

Этап формирования новых знаний и способов действия.
Матрица ошибок в среде NNTrack
После обучения нейросети вы можете посмотреть матрицу ошибок. Для
этого в окне тестирования нужно нажать на кнопку “Матрица ошибок”.

22.

Этап формирования новых знаний и способов действия.
Матрица ошибок в среде NNTrack
После этого вам нужно указать папку с
изображениями,
которые
будут
проанализированы (структура папки должна
совпадать со структурой датасета) и количество
изображений, которые случайным образом
будут взяты из каждого класса

23.

Этап формирования новых знаний и способов действия.
Матрица ошибок в среде NNTrack
После этого вы сможете увидеть матрицу ошибок.

24.

Этап формирования новых знаний и способов действия.
Тестирование модели нейронной сети в среде NNTrack
Вы можете протестировать вашу модель в NNTrack, загрузив свою
фотографию или видеопоток. Для этого нужно перейти в окно тестирования.
В данном окне есть 2 кнопки - “Камера” и “Изображение”

25.

Этап формирования новых знаний и способов действия.
Тестирование модели нейронной сети в среде NNTrack
После нажатия на кнопку “Изображение” вам нужно выбрать ваше
изображение в проводнике. Далее модель сделает свое предположение
относительно вашей фотографии.

26.

Практическая работа
Практическая работа
Задание 1.
Откройте ваш проект в NNTrack (либо из папки project).
Проанализируйте матрицу ошибок на тестовом датасете (из папки
“Изображения”) или найдите в интернете по 5 фотографий на каждый
класс.
Рассчитайте значения функций метрик “Категориальная правильность”,
“Точность”, “Полнота” и “F1-мера”.
Результаты запишите в таблицу №1. Сделайте вывод.
Таблица №1 находится в презентации для обучающихся.

27.

Практическая работа
Практическая работа
Задание 2.
Заполните таблицу №2 чтобы закрепить материал занятия.
Таблица №2 находится в презентации для обучающихся.

28.

Практическая работа
Закрепление изученного учебного материала
1. Какие результаты вы получили после тестирования вашей нейронной
сети?
1. Достаточно ли хорошо работает обученная вами нейросеть? Почему?
1. Нуждается ли разработанная модель в доработке?