Задача нахождения объектов на изображении

1.

Задача нахождения объектов на
изображении

2.

План лекции
1. Постановка задачи
2. Метрики качества
3. Подходы к детектированию объектов
4. Двухэтапные методы
5. Одноэтапные методы
6. Инструменты для нахождения объектов на изображении

3.

Постановка задачи
Задача нахождения объектов на изображении –
определение наличия или отсутствия объекта
определённого домена на изображении,
нахождение границ этого объекта в системе координат
пикселей исходного изображения

4.

Постановка задачи
Задача нахождения объектов на изображении:
• классификация изображений
• локализация объектов
• детектирование объектов
• семантическая сегментация
• сегментация экземпляров

5.

Классификация изображений

6.

Локализация объектов

7.

Детектирование объектов

8.

Семантическая сегментация

9.

Сегментация экземпляров

10.

Задача нахождения объектов на изображении

11.

Метрики качества
• метрики для задачи классификации
+
• Intersection over Union (IoU)
• mean Average Precision (mAP)

12.

Intersection over Union

13.

Intersection over Union

14.

mean Average Precision

15.

mean Average Precision

16.

mean Average Precision
• AP считается для каждого класса в отдельности
• затем считается среднее арифметическое по всем классам
• получаем – mAP
• график «Precision-Recall» часто сглаживают перед вычислениями

17.

Детектирование объектов
Детектирование объектов на изображении –
выделение множества объектов на изображении
посредством нахождения координат их
ограничивающих рамок и классификации этих
ограничивающих рамок из множества заранее
известных классов

18.

Подходы к детектированию объектов
• сопоставление с шаблоном (template matching)
• двухэтапные методы (two-stage methods)
• одноэтапные методы (one-stage methods)

19.

Сопоставление с шаблоном

20.

Сопоставление с шаблоном
Примечания:
• неэффективный алгоритм из-за перебора всех размеров и
всех расположений шаблона

21.

Двухэтапные методы
Двухэтапные методы – методы, разделённые на два этапа:
• предсказание регионов интереса (Region of Interest, RoI) с
помощью специального алгоритма
• классификация регионов и регрессия координат рамок

22.

Двухэтапные методы: RCNN

23.

Двухэтапные методы: Fast RCNN

24.

Двухэтапные методы: Faster RCNN

25.

Одноэтапные методы
Двухэтапные методы – методы, не использующие
отдельного алгоритма для предсказания регионов интереса.
Методы предсказывают координаты определённого
количества ограничивающих рамок (bounding box) с
различными характеристиками (напр., уверенность в
рамках, вероятности классов, …).

26.

Одноэтапные методы: YOLO

27.

Одноэтапные методы: SSD

28.

Подходы к детектированию объектов

29.

Инструменты для нахождения объектов
• mmdetection
• detectron2
• darknet
•…