Компьютерное зрение. Математика в задачах обработки изображений

1. Компьютерное зрение. Математика в задачах обработки изображений

Горбачев Вадим Александрович, к.ф.-м.н.
МФТИ, ГосНИИАС

2. Компьютерное зрение

Компьютерное
зрение
Машинное
обучение
Глубокое
обучение
Машинное Фотограмзрение
метрия
Распознавание образов

3. Примеры задач

Распознавание автомобильных номеров
Классификация изображений
Выявление движущихся объектов на видео, слежение
Создание панорам из изображений
Примеры
задач
Построение трёхмерных моделей объектов по снимкам
Детектирование объектов определённого класса
Ориентация робота в пространстве
Синтез реалистичных текстур
Поиск по изображениям
Анализ медицинских изображений (подсчёт клеток и их типов)
Биометрия

4. Пример: Задача выделения объектов

Задача: выделить объекты, определив порог бинаризации
Пример:
Задача
выделения
объектов
Низкий порог
Высокий порог

5. Яркости пикселей объектов и фона имеют различное распределение

Гипотеза

6. Модель

Бимодальное распределение
Модель

7. Метод Оцу

Идея: найти порог оптимальным образом, так чтобы
минимизировать дисперсию внутри одного класса (и
максимизировать дисперсию между классами)
Метод Оцу

8. Пример

Задача: разделить изображение на области так чтобы каждая
область соответствовала одному объекту
Пример

9. Соседние пикселы внутри одного объекта мало различаются по яркости

Гипотеза

10. Модель

Неориентированный граф. Вершины - это все пиксели. Рёбра
ставятся между соседними пикселями. Чем больше разность
яркости - тем больше вес ребра.
Модель

11. Метод  «Efficient Graph-Based Image Segmentation»

Идея: Будем добавлять рёбра между пикселами с
минимальным весом, чтобы строить MST. Если ребро
объединяет два дерева (региона), используем хитрое правило
Метод
«Efficient
Graph-Based
Image
Segmentation»

12. Graph-Based Image Segmentation

GraphBased Image
Segmentation

13. Пример

Внутри областей имеются резкие границы, цвет неоднороден
Пример

14. Будем штрафовать точки границы, чтобы она была только там где точно необходимо

Гипотеза

15. Модель

Условные/марковские случайные поля
Наблюдаемые переменные
Модель
Вероятностная
модель связей
Скрытые переменные

16. Метод GrubCut

Идея: представим картинку как граф, веса рёбер зададим в
соответствии с энергиями. Применим метод разреза графа
Метод
GrubCut

17. Пример

На изображении много областей, они относительно однородны
Пример

18. Пикселы одного объекта близки в пространстве яркость-координата 

Пикселы одного
объекта близки в
пространстве
яркость-координата
Гипотеза

19. Модель

Кластеры в многомерном пространстве (RGB-XY)
Модель

20. Метод Mean-Shift

Идея: Сопоставим пикселам изображения точки в
пространстве RGBXY. Выполним оценку среднего в
окрестности точки. Запишем вектор смещения среднего
относительно каждой точки. Все точки, от которых вектора
смещаются в один и тот же центр отнесём к одному классу
Метод
Mean-Shift

21. Mean-Shift

22. Совсем сложный пример

23. Нейросети могут всё!

Гипотеза

24. Модель

придумывать не будем
Модель
Соберём побольше данных и закинем в нейросеть
...
Profit!!!

25. Нейронные сети Эволюция архитектур

26. Линейный классификатор

Сумма + Нелинейность (Сигмоид) = Logistic regression
Линейный
классификатор