Компьютерное зрение. Математика в задачах обработки изображений
Компьютерное зрение
Примеры задач
Пример: Задача выделения объектов
Яркости пикселей объектов и фона имеют различное распределение
Модель
Метод Оцу
Пример
Соседние пикселы внутри одного объекта мало различаются по яркости
Модель
Метод  «Efficient Graph-Based Image Segmentation»
Graph-Based Image Segmentation
Пример
Будем штрафовать точки границы, чтобы она была только там где точно необходимо
Модель
Метод GrubCut
Пример
Пикселы одного объекта близки в пространстве яркость-координата 
Модель
Метод Mean-Shift
Mean-Shift
Совсем сложный пример
Нейросети могут всё!
Модель
Нейронные сети Эволюция архитектур
Линейный классификатор
Нейронные сети
Многослойные нейронные сети
Многослойные нейронные сети
Свёрточные сети
Свёрточные сети
Свёрточные сети
Применение
За кадром
Автоэнкодер
Автоэнкодер
U-net
Генерирующие сети
Generative adversarial network
Этих людей не существует
Conditional GAN
Pix2pix
Conditional GAN
CycleGAN
CycleGAN
Паровоз ещё не уехал! Новые архитектуры и модели впереди!
Мои проекты
Магазин будущего
Магазин будущего
Семантическая сегментация аэро- и космоснимков
Визуальный осмотр воздушных судов с помощью дронов и ИИ
Новая биометрия
Спасибо за внимание!
14.85M
Category: programmingprogramming

Компьютерное зрение. Математика в задачах обработки изображений

1. Компьютерное зрение. Математика в задачах обработки изображений

Горбачев Вадим Александрович, к.ф.-м.н.
МФТИ, ГосНИИАС

2. Компьютерное зрение

Компьютерное
зрение
Машинное
обучение
Глубокое
обучение
Машинное Фотограмзрение
метрия
Распознавание образов

3. Примеры задач

Распознавание автомобильных номеров
Классификация изображений
Выявление движущихся объектов на видео, слежение
Создание панорам из изображений
Примеры
задач
Построение трёхмерных моделей объектов по снимкам
Детектирование объектов определённого класса
Ориентация робота в пространстве
Синтез реалистичных текстур
Поиск по изображениям
Анализ медицинских изображений (подсчёт клеток и их типов)
Биометрия

4. Пример: Задача выделения объектов

Задача: выделить объекты, определив порог бинаризации
Пример:
Задача
выделения
объектов
Низкий порог
Высокий порог

5. Яркости пикселей объектов и фона имеют различное распределение

Гипотеза

6. Модель

Бимодальное распределение
Модель

7. Метод Оцу

Идея: найти порог оптимальным образом, так чтобы
минимизировать дисперсию внутри одного класса (и
максимизировать дисперсию между классами)
Метод Оцу

8. Пример

Задача: разделить изображение на области так чтобы каждая
область соответствовала одному объекту
Пример

9. Соседние пикселы внутри одного объекта мало различаются по яркости

Гипотеза

10. Модель

Неориентированный граф. Вершины - это все пиксели. Рёбра
ставятся между соседними пикселями. Чем больше разность
яркости - тем больше вес ребра.
Модель

11. Метод  «Efficient Graph-Based Image Segmentation»

Идея: Будем добавлять рёбра между пикселами с
минимальным весом, чтобы строить MST. Если ребро
объединяет два дерева (региона), используем хитрое правило
Метод
«Efficient
Graph-Based
Image
Segmentation»

12. Graph-Based Image Segmentation

GraphBased Image
Segmentation

13. Пример

Внутри областей имеются резкие границы, цвет неоднороден
Пример

14. Будем штрафовать точки границы, чтобы она была только там где точно необходимо

Гипотеза

15. Модель

Условные/марковские случайные поля
Наблюдаемые переменные
Модель
Вероятностная
модель связей
Скрытые переменные

16. Метод GrubCut

Идея: представим картинку как граф, веса рёбер зададим в
соответствии с энергиями. Применим метод разреза графа
Метод
GrubCut

17. Пример

На изображении много областей, они относительно однородны
Пример

18. Пикселы одного объекта близки в пространстве яркость-координата 

Пикселы одного
объекта близки в
пространстве
яркость-координата
Гипотеза

19. Модель

Кластеры в многомерном пространстве (RGB-XY)
Модель

20. Метод Mean-Shift

Идея: Сопоставим пикселам изображения точки в
пространстве RGBXY. Выполним оценку среднего в
окрестности точки. Запишем вектор смещения среднего
относительно каждой точки. Все точки, от которых вектора
смещаются в один и тот же центр отнесём к одному классу
Метод
Mean-Shift

21. Mean-Shift

22. Совсем сложный пример

23. Нейросети могут всё!

Гипотеза

24. Модель

придумывать не будем
Модель
Соберём побольше данных и закинем в нейросеть
...
Profit!!!

25. Нейронные сети Эволюция архитектур

26. Линейный классификатор

Сумма + Нелинейность (Сигмоид) = Logistic regression
Линейный
классификатор
English     Русский Rules