Методы поиска областей открытия и закрытия в видео и способы их улучшения

1. Методы поиска областей открытия/закрытия в видео и способы их улучшения

Великанов Максим
Video Group
CS MSU Graphics&Media Lab

2. Содержание

Введение
Методы поиска областей открытия/закрытия
Методы построения оптического потока
Заключение
CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
2

3. Введение Оптический поток

1 кадр
2 кадр
оптический поток
CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
направление движения
A. Dosovitskiy et al., “FlowNet: Learning optical flow
with convolutional networks,” in ICCV, 2015
3

4. Введение Области открытия/закрытия

видео
CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
оптический поток
области открытия/закрытия
https://github.com/visinf/irr
4

5. Введение FlowNet — encoder

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
A. Dosovitskiy et al., “FlowNet: learning optical flow
with convolutional networks,” in ICCV, 2015
5

6. Введение FlowNet — decoder

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
A. Dosovitskiy et al., “FlowNet: learning optical flow
with convolutional networks,” in ICCV, 2015
6

7. Введение PWC-Net (1)

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
D. Sun et al., “Models matter, so does training:
an empirical study of CNNs for optical flow
estimation,” in IEEE TPAMI, 2019
7

8. Введение PWC-Net (2)

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
D. Sun et al., “PWC-Net: CNNs for optical flow using
pyramid, warping, and cost volume,” in CVPR, 2018
8

9. Содержание

• Введение
• Методы поиска областей открытия/закрытия
• IRR-PWC
• FlowNet-CSSR
• ContinualFlow
• Методы поиска оптического потока
• Заключение
CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
9

10. IRR-PWC Суть метода

• Прогоняют поток через одну и ту же сеть несколько раз,
в основе — зарекомендовавшие себя архитектуры
• Одновременное вычисление потока и областей
открытия/закрытия
• Прямое и обратное вычисление оптического потока
• Билатеральная фильтрация
• “Super-resolution” для областей о/з
CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
10

11. IRR-PWC Общая архитектура

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
11

12. IRR-PWC Применение IRR к FlowNetS

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
12

13. IRR-PWC Дополнительные улучшения

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
13

14. IRR-PWC Увеличение разрешения областей о/з

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
14

15. IRR-PWC Применение к PWC-Net (1)

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
15

16. IRR-PWC Применение к PWC-Net (2)

CS MSU Graphics&Media Lab (Video Group)
www.compression.ru/video
H. Junhwa and S. Roth, “Iterative residual
refinement for joint optical flow and occlusion
estimation,” in CVPR, 2019
16

17. IRR-PWC Функция ошибки (1)

Для каждой итерации обработки