Структурное сопоставление трехмерных изображений и сезонно-суточная инвариантность

1. Структурное сопоставление трехмерных изображений и сезонно-суточная инвариантность

Структурное
сопоставление
трехмерных
изображений и сезонносуточная
инвариантность

2.

Авторы:
Луцив Вадим Ростиславович,
Малашин Роман Олегович,
Малышев Игорь Александрович,
Пономарев Святослав Владимирович
Государственный оптический институт
им. С.И. Вавилова
2

3.

Содержание доклада
• Практическая актуальность задачи сопоставления изображений
• Современные решения в области сопоставлении изображений
реальных сцен
• Механизм двумерного структурного сопоставления,
разработанный нами ранее
• Усовершенствование механизма структурного сопоставления для
обработки изображений трехмерных сцен
• Результаты трехмерного структурного сопоставления и выводы
3

4.

Практическая актуальность задачи
сопоставления изображений
Многие годы алгоритмы сопоставления изображений применяются в:
• автоматизации производства
• здравоохранении
• системах обеспечения безопасности и криминалистике
• дистанционном зондировании Земли
Особенно сложно автоматическое сопоставление изображений
реального естественного окружения, поэтому остается актуальной
разработка новых робастных решений для:
• распознавания целей
• аэрокосмического мониторинга Земли
• навигации беспилотных летательных аппаратов
• навигации автономных наземных роботов
Наше исследование как раз посвящено алгоритмам сопоставления
4
изображений реального естественного окружения.

5.

Традиционные методы распознавания не
достаточно эффективны в условиях
естественной изменчивости и разнообразия
анализируемых изображений
Снимки одной и той же
местности, сделанные с
интервалом в несколько
месяцев
Кросскорреляционная
функция снимков,
сделанных в разные сезоны
или с разных ракурсов
деградирует
5

6.

Известный современный алгоритм SIFT
ошибается при сопоставлении элементов
изображений со слабо выраженной текстурой и
повторяющимися деталями
Для преодоления этой трудности необходим более эффективный
6
анализ взаимного положения элементов изображения!

7.

Нашим коллективом ранее был разработан
эффективный объектно-независимый алгоритм
контурного структурного сопоставления
двумерных видеоданных
Исходное изображение
Контуры, относящиеся
к большим градиентам
яркости
Структурное описание
контуров
7

8.

Надежность работы нашего алгоритма в условиях естественной
изменчивости окружающей среды обусловлена учетом
следующих существенных ограничений, следующих из
свойств наблюдаемого мира и зрительных систем
1. Большинство систем машинного зрения проецируют изображение через
линзу, что является источником проективных или аффинных преобразований.
2. Объекты наблюдаемого мира обычно локально жесткие. Взаимное
положение их частей не изменяется мгновенно. Нежесткость объектов
приводит к отклонениям преобразования их изображений от аффинного.
3. Объекты наблюдаемого мира, обычно не прозрачны, а их поверхности не
зеркальны. Наблюдение прозрачных и зеркально отраженных объектов часто
связано со зрительными иллюзиями.
4. Наблюдаемый мир состоит из поверхностей объектов,
что в совокупности с непрозрачностью обусловливает правила загораживания
объектов.
5. Свойства поверхностей варьируют при изменении условий наблюдения.
Наблюдаемые границы объектов наиболее устойчивы к таким изменениям.
6. Наблюдаемый мир структурирован и организован иерархически:
видимая сцена делится на объекты и подобъекты. При увеличении
пространственного разрешения текселы также становятся объектами,
имеющими свою форму.
8

9.

Стимулом к этому исследованию были результаты
применения обобщенных эталонных функций для
структурной декомпозиции изображений,
опубликованные И.Б. Мучником и Н.В. Завалишиным
Вес
0 Y
X
0
X
Узкополосная функция Положения экстремумов разности изображения
информативности
и функции информативности
9

10.

Разработанный объектно-независимый алфавит
ортогональных структурных элементов
Структурные элементы первого типа, соответствующие локальным объектам
E1-1: z=k1x2+k2y2+C=(k1x2+С1) + (k2y2+C2) = zx+ zy
Имеет близкую к нулю
ширину пространственного
спектра по абсциссе и
ординате
Имеют близкую к нулю
ширину
пространственного
спектра по одной
декартовой координате и
нулевую ширину спектра
по другой координате
Е1-2 ┴ Е1-3
Структурные элементы второго типа, соответствующие границам
объектов
E2-1: z/ x=2k1x => E2-1 ┴ E2-2, E2-1 ┴ E1-1 , E2-1 ┴ E1-2 , E2-1 ┴ E1-3
E2-2: z/ y=2k2y => E2-2 ┴ E2-1, E2-2 ┴ E1 -1 , E2-2 ┴ E1-2 , E2-2 ┴ E1-3
Имеют близкую к нулю ширину пространственного спектра по одной
декартовой координате и нулевую ширину спектра по другой координате
Использованный алфавит структурных элементов
• ортогонален => не избыточен;
• имеет узкую спектральную полосу => объектно-независим, робастен;
• инвариантен к аффинным и проективным преобразованиям.
10

11.

Структурные элементы первого и второго типов
применены на всех иерархических уровнях анализа
*
* Имеет аналогии в нейрофизиологии зрения
Второй
уровень
Формирование зон внимания для выделения
отдельных объектов
*
Первый
уровень
Выделение контурных структурных элементов
*
*
Нулевой
уровень
Выделение текселов
Выделение контуров
11

12.

Механизм двумерного анализа пригоден для
структурного сопоставления снимков,
сделанных в разные сезоны с разных ракурсов
Февральский
аэрофотоснимок
Майский снимок
той же местности
Результат
структурного
сопоставления и
регистрации снимков
12

13.

Структурное сопоставление
радиолокационных и оптических снимков
Снимок, сделанный в
оптическом диапазоне
Радиолокационный
снимок
Результат сопоставления и
мозаичной регистрации снимков
13

14.

Механизм двумерного структурного анализа
пригоден для сопоставления аэрокосмических
снимков с векторными картами местности
Космический снимок
Векторная ГИС-карта
местности
Результат сопоставления
и регистрации снимка и
карты
14

15.

Механизм двумерного структурного анализа пригоден для
сопоставления реальных снимков с контурными скетчами
Грубый
контурный
набросок
самолета,
сделанный
от руки
Результат
сопоставлени
я контурного
наброска с
изображением
Реальное
растровое
изображение
самолета
Контуры,
выделенные
в растровом
изображении
15

16.

«Способности к обобщению» в механизме
двумерного структурного контурного
сопоставления
Исходные снимки
Результат
автоматического
сопоставления и
регистрации снимков
Алгоритм SIFT не способен к таким зрительным ассоциациям!
16

17.

Двумерное контурное структурное описание,
используемое при сопоставлении изображений
Исходное полутоновое Контуры, относящиеся
к большим градиентам
изображение
яркости
Контурное
структурное
описание
Структурные описания включают огромные количества таких
17
похожих простых контурных элементов !

18.

Структурное сопоставление выполняется
путем оптимизированного обхода дерева
решений
!
...
...
18

19.

Структурное сопоставление контурных
элементов нижнего иерархического уровня
Каскадный механизм удаления «неперспективных»
ветвей дерева поиска сокращает время решения
Структурные
элементы
первого
изображения
l1
3
Преобразование
системы
координат
d2
d1
1
l1 l2 ?
Собственные
параметры Нет
сопоставляемых
элементов
3
d1 d2 ?
Попарные
отношения
структурных
элементов
l2
Структурные
элементы
второго
изображения
2
i i < Порога ?
Нет
3
Интегральная мера
сходства двух множеств
структурных элементов
должна быть высока
19

20.

Коррекция
групп
элементов
2й иерархический уровень
(сопоставление групп структурных
элементов)
No 1
No 3
No 2
G1
g1
G2
g2
...
...
Коррекция формы структурных элементов
Иерархическое структурное
сопоставление
gm
Gn
a
Группы элементов
изображения
1го
b
Группы элементов
2го изображения
1й иерархический уровень (сопоставление элементов каждой
группы с элементами каждой группы другого изображения)
Нулевой иерархический уровень (построение контурных
структурных описаний)
20

21.

Коррекция контурных структурных
описаний на нижнем иерархическом уровне
сопоставления с использованием принципа
адаптивного резонанса
Существенно различающиеся
контурные структурные описания
пары изображений
Контурные структурные описания,
хорошо соответствующие друг
другу в результате выполнения
структурного сопоставления
21

22.

Такое робастное сопоставление достигается
именно за счет применения иерархической
процедуры с использованием адаптивного
резонанса
Снимок, сделанный в
оптическом диапазоне
Радиолокационный
снимок
Результат сопоставления и
мозаичной регистрации снимков
22

23.

Какой ценой достигнута робастность сопоставления?
Структурные описания состоят из
огромного количества таких
похожих простых контурных
элементов
Отличная робастность
сопоставления достигается ценой
применения глобальной модели
аффинного преобразования, жестко
ограничивающей взаимные
положения структурных элементов!
3
l1
Структурные
элементы 1го
изображения
l2
d2
d1
Двумерное
структурное
сопоставление
1
Структурные
элементы 2го
изображения
2
23

24.

Нельзя применять единую модель
геометрического преобразования к всему
изображению трехмерной сцены
a12
2
a3
0
a11
1
a3
0
a12
a14
0
a51
a61
1
a15
5
a3
0
a14
4
a3
0
Изображение трехмерной сцены
(камера находится внутри сцены)
a22
a42
0
a25
a
5
4
0
a24
a44
0
a52
a62
1
a55
a65
1
a13
3
a3
0
a23
a43
0
a53
a63
1
a54
a64
1
Преобразование изображения должно
быть описано отдельной моделью для
каждой наблюдаемой поверхности
24

25.

Переход от двумерных к трехмерным
структурным описаниям
Двумерное
структурное
сопоставление
l1
Структурные
элементы 1го
изображения
3
l2
d2
d1
1
Структурные
элементы 2го
изображения
2
l`1≥ l1
Трехмерное
структурное
описание
В современных условиях стали доступны достаточно точные и
недорогие датчики трехмерных видеоданных !
25

26.

Переход от двумерных к трехмерным
описаниям длины и ориентации
прямой линии
d
y
x1 x2 2 y1 y2 2
y2
d ( x1 x2 ) ( y1 y 2 ) ( z1 z 2 )
2
2
tg 1 y1 y2 x x
1
2
tg y1 y2 x x
1
2
,
0 x x
1
2
z
z2
d'
tg 1 z1 z2 d
y1
z1 y
y1 2
0 x x d
1 2
.
1
2
d
x
y
'
'
x
26

27.

Вычисление углов между контурными
линиями в трехмерном пространстве
Величины углов, образованных не
скрещивающимися контурными линиями,
вычисляются следующим образом:
X X
cos 1 1 2
X X2
1
:
z
y
(x4, y4, z4)T
(x3, y3, z3)T
(x2, y2, z2)T
(x1, y1, z1)T
X2
X1
0
x1
Для не скрещивающихся
x2
сегментов прямых линий: det
x
3
x
4
y1
y2
y3
y4
z1 1
z 2 1
0
z3 1
z 4 1
x
27

28.

Переход от двумерной модели аффинного
преобразования к трехмерной в задаче
структурного сопоставления изображений
x a1
y a3
1 0
a2
a4
0
a5 x
a6 y
1 1
x' a1
y ' a4
z' a
7
1 0
a2
a3
a5
a6
a8
a9
0
0
Вектор
преобразованных
координат
a10 x
a11 y
a12 z
1 1
Вектор
преобразуемых
координат
Параметры
преобразования
28

29.

Переход от двумерной модели
проективного преобразования к
трехмерной в задаче структурного
сопоставления изображений
x a1
y a3
1 a
7
a2
a4
a8
a5 x
a6 y
1 1
x' a1
y ' a4
z' a
7
1 a
13
a2
a3
a5
a6
a8
a9
a14
a15
Вектор
преобразованных
координат
a10 x
a11 y
a12 z
1 1
Вектор
преобразуемых
координат
Параметры
преобразования
29

30.

Пример модельных видеоданных,
использованных в задаче трехмерного
структурного сопоставления
Смоделированное
полутоновое изображение
трехмерной сцены
Смоделированная карта
глубины
30

31.

Трехмерные видеоданные, реально
полученные сенсором Kinect в
помещении с разных ракурсов
Двумерные изображения
Контуры, выделенные в
двумерных изображениях
Карты глубины
31

32.

Сравнительный анализ точности регистрации
изображений при использовании алгоритмов
их двумерного и трехмерного сопоставления
Двумерное структурное сопоставление (на Трехмерное структурное сопоставление
заднем плане наблюдается существенное
(удовлетворительная точность 32
пространственное рассогласование)
регистрации на переднем и заднем плане)

33.

Сравнение точности регистрации изображений
при корректных и некорректных действиях со
скрещивающимися прямыми
Худшие результаты сопоставления и
регистрации получены когда некоторые
контурные углы построены из
скрещивающихся прямых
Лучшие результаты сопоставления и
регистрации получены когда все
контурные углы построены из не 33
скрещивающихся прямых

34.

Замена трехмерной аффинной на трехмерную
проективную модель взаимного преобразования
изображений трехмерных сцен
x' a1
y ' a4
z' a
7
1 0
a2
a3
a5
a6
a8
a9
0
0
a10 x
a11 y
a12 z
1 1
x' a1
y ' a4
z' a
7
1 a
13
a2
a3
a5
a6
a8
a9
a14
a15
Вектор
преобразованных
координат
a10 x
a11 y
a12 z
1 1
Вектор
преобразуемых
координат
Параметры
преобразования
34

35.

Улучшение точности сопоставления контуров с
применением проективной модели преобразования
Проективная модель
преобразования
Аффинная модель
преобразования
Пара сопоставляемых изображений трехмерной сцены
35

36.

Отличные возможности обобщения, полученные
ранее для нашего механизма двумерного
сопоставления, должны сохраниться в случае
трехмерного сопоставления
?
Чтобы убедиться в этом, необходимы подходящие наборы
трехмерных видеоданных, полученных на открытом воздухе !
36

37.

Выводы
• Использование
разработанного объектно-независимого подхода к
контурному структурному анализу и заимствование механизмов
человеческого зрительного восприятия сделало сопоставление
изображений реального окружения инвариантным к естественным
изменениям условий наблюдения
•Результаты работы алгоритма трехмерного структурного
сопоставления заметно лучше результатов двумерного
сопоставления. Это подтверждает корректность используемых
математических моделей.
•Использование модели трехмерного проективного преобразования
вместо модель трехмерного аффинного преобразования увеличило
точность структурного сопоставления.
• Наконец, необходимо перейти к анализу трехмерных видеоданных,
реально полученных на открытом воздухе.
37

38.

Благодарю за внимание
38