Проблемы технического зрения в современных авиационных системах

1.

Проблемы технического зрения
в современных авиационных системах
Генеральный директор ФГУП «ГосНИИАС»,
д.т.н., член-корреспондент РАН
Желтов С.Ю.
Нач. лаб. ФГУП «ГосНИИАС»,
д.ф.-м.н., с.н.с.
Визильтер Ю.В.
ИКИ РАН, 16 марта 2010 г.

2. Технологии машинного зрения в авиационных системах оборонного назначения

2

3.

Общая структура систем
( система командования, управления связи,
вычислительной техники и разведки)
космические и
авиационные
платформы
получения данных
планирование операций,
моделирование,
навигация,
управление
движением
системы, данные, службы/сети
связанные с изображениями
и географическими
координатами
географическая
поддержка
разведка,
управление,
целеуказание
наземная
разведка
С4I – «нервная система» военной
структуры с целью эффективного
использования «мускульной силы»
военной структуры, т.е. оружия, платформ
носителей и войск

4.

Комплексирование информации
от датчиков различной
физической природы
Космоснимки
ИК-данные
Радары
Авиаснимк
Видео
Лазерные
системы

5.

Информационные потоки ЛА начала XXI века
2,5 млрд. бит/с
500 Мбит/с
Оптоэлектронные и
тепловизионные
датчики
Датчики
РЛС и РЭП
100 Мбит/с
Датчики ИС и
госопознавания
Переключательная сеть
1800 Мбит/с
Интегрированные ВС
Интегрированные
ВС
обработки
сигналов
ИУП
ВС
верхнего
уровня
(СЕИ, ЭС, БЗ)
Самолетные
системы
25 млрд. оп/с + 19 млрд. пт./с,
170 Мбайт
2 млрд. оп./с,
45 Мбайт
150 МБ/с

6.

Функциональные задачи самолетов XXI века в новых условиях
Обеспечение быстрой
и помехоустойчивой
передачи объемных
данных
Обеспечение
высоко оперативного
целеуказания
Обеспечение высокой
точности
навигационных систем
Подготовка данных
для АСП
Обеспечение сверх
большой дальности
боевого применения
Обеспечение
всепогодности
выполнения
боевой задачи
Обеспечение малой
заметности
Обеспечение высокой
точности
самонаведения

7.

Авиационные системы, требующие
анализа изображений
Системы разведки и целеуказания на базе
космических, авиационных и БЛА
носителей;
Системы подготовки полётных заданий;
Высокоточная геопространственная
привязка;
Высокоточное оружие;
Перспективные робототехнические
комплексы.

8.

Главные направления развития технического зрения
в системах управления
Интеллектуализация систем управления, решение новых
целевых задач
Улучшение характеристик точности и надёжности
Технические предпосылки прогресса
Совершенствование оборудования для получения цифровых
изображений
Прогресс в области аппаратных средств обработки изображений
Датчики изображения (тенденции развития)
Высокое разрешение
Высокая частота кадров
Малый размер
Интеллектуальные камеры

9.

Высокое разрешение (CAMELIA 8M)
Высокое разрешение (до 8 Megapixels)
CCD Сенсор большого формата с
прогрессивной разверткой
Высокая чувствительность и
цветопередача
3x12 bit захват и оцифровка
Высокое отношение с/ш (>63dB)
Высокая частота кадров (DALSA DS-4x-65K955)
DS-4x-65K955
Поток данных 100 MHz, размер пиксела 10 mkm, частота
955 fps, размер изображения 260x260 пикселов, 4 выхода
Высокая разрешение + высокая частота
DS-4x-06M18
Поток данных 160 MHz, размер пиксела 12 mkm, частота 18
fps, размер изображения 3072x2048 пикселов, 4 выхода

10.

Предельно большие матрицы
Philips, размер изображения 9216х7168
(для сравнения- человеческий глаз –
108 колбочек)
Миниатюризация датчиков
разрешение более 470-ТВЛ
Размер 26mm (L) x 12mm (D)
Интеллектуальные камеры (INCA 6+, 250000 pps)
CCD Сенсор высокого разрешения (Kodak MegaPlus
series) 16 мегапиксел и больше
Интегрированный высокопроизводительный
компьютер: 64 MB RAMl Flexible PCMCIA
Дистанционное управление вспышкой
TTL

11. Фреймграбберы и специализированные средства обработки изображений

DT2867 фирмы DATATRANSLATION интегрированный фреймграббер и
фреймпроцессор на одной плате
Обеспечивает основный функции
обработки в реальном времени, Такие
как: усреднение, ALU, гистограммы,
3х3 морфологические операторы и др.
Сигнальные процессоры (TEXAS INSTRUMENTS и др.)
ПЛИСы
специальные архитектуры для параллельной обработки
изображений (пример: специализированная платформа MVC
150/40 фирмы IMAGING TECHNOLOGIES) .

12.

Рост быстродействия процессоров
100 ПГц
10 ПГц
Быстродействие процессора
1 ПГц
100 ТГц
Предел кремниевой технологии
10 ТГц
1 ТГц
100 ГГц
10 ГГц
Pentium IV
Pentium III
Pentium II
Pentium
1 ГГц
100 МГц
Intel 486 DX
Intel 386 DX
10 МГц
1 МГц
100 КГц
1970
1975
1980
1985
1990
1995
2000
2005
2010
2015
2020
2025

13. Вывод: основной сдерживающий фактор интеллектуализации систем управления с использованием изображений -отставание в разработке

Вывод:
основной сдерживающий фактор
интеллектуализации систем управления
с использованием изображений отставание в разработке
алгоритмического обеспечения

14.

Основные технологические проблемы, требующие
разработки новых алгоритмов машинного зрения для
систем управления подвижными объектами.
самокалибровка датчиков (построение их
подробных математических моделей)
самоориентация и самопозиционирование;
обнаружение и распознавание объектов;
обнаружение изменений в сцене наблюдения;
слежение за объектами;
комплексирование изображений различных
спектральных диапазонов;
реконструкция поверхностей и обнаружение
трехмерных структур, высокоточные измерения
элементов сцены.

15. Самокалибровка – установление точной метрической связи между датчиком и сценой

Тестовая сцена с
кодированными метками
Вектор оцениваемых
параметров
Параметры внешнего
ориентирования
Параметры внутреннего
ориентирования
Координаты тестовой
сцены
Считываемые номера меток
Модель камеры
x x p xr 2 K1 xr 4 K 2 xr 6 K3 (r 2 2 x 2 ) P1 2 xyP2
y y p yr 2 K1 yr 4 K 2 yr 6 K3 2 xyP1 (r 2 2 y 2 ) P2
x m x ( x x p ); y m y ( y y p ); r x 2 y 2
Ограничение на
заданные опорные
расстояния

16.

Автоматическая самоориентация датчика в сцене
Необходима пространственная модель стационарной части сцены,
что требует:
Устойчивого (робастного) обнаружения элементов характерных черт сцены наблюдения
3D анализа видимой части сцены
Установления координатной системы
[Tommaselli, Antonio, 2000]

17.

Обнаружение объектов в сцене наблюдения-ключевая
задача машинного зрения
Основное требование к разработке новых алгоритмов обнаружения
Увеличение робастности (устойчивости) алгоритмов.
Основные факторы, влияющие на робастность
(устойчивость) обнаружения в динамических ситуациях.
шумовые эффекты;
сложный текстурированный фон;
эффекты загораживания;
искажающие оптические эффекты;
эффекты резкой смены освещения;
разнообразие или изменчивость самих объектов
обнаружения;
эффекты изменения среды между сенсорами и объектами
наблюдения;
несинхронная запись и обработка данных;сбои в
компьютерных программах обработки.

18.

Недостаточность классических схем обнаружения
CURRENT
яркостная сегментация и признаковое описание;
корреляционное обнаружение
не обладают нужным запасом робастности
MBTs
Cross track
APCs
SPGs
ADUs
Down range

19.

Исследование аномальных ошибок корреляционного
обнаружения
Корреляция:
а в отсутствие шума;
б низкий уровень шума;
в средний уровень шума;
г высокий уровень шума.
Случай одного объекта
Pextr (h,x,r) – плотность вероятности распределения высоты абсолютного
максимума гауссовского процесса х с корреляционной функцией r(u,v).
Вероятность аномальных ошибок перепутывания сигнального отклика с
локальным шумовым выбросом корреляционного поля:
2
(
)
1
b b0
Pa
exp
Pextr (h,x, r)dhdb
2
2σ
b
2π σ
b – величина отклика объекта,
b0 = R(0,0) - максимальное значение автокорреляции
объекта,
2 – дисперсия случайной составляющей.

20.

Основной современный подход к задаче обнаружения
и распознавания – обнаружение и распознавание
объектов, основанное на их структурированных
яркостно-геометрических моделях.
1.
2.
Составление яркостно-геометрической конструкции (модели объекта) –
неформальный элемент алгоритмизации
Поиск и локализация объекта распознавания – формальный элемент
алгоритмизации
Схема модельного подхода к обнаружению объектов
сцена
сенсоры
изображения
Неформальная
структурированная
яркостно-геометрическая
модель объекта
сегментация (выделение)
характерных черт
робастные алгоритмы
голосования или
сопоставления (matching)

21.

Характерные элементы (черты), используемые
в иерархических алгоритмах обнаружения
Точки
Углы, соединения линий, точки
высокой кривизны градиента
яркости, центр тяжести области,
концы линий, точки экстремальных
значений признаков
Линии
Прямые или криволинейные
структуры, границы областей
ХЧ
Области
Структуры
Сегментированные области,
специфические формы (эллипсы,
прямоугольники и т.д.)
Комбинации ХЧ

22.

Свойства (атрибуты) характерных черт
Характерные черты на изображении имеют следующие виды атрибутов:
1. Положение: Концы отрезка, центр отрезка, центр тяжести области,
вершины многоугольников;
2. Геометрические атрибуты: Ориентация, длина, кривизна, площадь,
периметр, ширина линии, минимальный и максимальный диаметр
области, оси симметрии, число и положение особых точек, показатель
компактности;
3. Радиометрические атрибуты: Контраст, статистика распределения
яркости, знак и величина края, автокорреляция;
4. Текстурные атрибуты: Матрица смежности, показатель однородности,
энергия, энтропия, статистика градиентов текстуры, результаты
применения текстурных фильтров, моменты;
5. Топологические атрибуты: Связность, соседство, общие точки,
пересечение, параллельность, перекрытие, включение;
6. Цветовые/многозональные атрибуты: вектор атрибутов для каждого
канала;
7. Динамические атрибуты: атрибуты статических и движущихся объектов;
8. Временные атрибуты: функции изменения атрибутов со временем.

23. Примеры атрибутов характерных черт

‘.’ - близость;
‘!’ - коллинеарность;
‘=‘ - параллельность;
‘L’- перпендикулярность; ‘<‘ –
угол.
Выбранный отрезок
Другие линии

24.

Критерии выбора ХЧ и их атрибутов
для построения алгоритмов обнаружения
1. Присутствие/плотность: наличие данных ХЧ на всех
используемых изображениях, достаточная плотность ХЧ для
покрытия интересующего района;
2. Редкость/Уникальность: редкость конкретной ХЧ на
изображении, уникальность ХЧ в окрестности;
3. Инвариантность/Устойчивость: робастность по отношению к
геометрическим и радиометрическим искажениям,
нечувствительность к шуму;
4. Локализация: возможность точной локализации;
5. Интерпретация: возможность быстрого распознавания и
интерпретации;
6. Скорость: время выделения данного класса ХЧ из исходного
изображения.

25.

Обобщённый метод объединения свидетельств – базовый
подход к созданию алгоритмов обнаружения.
строится экспертная вероятностная модель, описывающая связь
между особенностями изображения (характерными чертами) и
гипотезой о принадлежности объекта заданной яркостногеометрической модели
вероятностная модель используется непосредственно в ходе
низкоуровневого анализа изображения
каждая обнаруженная особенность изображения (ХЧ) рассматривается
как событие, свидетельствующее в пользу гипотезы (ряда гипотез) о
наличии и характеристиках искомого объекта (голосование в
специальном аккумуляторном пространстве).
Способы повышения вычислительной эффективности.
независимое аккумулирование свидетельств
декомпозиция вектора параметров модели
регистрации S( )=S'( ') S"( ")
редукция вектора параметров модели регистрации
S( ) S'( ')
загрубление модели объекта
M M' M

26.

Пример
автоматического
обнаружения зданий
с летательного
аппарата
исходное
изображени
е

27.

Пример
автоматического
обнаружения зданий
с летательного
аппарата
Контурный преп

28.

Пример
автоматического
обнаружения зданий
с летательного
аппарата
Выделение
характерных
черт -

29.

Пример
автоматического
обнаружения зданий
с летательного
аппарата
Выделение
первичных
линеаментов

30.

Пример
автоматического
обнаружения зданий
с летательного
аппарата
Выделение
крупных и/или
параллельных

31.

Пример
автоматического
обнаружения зданий
с летательного
аппарата
Фильтрация по р

32.

Пример
автоматического
обнаружения зданий
с летательного
аппарата
Поиск Побразности

33.

Пример
автоматического
обнаружения зданий
с летательного
аппарата
Окончательная

34.

Пример
автоматического
обнаружения зданий
с летательного
аппарата
Межкадровое
соответстви
е

35.

Окончательная

36.

Пример работы алгоритма наведения

37.

Планирование авиационной операции
•Планирование за время < 15 мин
с процессорной системой на базе
Intel
•Прокладка маршрута
•Интеграция с системой АСУ ВВС
Основа:
3-х мерное изображение местности
с точной координатной привязкой
целей

38.

Реконструкция поверхностей и обнаружение
трехмерных структур, высокоточные
измерения элементов сцены .
• Основные применения - создание высокоточных
метрических геопространственных данных для
навигации и наведения ЛА
• Точная координатная привязка цели
• Использование стереоскопических демаскирующих
факторов для повышения вероятностей распознавания
объектов

39.

Высокоточное стереоотождествление – ключевая
процедура реконструкции поверхности и обнаружения
трёхмерных структур по стереопаре изображений.
Методы стереосоответствия (matching)
площадные
на основе характерных черт
комбинированные
Необходимые свойства алгоритма
1. Скорость 1000 точек/секунду и больше
2. Субпиксельность до 1/20-1/50 пиксела

40.

Иерархическое субпиксельное стереоотождествление
1 Выбор информативных участков эталона для стереоотождествления
2 Стереоотождествление с пиксельной точностью по пирамиде
субизображений
3 Стереоотождествление с субпиксельной точностью (субпиксельное
уточнение)
Особенности:
1. Использование информативности окрестности точки эталона.
При помощи специальных критериев проверяется, является ли
данный фрагмент информативным. Если нет, то можно ли
изменить размер фрагмента так,чтобы он стал информативным.
2. Обобщение на любую геометрическую форму эталона.
3. Обобщение на априорную значимость точек эталона: следствиевозможность отождествления отдельных точек, линий, областей.

41.

Пирамидальная обработка
Поиск в реальном времени по пирамидальной
структуре с использованием адаптивного
субпиксельного шести-параметрического
коррелятора.
Пирамида
ортоизображений
с разным
разрешением
Правильная
локализация

42.

Метод субпиксельного уточнения
x1 x1(x, y, p)
y1 y1(x, y, p)
где р-вектор
параметров
искажений
Функция взаимной корреляции
k(p)
f(x, y)g(x1, y1) Nf g
(x, y)
( f 2 (x, y) Nf 2 )1/2 ( g2 (x1, y1) N g 2 )1/2
(x, y)
(x, y)

43.

Технология получения ортофотоизображения
Ортофотоплан
снимок,
привязанный
к 3-D
поверхности,
содержит
геометрические
искажения
Ортотрансформирование
-
Цифровая 3D-модель подстилающей поверхности, полученная на
предыдущем этапе из автоматического решения задачи стереосоответствия

44.

Комплексирование данных на основе ортофотопланов
Накопление и уточнение
информации
Изображения с
космических и авиа
носителей
Идентификация
цели и точная
привязка
Изображения
перспективных датчиков
(ИК, ММ и др.)
Данные наземных
исследований
РЭР, РТР
Селекция
движущихся
целей
ГИС
Точные
координаты
цели
Обработанная информация для принятия решений

45.

Методы обработки динамических
последовательностей изображений
Использование межкадровой обработки,
оптических потоков
устранение движений фоновой части сцены
оптимальная фильтрация геометрии зон
интересов (ROI) для обнаружения объектов в
последовательности кадров
широкое использование Калмановской
фильтрации

46. Комплексирование ДРФП

47. Экспериментальные съемки ДРФП

Регистрации движущегося объекта на малой дальности (150 м)
Регистрации объекта на средней
дальности (300…500 м)
Регистрации объекта на большой
дальности (2000 м)

48. Экспериментальные съемки ДРФП

49. Структура систем обработки информации ДРФП

Уровни анализа данных
Символьный уровень
Уровень свидетельств
Признаковый уровень
Уровень измерений

50. Структура систем обработки информации ДРФП

Уровни организации данных
Данные, структурированные во времени
3D-структурированные данные
2D-структурированные данные
Растровые данные

51. Типы данных для многозональной платформы обработки данных

Структура/
Элементы
Растровые данные
2Dструктурированные
3Dструктурированные
Динамические данные
Измерения
Изображение
Сегментированное
изображение
Сегментированное
пространство
трехмерной сцены
Динамическая
последовательность
сегментированных
пространственных
данных
Признаки
Признаковое
изображение
(каждый пиксел вектор признаков)
Список 2D-областей,
характеризуемых
векторами признаков
Список 3D-объектов,
характеризуемых
векторами признаков
Список движущихся
объектов с признаками
и параметрами
движения
Soft-векторы
Soft-изображение
(каждый пиксел soft-вектор)
Список 2D-областей,
характеризуемых softвекторами
Список 3D-объектов,
характеризуемых
soft-векторами
Список движущихся
объектов с softвекторами и
параметрами
движения
Символы
Cимвольное
изображение
(пикселы
представляют
символьные
атрибуты)
Список 2D-областей
(каждая область
имеет символьные
атрибуты)
Список 3D-объектов
(каждый объект
имеет символьные
атрибуты)
Список движущихся
объектов с
символьными
атрибутами и
параметрами
движения

52. Комплексирование на уровне объектов

Параметры обнаружения:
k1 - максимальная корреляция объекта с эталонами класса 1;
k2 - максимальная корреляция объекта с эталонами класса 2;
Sf(1) - нормированная достоверность отнесения объекта к классу 1;
Sf(2) - нормированная достоверность отнесения объекта к классу 2;
Sf( ) - достоверность того, что объект не относится ни к классу 1,
ни к классу 2.
Пример комплексирования:
Диапазон
k1
k2
Sf(1)
Sf(2)
Sf( )
ТВ
0,303
0,345
0,161
0,184
0,655
ИК
0,469
0,549
0,253
0,296
0,451
ТВ+ИК
0,568
0,674
0,308
0,366
0,326

53. Архитектура программного обеспечения для анализа изображений и ДРФП

54. Этапы разработки системы обработки изображений ДРФП

• предварительное исследование свойств типовых
изображений;
• анализ применимости известных методов
обработки изображений в данной конкретной задаче;
• разработка новых алгоритмов;
• первичная программная реализация новых
алгоритмов и качественная проверка их
эффективности;
• окончательная программная или программноаппаратная реализация алгоритмов.

55. Фрейм-ориентированное программирование (ФОП)

фреймы - объекты, объединяющие данные,
процедуры и линки
линки - связи с другими фреймами
схема обработки - сеть фреймов
сообщения распространяются по линкам между
фреймами и определяют порядок "запуска"
процедур обработки данных

56. Фреймовое визуальное программирование

создание требуемого числа экземпляров фреймов
данных и размещение их в поле рабочего окна
фреймов
создание требуемого числа экземпляров фреймов
обработки и размещение их в поле рабочего окна
фреймов
настройка связей фреймов обработки с фреймами
данных

57. Фреймовый интерфейс пользователя

адаптивная настройка меню, справки и подсказки в
зависимости от активного фрейма, активного окна и
характера выполняемых действий;
адаптивная настройка режима ввода/вывода
интерактивной векторной графической информации
(маркеры, линии, кривые, прямоугольники и т.п.)
во всех необходимых окнах одновременно;
проблемно-ориентированная навигация в
многооконном интерфейсе.

58. Пример интерфейса системы обработки информации ДРФП (1995)

59. Системы улучшенного видения для самолетов гражданской авиации

59

60. Функции EVS

1. Системы улучшенной визуализации (Enhanced Vision
System - EVS). Формируют улучшенное изображение внешней
среды по изображениям с ТВ и ИК каналов и отображают его
на ИЛС или МФИ.
2. Системы синтезированного видения (Synthetic Vision
System - SVS). Дополнительно визуализируют данные о
рельефе, используют БД рельефа местности, аэропортов и
объектов ВПП.
3. Системы автоматизированного видения (Automatic
Vision System - AVS). Дополнительно автоматизируют
обнаружение ВПП при заходе на посадку и посадке, а также
обнаружение препятствий при рулежке ЛА на ВПП.

61. Устройства визуализации

•HUD/EVS – визуализация на ИЛС. Для крупных
авиалайнеров. Airbus A300, A310 (HUD/EVS от компании
Kollsman Inc.), Global Express компании Bombardier
(HUD/EVS от компании CMC Electronics).
•MFD/EVS – визуализация на МФИ. Для широкого класса
ЛА. Например, система компании Max-Viz Inc
сертифицирована для установки как на авиалайнерах класса
Boeing 767, так и на небольших вертолетах Bell 206.

62. Стандарты на разработку EVS

Регулирующие организации
• Федеральное управление гражданской авиации
США (FAA - http://www.faa.gov)
• Комиссия по радиотехническим средствам для
аэронавтики (Radio Technical Commission for
Aeronautics – RTCA http://www.rtca.org/)
• Европейская организация по оборудованию для
гражданской авиации (European Organisation for
Civil Aviation Equipment – EUROCAE
http://www.eurocae.org/)

63. Стандарты на разработку EVS

Электронное оборудование
RTCA DO-254 - Design Assurance Guidance for
Airborne Electronic Hardware
Программное обеспечение
RTCA DO-178B - software Considerations in Airborne
Systems and Equipment Certification.
Требования по охране окружающей среды
RTCA DO-160 - Environmental Conditions and Test
Procedures for Airborne Equipment.

64. Стандарты на разработку EVS

Данные по аэропортам, рельефу и препятствиям
RTCA DO-200A / EUROCAE ED-76 – “Standards for Processing Aeronautical
Data”.
RTCA DO-276A / EUROCAE ED-98A - “User Requirements for Terrain and
Obstacle Data”.
RTCA DO-272A / EUROCAE ED-99A - “User Requirements for Aerodrome
Mapping Information”.
RTCA DO-291 / EUROCAE ED-119 - “Interchange Standards for Terrain,
Obstacle and Aerodrome Mapping Data”.
ICAO Annex 15 Amendment 33, mandate to states for 2010 for Area 1 and
Area 2 data – Terrain and Obstacle data.
Разрешение
На 56 км от ВПП данные о подстилающей поверхности:
• шаг сетки - 30 угловых секунд,
• разрешение данных по высоте - 30м.
На 12 км от ВПП:
• шаг сетки — 15 или 6 угловых секунд,
• разрешение данных по высоте — 30м.

65. EVS первого поколения

Kollsman All Weather Window/Night Window
охлаждаемый ИК-датчик (cooled FLIR),
спецвычислитель,
дисплей с подогревом,
ПО обработки и визуализации изображений.
Поле зрения
Вес
30 по горизонтали, 22.5 по
вертикали
10 кг. (FLIR - 5.4 кг., вычислитель 3.6 кг., дисплей - 1 кг.)
Спектральный диапазон
ИК-датчика
от 1 до 5 мкм
Температурный диапазон
от -55С до +70С
Высотный диапазон
до +16,764 м.

66. EVS первого поколения

Gulfstream Enhanced Vision
System
• ИК-датчик Kollsman FLIR с сапфировым
экраном (специально адаптирован для
распознавания ВПП и сигнальных огней в
условиях ограниченной видимости).
• ИЛС компании Honeywell.
• ПО обработки и визуализации изображений.

67. EVS первого поколения

Max-Viz EVS 2500, EVS 1000
• Длинноволновой ИК-датчик – для формирования изображений
рельефа и потенциальных препятствий
• Коротковолновой ИК-датчик – для обнаружения ярких
сигнальных огней ВПП.
EVS-2500
ИК-датчик
Угол обзора
Вес
Неохлаждаемый, с
твердотельным
детектором
53° x 40° или 30° x 22.5°
Датчики: 4.5 кг.;
Вычислитель 2.26 кг.
Размер
изображения
256х256 пикс.
Рабочие
температуры
-55° to +70° C
Логика комплексирования данных

68. EVS первого поколения

Rockwell Collins EVS
• ИК изображения внешней среды выводятся на дисплей
навигационной системы на лобовом стекле HGS®-4000.

69. EVS первого поколения

1. Большинство представленных на рынке сертифицированных
коммерческих систем EVS представляют собой простые
неинтеллектуальные системы «датчик-дисплей»,
обеспечивающие передачу на индикатор в кабине
изображения, полученного от ИК или ММ датчика. Лишь
некоторые системы представляют возможность визуализации
синтезированных географических данных (по данным GPS).
2. Задача полноценного комплексирования и отображения
данных, одновременно поступающих от ТВ, ИК, ММ – пока
не рассматривается и не решается ни в одной из этих
систем.
3. Ни в одной из сертифицированныхкоммерческих систем
EVS не рассматривается ни задача автоматического
выделения препятствий / распознавания объектов из
базы, ни задача стыковки EVS с системой автоматического
управления ЛА.

70. EVS следующего поколения

Задача: Создание авиационной системы EVS,
существенно превосходящей EVS предыдущего поколения
по набору функций комплексирования и интеллектуальной
обработки видеоданных различной физической природы.
Состав EVS:
• система технического зрения (СТЗ), выполняющая
операции ввода, комплексирования и обработки
многоспектральной видеоинформации;
• система компьютерной визуализации (СКВ),
непосредственно формирующая и представляющая пилоту
графические образы закабинной обстановки.

71. Назначение и функции СТЗ

Назначение: СТЗ предназначена для ввода, обработки и
комплексирования многоспектральной видеоинформации с целью
формирования в реальном времени растровой и/или векторной
оперативной графической информации, представляемой летчику
системой улучшенной компьютерной визуализации закабинной
обстановки при заходе на посадку, посадке и рулежке по взлетнопосадочной полосе.
Функции:
• регистрация многоспектральной видеоинформации;
• комплексирование многоспектральной видеоинформации;
• автоматическая привязка оперативной видеоинформации к
априорной информации о закабинной обстановке с учетом
имеющихся навигационных данных;
• автоматическое обнаружение ВПП и других типовых объектов
интереса с использованием или в отстутсвие навигационных
данных и априорной информации о закабинной обстановке;
• автоматическое обнаружение препятствий на ВПП.

72. Аппаратное обеспечение СТЗ

В состав системы могут входить:
• телевизионные видеодатчики (ТВ)
различного разрешения;
• инфракрасные (ИК) видеодатчики
различных диапазонов;
• миллиметровые радары (МР);
• лазерные локаторы (ЛЛ);
• специализированные бортовые вычислители.

73. Программно-алгоритмическое обеспечение СТЗ

• модули управления видеодатчиками различных диапазонов;
• модули обмена информацией с другими бортовыми
подсистемами;
• модуль организации информационного обмена,
синхронизации захвата и обработки многоспектральных
видеоданных;
• модули раздельной поканальной обработки видеоданных;
• модуль комплексирования многоспектральной
видеоинформации;
• модуль автоматической привязки оперативной двумерной
видеоинформации к априорной двумерной или трехмерной
информации с учетом текущих навигационных данных;
• модули автоматического обнаружения ВПП и других
типовых объектов интереса в отсутствие навигационных данных
и априорной информации;
• модуль автоматического обнаружения препятствий на ВПП.

74. Ключевые моменты разработки СТЗ

• Получение экспериментальных регистраций
• Создание вспомогательного аппаратного и
программного обеспечения
• Компьютерное моделирование
• Использование специальных технологий
разработки и тестирования модульного
программно-алгоритмического обеспечения.
• Использование на всех этапах разработки
реальных видеодатчиков
• Интеграция и отработка взаимодействия с
другими датчиками и системами на борту ЛА

75. Примеры

Пример видеорегистрации полета
• Ролик ФГУП «ПИЦ»
Пример моделирования полета
• Ролик ФГУП «ГосНИИАС»
Пример синтеза изображения EVS
• Ролик ФГУП «ПИЦ»

76. Проблемы и методы

• Улучшение изображений в отдельных
каналах
• Комплексная обработка многоспектральных
изображений
• Обнаружение ВПП
• Обнаружение препятствий на ВПП

77. Комплексирование ДРФП

78. Комплексирование на пиксельном уровне

Исходные изображения в видимом и ИК диапазоне

79. Комплексирование на пиксельном уровне

Оценки информативности в скользящем окне 5x5 и 31x31

80. Комплексирование на пиксельном уровне

Комплексирование на основе оценки информативности

81. Комплексирование на пиксельном уровне

Комплексирование на основе добавления отличий

82. Комплексирование на пиксельном уровне

Использование морфологического подхода Ю.П. Пытьева
Описание формы
Нормированный
коэфициент
корреляции
ku
Морфологический
коэффициент
корреляции:
p
km f
1.0 km 1
2. Km не зависит от
преобразования
яркости F(f(x,y)).
(f, )
f
Морфологический проектор
Сравнение форм:
>
f
= arccos ku, = arccos km

83. Обнаружение ВПП

84. Преобразование Хафа

Параметризация и процедура голосования преобразования Хафа

85. Преобразование Хафа в окне

Edge
Transform
Thresholding
Reconstruction

86. Преобразование Хафа в окне

87. Преобразование Хафа. Обнаружение ВПП

Обнаруженные элементы ВПП
Аккумулятор HT

88. Приниципы обнаружения препятствий на ВПП

89.

Метод сведения задачи 3-D обнаружения к 2-D задаче
Обнаружение 3-D объектов находящихся в наблюдаемой
сцене на криволинейной поверхности
Распознавание возможной ситуации:
1) объект лежит на
поверхности;
2) объект нарисован
на поверхности.
1

90.

Получение модели подстилающей поверхности
(пример дорожной сцены)
обнаружение модельных элементов поверхности с
помощью алгоритмов компьютерного зрения
вычисление точек соответствия и 3-D координат

91.

Получение разности ортофото
Основной приём – сведение задачи трёхмерного обнаружения к
обнаружению двумерных структур с предсказанными свойствами
V-структуры
являются основным
признаком 3D-объекта
Параметры V-структуры могут быть получены из геометрии камер
(размеры a,b, угол )

92.

Результат применения 2D алгоритмов обнаружения
Разность ортофото
изображений image D(X,Y)
Результат фильтрации
P(X,Y) = MXY * D(X,Y)
fij
Критерий обнаружения
d1
i , j S
(S )
fij
;
d2
i , j S
(S )
k (d1, d 2 ) threshold - правило решения, основанное на
статистике

93. Архитектура программного обеспечения для анализа ДРФП

94. Элементы интерфейса системы обработки информации ДРФП (2010)

95. Элементы интерфейса системы обработки информации ДРФП (2010)

96. Элементы интерфейса системы обработки информации ДРФП (2010)

97.

Спасибо за внимание!