Обучение нейросети на распознавание степени размытости изображения. Входные данные

1.

Обучение нейросети на распознавание степени размытости изображения
Цель: Разработать и обучить нейросеть, которая может определить степень размытости изображения от 0.0 до 1.0.
Входные данные: серия изображений, часть из которых синтетически размыты, часть нет.
Для этого разработан алгоритм, который имитировал размытие - эффект Боке.
Обучение на 22000 изображений.
320х176

2.

Обучение нейросети для детекции засвета и затемнения
Цель: Разработать и обучить нейронную сеть, способную детектировать засвет и затемнение на изображениях в рамках работы детектора
саботажа.
Входные данные: серия изображений, которые проходят через алгоритмы имитации
засвета фонарем / засвета лазером / затемнения.

3.

Обучение нейросети для детекции засвета и затемнения
Обучение проходило на 70000 изображений, которые были отобраны после алгоритма, отсеивающего затемненные и засвеченные изображения.

4.

Разработка нового нейро-алгоритма детекции заслона и отворота для детектора саботажа
Цель: Необходимо сравнивать два изображения и находить между ними разницу, определяя области, которые заслоняют информацию на
первом изображении. Выводить эти области в виде маски, при этом игнорировать изменения освещенности и слабые сдвиги сцены. При
сильных сдвигах (больше 20%) заливать всю маску как одно большое изменение сцены (событие отворот).
Входные данные: пары изображений, одно из которых проходит через алгоритмы заслона предметами / заслона фигурами / сдвига в
случайные стороны / искуственное затемнение. Также на вход подавались изображения, которые переосвещены нейросетью LumiNet.
Изображения аугментируются случайным образом различными эффектами: гауссов шум, повороты, изменения цветов.

5.

Разработка нового нейро-алгоритма детекции заслона и отворота для детектора саботажа
Обучение проходило в две фазы с разными функциями потерь по 20 эпох.

6.

Миграция обученных нейросетей из TensorFlow в ONNX / Исследование PyTorch
Цель: Запуск ранее обученные нейросети на Python/TensorFlow в тестовом приложении на C++. Исследование возможности их запуска
на PyTorch.
Получилось конвертировать все модели в onnx и torch. Во всех на С++ выводится два или одно изображение без ресайза и предсказание (маска или
число)
Миграция обученных нейросетей из TensorFlow в ONNX / Исследование PyTorch
Цель: Интеграция обученных нейросетевых моделей в существующий каркас детектора SabotageDet для обнаружения:
• Засветки камеры
• Затемнения камеры
• Расфокусировки камеры
• Заслона/Отворота.
Выставленные пороги:

7.

Формирование стабильного фонового изображения из последовательсности кадров с использованием
нейросетей
Цель: Разработать и обучить нейронную сеть, способную из последовательности видеокадров формировать одно "стабильное"
изображение, содержащее только неподвижные элементы сцены (фон), исключая все движущиеся объекты.
Нейронная сеть должна принимать на вход N последовательных кадров видео и выдавать один кадр, представляющий собой стабильный
фон.
Вход: Последовательность из N кадров, любого разрешения. Рекомендуется начать с N=5, но этот параметр должен быть
экспериментально подобран.
Выход: Одно стабильное фоновое изображение того же размера.