Рубин И.М. (2)

1. Рубин Иван

Аспирант 2 курса
tg: @IvanRubin
Научный руководитель: Волынский М. А. @mvolynsky
Области научных интересов:
Computer Vision & AI (deep learning, machine learning) & Generative AI (GANs, Diffusion Models)
Super-resolution: single-image SR, multi-image SR, Video SR, Burst SR
Remote Sensing & Medical images
Object Segmentation, Change Detection, Image classification
Climate & Environmental AI
Пример object segmentation
Пример super-resolution

2. Сценарии применения:

«Умная» операционная
Геоинформационные платформы
Исходное видео
Спутниковый снимок
Повышение разрешения \
Качества видео
Повышение разрешения \
Качества снимка
Распознавание действий врача
Распознавание объектов /
Растительности / дорог
Распознавание органов/тканей
Вывод физиологических параметров
Фиксация незаконного строительства /
вырубки лесов / роста городов / экомониторинг
Особенности:
Дистанционный формат
Научный руководитель: Волынский М. А.
(@mvolynsky)
Необходимо:
• Знание Python, основ deep learning
• Наличие ресурсов для экспериментов,
обучения моделей, хранения данных
• Исследовательская самостоятельность
• Регулярная научно-исследовательская работа
Перспективы:
• Понимание нейросетевых подходов computer
vision
• Работа над актуальными научными вопросами
• Совместные публикации

3. Темы

4. Возможные темы

1. Topology-Preserving Segmentation
Модели сегментации недостаточно эффективны при необходимости распознать сложную разветвленную
структуру. Примеры: сосуды, дороги.
Ожидаемая маска
Модель 1
Модель 2
Ожидается: алгоритм пост-обработки модели сегментации, исследовать влияние SR

5. Возможные темы

2. Исследование галлюцинаций генеративного ИИ при решении задачи супер-разрешения
На сколько можно доверять красивым снимкам SR при повышении разрешения x2 x3 x4 в критически
важных областях (медицина, спутниковые снимки)?
Низкое разрешение
Результат ИИ
Ожидается: алгоритм оценки галлюцинаций на изображении
Высокое разрешение

6. Возможные темы

3. Моделирование процессов деградации и переноса стиля изображений для обучения моделей SR (unsupervised
domain translation, Neural Style Transfer, Degradation Style Transfer, Blind SR)
При отсутствии достаточного обучающего набора данных, используют открытые датасеты
Проблема: разные искажения в снимках низкого разрешения при обучении моделей SR
Ожидается: алгоритм переноса искажений

7. Возможные темы

4. Классификация действий во время операции по видео
Исследования влияния количества снимков на эффективность модели классификации. Сравнить 2D
классификацию и 3D
Ожидается: модель классификации действий

8. Возможные темы

5. Влияние burst super-resolution на эффективность распознавания текста
burst super-resolution: На основе последовательности кадров формируется кадр высокого разрешения
Ожидается: применения алгоритмов Burst-SR, анализ влияния на алгоритмы распознавания текста