Абуд Диплом Презентация

1.

Выпускная квалификационная работа
Разработка метода оценки
устойчивости к состязательным атакам
нейросетевых алгоритмов
предсказания качества изображений и
видео
Абуд Халед Набиль, гр. 420
Научный руководитель: к.ф.-м.н., с.н.с. Ватолин Дмитрий Сергеевич
Graphics & Media Lab

2.

Предметная область
Методы оценки субъективного качества
изображений (IQA)
Задача состоит в предсказании того, насколько
изображение или видео субъективно приятно, или
насколько сильно оно искажено
TOPIQ: 0.27
MDTVSFA: 0.49
HYPER-IQA: 37.37
PaQ-2-PiQ: 56.8
TOPIQ: 0.79
MDTVSFA: 0.59
HYPER-IQA: 81.45
PaQ-2-PiQ: 77.80
Низкое качество
Высокое качество
2

3.

Актуальность задачи (1)
• Объем медиаданных в сети растет с огромной скоростью
• Для эффективной обработки и ранжирования
медиаконтента важно уметь оценивать субъективное
качество изображений и видео
• Наиболее эффективно эту задачу решают нейросетевые
модели
Источник: Cisco Visual Networking Index
(VNI) forecast 2017-2022
3

4.

Актуальность задачи (2)
Состязательная
атака
Разница
TOPIQ: 0.049
MDTVSFA: 0.49
HYPER-IQA: 10.10
PaQ-2-PiQ: 34.53
TOPIQ: 0.19↑
MDTVSFA: 0.434↓
HYPER-IQA: 107.55↑
PaQ-2-PiQ: 39.46↑
Значения неустойчивых методов могут быть легко
“накручены” небольшой злонамеренной модификацией
входных данных
x10!
4

5.

Проблема применения методов
оценки субъективного качества
Нейросетевые методы оценки качества могут применяться в
качестве функции потерь в других задачах компьютерного
зрения. Использование неустойчивых моделей может привести
к нежелательным результатам:
Hyper-IQA: 65.22
Hyper-IQA: 67.32
Hyper-IQA: 88.36
Без влияния модели
оценки качества
Небольшое влияние
Сильное влияние
5

6.

Цель и задачи
дипломной работы
Цель: разработка метода оценки эмпирической
устойчивости к состязательным атакам нейросетевых
алгоритмов предсказания качества изображений и видео.
Задачи:
Провести обзор существующих методов оценки
устойчивости нейросетевых моделей к состязательным
атакам;
Разработать методологию оценки устойчивости алгоритмов
предсказания субъективного качества изображений;
Разработать эффективный метод состязательной атаки,
подходящий для задачи предсказания качества и
позволяющий минимизировать заметность атаки;
Изучить устойчивость широко используемых нейросетевых
алгоритмов предсказания субъективного качества при
помощи разработанной методологии и атаки.
6

7.

Формальная постановка задачи
Оценка устойчивости
Вход: исследуемая модель
,
набор данных
,
где — пространство изображений или видео,
представленных в виде
;
— высота и ширина изображения,
— длина видеопоследовательности
( =1 для изображений).
Также в процессе оценки для создания атакованных
данных применяется алгоритм
состязательной атаки.
Выход: набор значений
, показывающих,
насколько устойчива данная модель.
7

8.

Обзор методов оценки устойчивости
Сценарий
“Белый Ящик”
Ограниченные
атаки
Неограниченные
атаки
FGSM
Goodfellow et al., 2014
I-FGSM
Kurakin et al., 2018
MI-FGSM
Dong et al., 2018
CAdv
Bhattad et al., 2020
ADef
Alaifari et al., 2019
TAdv
Bhattad et al., 2020
StAdv
Xiao et al., 2018
Zhang et al., 2022
Korhonen et al.,
2022
Предложенный
метод
— используются в работе
— предназначен для задачи оценки качества
— разработанный метод
8

9.

Методология оценки
устойчивости
Схема метода сравнения
9

10.

Состязательная атака
Базовый метод: I-FGSM
Итеративная оптимизация изображения с помощью
10
градиента относительно входных данных

11.

Состязательная атака
Предложенный метод
Разработаны 2 новые компоненты: высокочастотное
маскирование и шаг коррекции направления градиента
11

12.

Методология оценки
устойчивости
Схема метода сравнения
12

13.

Методология оценки
устойчивости
Преобразование домена
Преобразование домена устраняет
возможные нелинейные зависимости
между моделями
Использовалась логистическая
функция:
В качестве домена использовались
субъективные оценки качества из
набора данных KONIQ-10K
Пример обученного
преобразования
13

14.

Методология оценки
устойчивости
Показатели устойчивости
Оценивались следующие показатели:
● Абсолютный прирост:
,
– исходные
и атакованные изображения
Robustness Score:
Коэффициент корреляции Спирмена (SROCC) между
значениями модели до и после атаки
14

15.

Сравнение устойчивости
моделей IQA
Исследовано 6 широко используемых
нейросетевых моделей с различными
архитектурами:
○ PaQ-2-PiQ
○ LINEARITY
○ Hyper-IQA
○ MDTVSFA
○ TOPIQ(NR)
○ TReS
Объективная оценка визуальных потерь при атаке:
SSIM, LPIPS, DISTS, PieAPP
Наборы данных: NIPS2017 (1000 изображений)
и DERF (24 FullHD видео)
15

16.

Результаты сравнения методов
оценки качества изображений
Сравнение при ограничениях на визуальную
заметность атаки
Наиболее устойчивые модели
16

17.

Сравнение
методов состязательных атак
17

18.

Сравнение
методов состязательных атак
при фиксированном уровне визуальных потерь
Сравниваемые подходы
Korhonen et al.
I-FGSM
Zhang et al.
StAdv
SSIM
LPIPS
PIEAPP
SSIM
LPIPS
PIEAPP
SSIM
LPIPS
PIEAPP
SSIM
LPIPS
PIEAPP
+17,3%
+8,7%
+9,5%
+76,7%
+42,2%
+45,5%
+27,9%
+7,8%
+12,7%
+85,2%
+81,0%
+49,2%
методы оценки визуальных потерь
Вычисляется относительный прирост разработанной атаки относительно
других:
Разработанный метод атаки позволяет получить в среднем на 35%
больший прирост целевой модели при том же уровне визуальных потерь.
18

19.

Программная реализация
• Язык программирования: Python версии 3.10
• Использовались библиотеки: PyTorch, Pytorch-
Wavelets, NumPy, Pandas, OpenCV, scikit-image,
scikit-learn, Matplotlib, Seaborn
• Суммарный объем кода: 4300 строк
• Методология вычисления оценок устойчивости
выложена в виде Python библиотеки robustnessbenchmark:
https://pypi.org/project/robustness-benchmark/
19

20.

Результаты работы
Проведен обзор существующих методов оценки
устойчивости нейросетевых моделей к состязательным
атакам;
Разработана методология сравнения устойчивости
нейросетевых алгоритмов предсказания субъективного
качества изображений и видео;
Разработан метод состязательной атаки,
превосходящий другие подходы по эффективности
на задаче оценки качества изображений в среднем на 35%;
Оценена устойчивость 6 нейросетевых алгоритмов
предсказания качества к разработанной состязательной
атаке;
Опубликована статья на конференции «AAAI Conference
on Artificial Intelligence 2024» уровня A*;
По материалам разработанной атаки написана статья,
которую планируется подать в журнал «Future Generation
Systems» уровня Q1.
20