Презентация

1. Генеративные модели и творчество

Генеративные
модели
и
Генеративные
модели
и творчество
творчество
Докладчик:
Полина
Юрьевна
Докладчик: Чикишева
Чикишева Полина
Юрьевна
Группа:УГИМ-150006
УГИМ-150006
Группа:

2. Генеративные модели и творчество

Генеративные
модели и
Начало работы
творчество
• Открываем Google Colab.
• Загружаем файл с заданием.
Докладчик:
Чикишева
Полина
Юрьевнакода.
• Видим
экран
с текстом
и блоками
Группа: УГИМ-150006

3. Генеративные модели и творчество

Генеративные
модели и
Начало работы
творчество
• Открываем Google Colab.
• Загружаем файл с заданием.
Докладчик:
Чикишева
Полина
Юрьевнакода.
• Видим
экран
с текстом
и блоками
Группа: УГИМ-150006

4. Генеративные модели и творчество

Генеративные
модели и
Начало работы
творчество
Внимательно читаем каждый текстовый блок.
Последовательно запускаем каждый блок с кодом.
Чикишева
Полина
Юрьевна
Докладчик:
Важно: Не
пропускаем
блоки,
чтобы не возникло ошибок.
Группа: УГИМ-150006

5. Генеративные модели и творчество

Генеративные
модели
Нейросетевой
перенос стиля
(NST) - и
Часть 1
творчество
Подготовка:
• Клонируем репозиторий с кодом.
• Импортируем необходимые файлы.
• Разархивируем скачанный архив.
Докладчик: Чикишева Полина Юрьевна
• Настраиваем
и открываем скрипт NST.py.
Группа: УГИМ-150006
• Настраиваем вывод логов (раз в 100 эпох).
• Импортируем модуль NST и запускаем выполнение.

6. Генеративные модели и творчество

Генеративные
модели
Нейросетевой
перенос стиля
(NST) - и
Часть 1
творчество
Подготовка:
• Клонируем репозиторий с кодом.
• Импортируем необходимые файлы.
• Разархивируем скачанный архив.
Докладчик: Чикишева Полина Юрьевна
• Настраиваем
и открываем скрипт NST.py.
Группа: УГИМ-150006
• Настраиваем вывод логов (раз в 100 эпох).
• Импортируем модуль NST и запускаем выполнение.

7. Генеративные модели и творчество

Генеративные
модели
Нейросетевой
перенос стиля
(NST) - и
Часть 2
творчество
Запуск:
• В этом блоке — функция для запуска NST.
• Указываем:
• Файл с контентным изображением.
Докладчик: Чикишева Полина Юрьевна
• Файл
с изображением
Группа:
УГИМ-150006 стиля.
• Папку для сохранения результата.
• Задаём конфигурации (в т.ч. «вес» стиля и контента).
• Визуализируем результаты.

8. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

9. Генеративные модели и творчество

Генеративные
модели
и
Запускаем
NST на текстовых
изображениях
творчество
Запускаем перенос стиля для пар «контент-стиль» из репозитория.
Следим за процессом: на каждой 100-й итерации выводится
Докладчик: Чикишева Полина Юрьевна
значение
(loss).
Группа: ошибки
УГИМ-150006

10. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

11. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

12. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

13. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

14. Генеративные модели и творчество

Генеративные
и
Результатымодели
NST
творчество
Выводим полученные изображения.
Результат: Стиль с правой картинки успешно перенесён на
Докладчик: Чикишева Полина Юрьевна
контент
левой. Получились необычные изображения.
Группа: УГИМ-150006

15. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

16. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

17. Генеративные модели и творчество

Генеративные
модели
Пробуем на своих
фото и
творчество
• Подключаем Google Диск к Colab.
Докладчик: Чикишева
Полина Юрьевна
• Загружаем
свои изображения
на Диск.
Группа: УГИМ-150006
• В
Colab они появятся по пути content/drive/.

18. Генеративные модели и творчество

Генеративные
модели и
Запуск и проверка
творчество
Запускаем NST для своих пар изображений.
Докладчик:
Смотрим,Чикишева
что получилось.
Полина Юрьевна
Группа: УГИМ-150006

19. Генеративные модели и творчество

Генеративные
модели и
Сохранение и визуализация
творчество
Сохраняем финальные результаты.
Докладчик:
Визуализируем
их Полина
для отчёта.
Чикишева
Юрьевна
Группа: УГИМ-150006

20. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

21. Генеративные модели и творчество

Генеративные
модели
Диффузионные
модели и
творчество
Это современные State-of-the-Art модели для генерации
изображений (Stable Diffusion, Kandinsky и др.).
В этой работе: пробуем модель SDXL Turbo (2023).
Докладчик: Чикишева Полина Юрьевна
Группа:
Её особенность:
генерация изображения по тексту за один
УГИМ-150006
шаг и почти в реальном времени.

22. Генеративные модели и творчество

Генеративные
модели и
Установка и настройка
творчество
• Устанавливаем библиотеку diffusers.
• Создаём pipeline (готовую цепочку действий) для модели SDXL
Turbo.
Докладчик: Чикишева Полина Юрьевна
•Группа:
Переносим
конвейер на видеокарту (CUDA) для ускорения.
УГИМ-150006

23. Генеративные модели и творчество

Генерация изображений
Генеративные
модели и
Используем pipe творчество
для генерации.
Составляем текстовый запрос (промт).
Можно добавлять уточнения (например, "высокая
детализация").
Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006 с разными стилями и запросами.
Экспериментируем

24. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

25. Генеративные модели и творчество

Генеративные
модели и
Примеры генерации
творчество
Показываем примеры сгенерированных изображений.
Докладчик:
В том числе
— в стиле
рисунков.
Чикишева
Полина
Юрьевна
Группа: УГИМ-150006

26. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

27. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

28. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

29. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

30. Генеративные модели и творчество

Генеративные
Результаты помодели
промтам и
творчество
Демонстрируем изображения, сгенерированные по нашим
собственным текстовым запросам.
Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

31. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

32. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

33. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

34. Генеративные модели и творчество

Докладчик: Чикишева Полина Юрьевна
Группа: УГИМ-150006

35. Генеративные модели и творчество

Генеративные
модели и
Выводы
творчество
• Мы применили Neural Style Transfer (NST) для переноса стиля с
одного изображения на другое, используя как готовые, так и свои
картинки.
Докладчик: Чикишева Полина Юрьевна
• Группа:
Мы научились
запускать диффузионную модель (SDXL
УГИМ-150006
Turbo) и генерировать изображения по произвольным текстовым
запросам.