Лекция 5

1.

Лекция
5:
Нейросети
для
генерации аудиоконтента и музыки
Маркусь Анна Михайловна,
кандидат филологических наук,
доцент кафедры иностранных языков ИЛиМК

2.

План лекции
01
Преобразование текста в речь Text-toSpeech
02
Виды синтеза речи
03
Как работают технологии
преобразования текста в аудио
04
Нейросети для преобразования
текста в голос
05
Генерация музыки
Лекция 5. Создание аудиоконтента и
музыки
Маркусь Анна Михайловна

3.

01
Преобразования текста в
речь (Text To Speech, TTS)
Озвучка текста в мире ИИ называется Text-to-Speech (TTS).
Для преобразования текста в речь (Text-To-Speech, TTS)
большинству систем необходимы качественные образцы голоса,
согласованные фонемы и лингвистические признаки.
Cервисы-генераторы, главная особенность которых
заключается в выполнении части работ через нейросети.
Лекция 5. Создание аудиоконтента и
музыки
Маркусь Анна Михайловна

4.

02 Виды синтеза речи
Neural TTS
Стандартный TTS
допускаются
неверные
ударения,
неправильные интонации или полное
их
отсутствие,
искусственность
и «металлизированность» звучания.
новая
технология,
которая
преобразует
текст
в
речь
.
с помощью нейросети. Это
позволяет
добиться
более
реалистичной
имитации
человеческого голоса: он звучит
естественно, хорошо передает
простые эмоции и не допускает
ошибок в ударениях.
Лекция 5. Создание аудиоконтента и
музыки
Маркусь Анна Михайловна

5.

03 Как работают технологии преобразования текста в аудио
Датасет для обучения нейросети. Сначала
создаются аудиозаписи с разными голосами
и темами, дальше они обрабатываются
разметчиками и превращаются в датасет,
на котором сеть и обучается.
01
02
Научиться воспроизводить текст
по
этим
примерам
самостоятельно.
Аудиозапись
можно
разобрать
на мелкие фрагменты, каждый
из
которых
имеет
свой
«рисунок»
на
дорожке
аудиозаписи – спектрограмме.
03
К обучению подключаются дополнительные
модели: например, модель, которая обучается
предсказанию, где по тексту нужно сделать
смысловую паузу, или модель, которая
работает над интонацией.
04
Лекция 5. Создание аудиоконтента и
музыки
Маркусь Анна Михайловна

6.

04 Нейросети для преобразования текста в голос
1
01
2
02
3
4
Лекция 5. Создание аудиоконтента и
музыки
Маркусь Анна Михайловна

7.

Генерация музыки
05
Нейросети для создания музыки
SUNO V3
Udio
Лекция 5. Создание аудиоконтента и
музыки
Маркусь Анна Михайловна

8.

Спасибо за внимание!
Маркусь Анна Михайловна,
markusam@susu.ru