Attention_Is_All_You_Need_Transformer_Presentation

1.

Attention Is
All You Need
Vaswani et al., 2017
Архитектура Transformer и революция в обработке
последовательностей

2.

Ограничения RNN и преимущества Transformer
ПРОБЛЕМА
РЕШЕНИЕ
RNN / LSTM
Transformer
Последовательная обработка: операции зависят
Только внимание, без рекуррентности:
от предыдущего скрытого состояния →
предложение обрабатывается целиком → полная
невозможность параллелизации
параллелизация вычислений
Ключевая мотивация архитектуры Transformer — устранить последовательную природу RNN, заменив её механизмом
внимания, который обрабатывает всю последовательность параллельно.

3.

Архитектура Transformer
Decoder — N=6 слоёв
Encoder — N=6 слоёв
Masked Self-Attention
Multi-Head Self-Attention
предотвращает заглядывание вперёд
8 голов
Cross-Attention
Feed-Forward Network
→
запросы из decoder, ключи из encoder
два линейных преобразования с ReLU
Feed-Forward Network
Add & LayerNorm
два линейных преобразования с ReLU
остаточная связь + нормализация
Add & LayerNorm
остаточная связь + нормализация
Vaswani et al., 2017 — Attention Is All You Need

4.

Механизм Self-Attention
Q
Scaled Dot-Product Attention
K
V
Q — Query, K — Key, V — Value;
Q (Query) — запрос, проекция входных
векторов
K (Key) — ключи, проекция входных векторов
V (Value) — значения, проекция входных
векторов
— размерность ключа
Масштабирование предотвращает нестабильность
softmax при больших размерностях.

5.

Multi-Head Attention
Один механизм внимания — хорошо, а восемь — лучше.
h=8
ГОЛОВА
1
ГОЛОВА
2
ГОЛОВА
8
…
голов внимания
Каждая голова учится фокусироваться на разных
частях последовательности, извлекая
разнообразные репрезентации.
Результаты голов конкатенируются и
Конкатенация
Линейная проекция
проецируются в итоговое представление через
линейный слой.

6.

COMPONENT
Positional Encoding
Transformer лишён рекуррентности — порядок слов «невидим» без дополнительной информации.
Positional Encoding встраивает позицию токена с помощью синусоид разной частоты.
ЗАЧЕМ ЭТО НУЖНО
ФОРМУЛА
•Модель не различает «собака укусила человека» и
«человек укусил собаку» без позиции
•Синусоиды позволяют модели легко «выучить»
относительные позиции
•Векторы позиции складываются с эмбеддингами слов на
входе
•Каждая размерность кодирует свою частоту — от
pos — позиция токена · i — индекс размерности · d_model — размер
эмбеддинга
медленной до быстрой
2017
d_model
год статьи
размерность модели

7.

Encoder: структура слоя
1. Multi-Head Self-Attention
Каждая голова вычисляет внимание по формуле
(h=8 параллельных голов, результаты конкатенируются)
3. Feed-Forward Network (FFN)
Два линейных преобразования с ReLU:
внутренняя размерность 2048, выходная 512
2. Add & LayerNorm
Остаточная связь:
нормализация слоя (LayerNorm) стабилизирует обучение
4. Add & LayerNorm
Повторная остаточная связь и нормализация
после FFN, идентично шагу 2
Encoder состоит из N=6 таких слоёв. Все слои идентичны по структуре, но имеют разные обучаемые веса.

8.

Decoder: структура слоя
Компоненты слоя Decoder
Masked Self-Attention
Маска не позволяет видеть будущие слова (защита от заглядывания вперёд)
Cross-Attention
Output
Add & Norm
Запросы из decoder, ключи/значения из encoder
FFN
Feed-Forward Network
Два линейных преобразования с нелинейностью ReLU
Add & LayerNorm
Add & Norm
Cross-Attention
Остаточное соединение + нормализация слоя (после каждого подблока)
Каждый из 6 слоёв decoder содержит все перечисленные компоненты
Add & Norm
Masked Self-Attention
Input
Структура одного слоя decoder (N=6)

9.

Результаты экспериментов
Английский → Немецкий (WMT 2014)
41.8
BLEU — результат модели Transformer
Английский → Французский (WMT 2014)
28.4
EN→DE
41.8
BLEU — результат модели Transformer
EN→FR
Обучение значительно быстрее рекуррентных сетей благодаря полной
параллелизации вычислений.
28.4

10.

Влияние на область
ОСНОВА ЭРЫ ТРАНСФОРМЕРОВ
КЛЮЧЕВЫЕ МОДЕЛИ-НАСЛЕДНИКИ
NLP: BERT, GPT, T5 — все ведущие модели построены на архитектуре
BERT — двунаправленный энкодер
Transformer
GPT — авторегрессивный декодер
CV: ViT, Image Transformer, DALL·E — выход за пределы NLP
T5 — encoder-decoder для transfer learning
ViT — Vision Transformer для изображений
Все они используют базовые механизмы Attention Is All You Need
ЦИТИРУЕМОСТЬ
100k+
МЕЖДИСЦИПЛИНАРНОЕ ВЛИЯНИЕ
цитирований — одна из самых цитируемых статей в истории
машинного обучения
Архитектура применяется в биоинформатике (AlphaFold),
обработке аудио (Speech-Transformer), рекомендательных
системах и робототехнике.
Vaswani et al., 2017 — переосмысление последовательной обработки

11.

Выводы
ИННОВАЦИЯ
СКОРОСТЬ
Чистое внимание, без рекуррентности
Параллелизация обучения
Архитектура Transformer полностью отказалась от RNN/CNN —
единственный механизм обработки последовательности — SelfAttention.
Self-Attention обрабатывает все позиции сразу, а не последовательно
— время обучения сокращается в разы по сравнению с LSTM.
КАЧЕСТВО
НАСЛЕДИЕ
State-of-the-art перевод
Фундамент современных LLM
Модель достигла показателей BLEU на WMT 2014: 41.8 EN→DE и
28.4 EN→FR.
Архитектура легла в основу BERT, GPT, T5 — всех поколений
современных языковых моделей и не только.
Вывод: Transformer — революция в обработке последовательностей, замена RNN/CNN и основа всей современной NLPэкосистемы.