Введение в порождающие модели

1. Введение в порождающие модели

Подготовили:
Боронин Дмитрий, Згировский Кирилл, гр.
5130901/20201
Сулейманов Кирилл, Хусейнзода Амир, гр.
5130901/20103

2. Что такое порождающие модели?

3. Машина Больцмана. Основоположники

Джеффри Хинтон (род. 1947)
Терренс Сейновски (род. 1947)

4. Сеть Хопфилда

5. Машина Больцмана. Название

Людвиг Больцман (1844-1906)
Постоянная Больцмана
Формула энтропии Больцмана
Закон Стефана-Больцмана
Распределение Больцмана

6. Машина Больцмана. Строение

7. Машина Больцмана. Основные понятия

Стохастические нейроны (stochastic units)
Модель на основе энергии (energy-based model)
Равновесие (equilibrium)
Энергия (energy)
Видимые нейроны (visible units)
Скрытые нейроны (hidden units)
Цепь Маркова (Markov chain)
Градиентный подъём (gradient ascent)
Алгоритм имитации отжига (simulated annealing)

8. Машина Больцмана и классические архитектуры

Машина Больцмана
Многослойный перцептрон
Сеть Хопфилда

9. Машина Больцмана. RBM

Огромные вычислительные затраты => необходимость модификации
Ограниченная машина Больцмана - RBM
Пол Смоленски (род. 1955)

10. RBM. Распределение Бернулли

11. RBM. Модификации

Свёрточная (CRBM)
Временная (TRBM)
Непрерывная (Continuous RBM)

12. RBM. Обучение. Математическая основа

Цель обучения - максимизация вероятности системы с заданным набором образцов V,
определяемой как произведение вероятностей:
Или же:

13. RBM. Обучение. Алгоритм

1.
Для одного образца данных v вычислить вероятности скрытых элементов,
применить активацию для скрытого слоя h для данного распределения
вероятностей.
2.
Вычислить позитивный градиент для v и h.
3.
Через образец h провести реконструкцию образца видимого слоя v', а потом
выполнить семплирование с активацией скрытого слоя h’.
4.
Вычислить негативный градиент для v' и h’
5.
Поправить матрицу весов W на разность позитивного и негативного градиента,
помноженного на множитель, задающий скорость обучения
Также внести поправки в биасы a и b:

14. RBM. Достоинства

Неразмеченное обучение
Генеративные способности
Способность к послойному обучению
Возможность анализа данных со сложными скрытыми зависимостями

15. RBM. Сфера применения

Обработка изображений
Обработка естественного языка
Биоинформатика

16. RBM. Недостатки

Вычислительная сложность
Проблема аппроксимации
Ориентация на бинарные данные
Чувствительность к гиперпараметрам

17. Модификации RBM. Глубокая сеть доверия (DBN)

18. Модификации RBM. Глубокая машина Больцмана (DBM)

19. Подводя итоги

Машина Больцмана и производные архитектуры – важная веха в глубоком обучении.
На сегодняшний день непосредственно используются редко.
Стали основой успешных коммерческих проектов и новых нейросетевых архитектур.
Привнесли принципиально новый подход в обучение нейросетей.

20.

21. Вопрос 1

1. Кто из учёных стоит у истоков концепции машины Больцмана как нейросетевой
архитектуры?
А) Хопфилд
Б) Больцман
В) Хинтон
Г) Смоленски

22. Вопрос 2

2. Какова ключевая историческая роль машин Больцмана, начиная с 2000-х годов?
А) Они использовались для создания первых чат-ботов
Б) Они легли в основу первого автономного робота
В) Они решили проблему исчезающих градиентов в сверточных сетях
Г) Они позволили реализовать метод предварительного обучения глубоких сетей

23. Вопрос 3

3. Чем принципиально отличается природа нейронов в машине Больцмана от нейронов в
перцептроне?
А) Нейроны машины Больцмана являются аналоговыми, а не цифровыми
Б) Нейроны машины Больцмана — стохастические, а не детерминистические
В) Нейроны машины Больцмана имеют только линейную функцию активации
Г) Нейроны машины Больцмана не имеют синаптических весов

24. Вопрос 4

4. Какой алгоритм является основной альтернативой обратному распространению для
обучения ограниченной машины Больцмана?
А) Метод опорных векторов
Б) Генетический алгоритм
В) Контрастивная дивергенция
Г) Алгоритм k-ближайших соседей

25. Вопрос 5

5. Чем Глубокая Машина Больцмана (DBM) принципиально отличается от Глубокой
Сети Доверия (DBN)?
А) DBM требует для обучения только CPU, а DBN — GPU
Б) DBM — это полностью ненаправленная модель, а DBN — гибридная
В) DBM может иметь только 3 слоя, а DBN — неограниченное количество
Г) DBM используется только для классификации, а DBN — для генерации данных

26. Вопрос 6

6. Какая современная архитектура в значительной степени вытеснила машины Больцмана
из-за большей эффективности?
А) Сеть Хопфилда
Б) Графовая нейронная сеть (GNN)
В) Рекуррентная нейронная сеть (RNN)
Г) Генеративно-состязательная сеть (GAN)

27. Вопрос 7

7. Какой ключевой элемент архитектуры отличает Ограниченную машину Больцмана (RBM)
от полной?
А) В RBM отсутствуют скрытые слои
Б) В RBM отсутствуют связи между нейронами внутри одного слоя
В) В RBM используется только одна функция активации
Г) В RBM веса являются симметричными

28. Вопрос 8

8. С каким известным физическим понятием напрямую связан принцип работы Машины
Больцмана?
А) Теория относительности
Б) Закон Ома
В) Статистическая физика и понятие энергии системы
Г) Цепная ядерная реакция

29. Список источников

Hinton, G. E., & Sejnowski, T. J. (1986). Learning and Relearning in Boltzmann Machines. In Parallel Distributed Processing: Explorations in the
Microstructure of Cognition (Vol. 1). MIT Press.
Hinton, G. E. (2002). Training Products of Experts by Minimizing Contrastive Divergence. Neural Computation, 14(8), 1771–1800.
Hinton, G. E., Osindero, S., & Teh, Y. W. (2006). A Fast Learning Algorithm for Deep Belief Nets. Neural Computation, 18(7), 1527–1554.
Salakhutdinov, R., & Hinton, G. E. (2009). Deep Boltzmann Machines. Proceedings of the 12th International Conference on Artificial Intelligence and
Statistics (AISTATS).
Fisher, A., & Ilya, L. (2021). Restricted Boltzmann Machines: A Comprehensive Guide. GeeksforGeeks.
Smith, J. (2020). Deep Learning: Boltzmann Machines and Beyond. Towards Data Science.
Иванов, А. (2020). Машины Больцмана: от теории к практике. Хабр.
Petrov, D. (2019). Understanding Contrastive Divergence. Medium.
Больцман, Людвиг. Большая российская энциклопедия.
Биография Джеффри Хинтона. Big-I.ru.
Netflix Prize and Restricted Boltzmann Machines. Medium (2020).
Application of RBMs in Natural Language Processing. Analytics India Magazine (2021).
Как мы использовали Deep Belief Networks для анализа изображений. Хабр (2021).
Practical Guide to Training Restricted Boltzmann Machines. University of Toronto.