Методы оптимизации в нейронных сетях

1.

“Методы оптимизации в
нейронных сетях”
Студент: Пасека Иван Евгеньевич,ННГУ
им.Лобачевского, Прикладная математика
и информатика
Руководитель: Краснова Елена
Иннокентьевна, отдел 12, инженерпрограммист I категории
АО «Федеральный научно-производственный центр
«Нижегородский научно-исследовательский институт радиотехники»

2.

Цель практики:
● Изучение алгоритма оптимизации PSO
● Создание модификации SOFA
● Сравнение между собой алгоритмов оптимизации SOFA,
PSO, DE.
2

3.

Первый этап:
• Сбор и изучение информации по теме проекта.
• Реализация SOFA.
• Отладка и проверка написанного алгоритма.
• Сравнение результатов алгоритмов.
• Создание нейронной сети

4.

Второй этап:
• Внедрение SOFA в нейронную сеть.
• Модификация внедренного метода.
• Исследование
влияния
различных
параметров на скорость и качество
обучения нейронной сети.
• Сравнение
результатов
работы
алгоритмов оптимизации между собой

5.

Информация о предприятии
АО
«ФНПЦ
«ННИИРТ»
является
предприятием
радиотехнического
профиля,
выполняющим:
научноисследовательские
и
опытноконструкторские разработки в области
радиолокации, радиотехнических систем и
устройств.
5

6.

Информация об отделе
Отдел является ведущим подразделением
предприятия, обеспечивающим на уровне
новейших достижений современной науки
и техники разработку и реализацию
научных
предпосылок,
методов,
алгоритмов, программ и аппаратуры по
закреплённой тематике.
6

7.

Информация об отделе
7

8.

Первый этап:
• Реализовать алгоритм SoFA. Отладить и проверить алгоритм.
Survival of the Fittest algorithm (Алгоритм выживания наиболее
приспособленного)
Описание: Координаты первой опорной точки в нашей реализации SoFA
выбираются случайным образом из диапазона значений, характеризующих
область определения исследуемой функции.
Вероятности выбора точек в качестве опорных вычисляется по формуле:
(к - число итераций алгоритма, J(z) – значение функции приспособленности в
i-й точке).
Выбор следующей координаты точки алгоритма осуществляется по формуле:
(где r - случайное число в диапазоне [0, 1], Вi - правая граница области
определения по i-ой координате, Аi - левая граница области определения по iой координате, z - i-я координата опорной точки, epsilon - особый параметр
алгоритма)

9.

Параметры SoFA
Алгоритм принимает на вход функцию, оптимизация которой будет проводится,
а также отрезок, на котором будет искаться максимум (задается для каждого
параметра отдельно). Кроме того, можно указать количество итераций
алгоритма (по умолчанию оно равно 200).
Параметр алгоритма epsilon задается в самой программе. Было протестировано
несколько различных вариантов, лучшим из которых стал: