Самоорганизующиеся карты

1.

Самоорганизующиеся
карты
Корлякова М.О.
2019

2.

Самоорганизация
Есть множество данных
Нужно найти закономерность

3.

Самоорганизация. Свойства
Глобальный порядок определяется
локальными взаимодействиями
Изменение силы связей ведет к
самоусилению системы
Ограниченное число ресурсов ведет к
конкуренции.
Изменение силы связей ведет к
кооперации
Описание образов избыточно

4.

Самоорганизация

5.

Принцип
Обучение. Самоорганизация на основе
конкуренции.
Обобщение. Ближайший нейрон
Использует специальные функции
преобразования для разложения входного
образа.
SOM – Self-Organizing Maps

6.

Нейрон WTA
Победитель получает все.
Winner Take All
Wo
X-W
W1
Wn

7.

меры расстояния
эвклидова мера
d(X, Wi)=|X-Wi|2=sqrt(sum[j=1:N]((xj-wij)2));
скалярное произведение
d(X, Wi)=1-<X Wi>=1-|X|2*|Wi|2*cos(X, Wi);
манхэттенское расстояние
d(X, Wi)=sum[j=1:N](| xj-wij |);
suprenum-норма
d(X, Wi)=maxj(|xj-wij|).

8.

Модель сети Кохонена
Сеть Кохонена - Алгоритм векторного
кодирования.
Реализует топологическое отображение,
которое оптимально размещает
фиксированное количество векторов ва
входном пространстве высокой
размерности.

9.

Архитектура сети SOM
Кохонена
x1
x2
x3
Слой 0
1
2
y1
у2
i
m
ym
Слой нейронов
Кохонена

10.

Модель сети Кохонена
Один слой.
Нейроны Кохонена (РБФ).
Горизонтальные связи.
Обратных связей нет.
Обучение без учителя.
Обучение по алгоритмам соревнования.
Задача – кластеризация.
Число входов = размеру образца.
Число выходов = числу нейронов.

11.

Цель обучения
Минимизация погрешности квантования

12.

Формирование сети
Кохонена
Инициализация
Конкуренция (выбор нейрона победителя)
Кооперация (для победителя найти его
окрестность)
Синаптическая адаптация (изменяем
победителя и его окрестность)

13.

Конкуренция
I(x)=arg min || X – Wj ||, j=1, …, p
р- число нейронов

14.

Кооперация
Латеральное взаимодействие
hji – топологическая окрестность с центром в i.
dji – латеральное расстояние от нейрона I к
нейрону j (dji2=|| rj – ri ||2, ri – позиция нейрона i )
hji(X)=exp(-dji2/(2 * g2))
g-эффективная ширина топологической
окрестности

15.

Адаптация
Wj=Wj+α*hji(X)*(X-Wj)
α(n) = α0* exp(-n/t), n=0,1, 2 …

16.

17.

18.

19.

Эдинбург

20.

21.

22.

23.

24.

Число эпох самоорганизации
10
20
30

25.

Модификация обучения
Алгоритм «Нейронного газа»
Сортировка по удаленности от Х
Соседство по сортировке

26.

Сети SOM в Matlab
net=newsom(<диапазон входов>,[<размер карты>]);
net=newsom([0 20; 0 20],[3 5]);
plotsom(<матрица дистанций между нейронами по связям>)
net.layers{1}.positions - матрица дистанций между
нейронами по связям карты кохонена в нейросетевом
объекте.

27.

Проблемы SОМ

28.

Вопрос
Число слоев радиально-базисной сети
Число слоев многослойного перцептрона
Число слоев сети Кохонена

29.

Сети SOM : применение
Копрессия данных:
- сжатие изображений
К=nx*ny*T/(N*lg2(n)+n*nx*ny*t)
где nx и ny- размеры кадра в осях x и y, N - количество
кадров, n - количество нейронов, а T и t - количество
битов для представления соответственно градаций
интенсивности пиксела и значений весов

30.

Сети SOM : применение
Прогнозирование нагрузок
энергетической системы
база данных, содержащая векторы
профильных нагрузок дня

31.

Сети SOM : применение
Оптимальное размещение антенн сотовых
сетей
Статистика обращений за обслуживанием
Самоорганизация сети с ограниченным числом
сот