Сеть Кохонена

1.

Сеть Кохонена

2.

Сеть с самоорганизацией на основе конкуренции
wi ( wi 0 , wi1,..., wi ( N 1) )T
d ( x, w j ) min d ( x, wi )
0 i N
wi ( k 1) wi ( k ) i ( k )[ x wi ( k )]
Модификация весов по правилу Кохонена.
Адаптируются только веса, лежащие в некоторой окрестности
нейрона-победителя.

3.

Меры расстояния между векторами
евклидова мера:
d ( x, wi ) x wi
2
(
x
w
)
j ij
j
скалярное произведение: d ( x, wi ) 1 x wi cos( x, wi )
Манхэттен:
d ( x, wi )
| x j wij |
j
мера относительно нормы L :
d ( x, wi ) max | x j wij |
j

4.

Нормализация векторов
Необходимость в нормализации при небольшой
размерности входных векторов.
При N>200 эффект от нормализации уменьшается.
Способы нормализации:
1.
xi
xi
xi 2
i
2. Увеличение размерности пространства на одну координату,
N
чтобы:
2
xi
i 0
1

5.

Общий смысл обучения
wн wс [ x wс ]

6.

Инициализация весов
1. Инициализация случайным образом (с нормализацией).
2. Метод выпуклой комбинации:
wij 1
N
xi xi 1
N
3. Добавление шума к входным векторам.

7.

Проблема мертвых нейронов
1. Начальная адаптация всех весов.
2. Учет активности нейрона («чувство справедливости»)
- контролирование частоты выигрыша каждого нейрона;
- вычисление потенциала нейронов:
pi ( k ) 1 (i h );
N
pi ( k 1)
pi ( k ) pmin (i h )
pmin 0.75
- модификация расстояния между входным вектором и
вектором весов:
d ( x, wi ) N i d ( x, wi )

8.

Алгоритмы обучения
1
E
N
N
x w
i 1
i
2
w(i )
1. WTA с учетом активности нейронов (CWTA):
wh wh [ x wh ]
2. WTM (Winner takes most):
wi wi iG (i, x )[ x wi ]
а) классический алгоритм Кохонена:
- функция G определяет прямоугольную окрестность;
d 2 ( i ,w )
- соседство гауссовского типа:
G (i , x ) e
2 2
б) алгоритм нейронного газа:
Сортировка векторов весов по расстояниям до входного
вектора;
m ( i ) , где m(i) - номер нейрона i в полученной
G (i , x ) e
перестановке по расстояниям.

9.

Сравнение алгоритмов обучения
1. CWTA.
2. WTM - нейронный газ.
3. Классический алгоритм Кохонена.

10.

Применение сети Кохонена
1. Компрессия данных.
Кадр разбивается на части (входные вектора).
Каждой части сопоставляется нейрон-победитель.
Степень компресии изображений: 16.
2. Диагностирование неисправностей.
3. Визуализация многомерной информации.

11. Визуализация многомерной информации

Двумерная топографическая карта набора
трехмерных данных.
Каждая точка в трехмерном пространстве попадает
в свою ячейку сетки имеющую координату
ближайшего к ней нейрона из двумерной карты.
Свойство локальной близости: близкие на карте
области близки в исходном пространстве. Наоборот в
общем случае не верно.
Раскраска по i-му признаку.
Карты всех признаков образуют топографический
атлас.

12. Визуализация деятельности российских банков

Исходные данные.
1800 банков.
Каждый банк описывается 30 финансовыми показателями.
Задача
Построить 2 обобщенных параметра, представляющие данные о
банках с минимальной потерей информации.

13. Метод решения: карта Кохонена

Входной слой: 30 нейронов.
Выходной слой: плоскость 20х20 нейронов.
Ячейки, содержащие хотя бы один
банк с отозванной лицензией.

14.

Анализ карт Кохонена
Размер активов
Всего расходов
Уставной фонд
(относительный
размер)
Прибыль/убыток
Всего доходов
Всего обязательств

15.

Достоинства и недостатки
Достоинства:
1. Быстрое обучение;
2. Устойчивость к помехам.
Недостатки:
1. Не обладает свойствами аппроксиматора;
2. Решение задач кластеризации только при известном
числе кластеров.