Нейронные сети - online presentation

24.53M

Category:

informatics

1.

СПбГУТ им. проф. М.А.Бонч-Бруевича
Нейронные сети
К.т.н., доцент кафедры ИУС
Феликс Васильевич Филиппов
[email protected]

3. Искусственный интеллект

Искусственный интеллект
В ХХ веке было
сформулировано понятие
искусственного интеллекта
и предложен ряд
определений этого понятия.
Одним из первых
определений, получивших
широкое признание и до
сих пор остающимся
популярным, является
следующее: "Способ
заставить компьютеры
думать как люди".
Истоком этого определения
явился знаменитый тест,
предложенный британским
математиком и одним из
первых исследователей в
области компьютерных наук
Аланом Тьюрингом. В данном
тесте экспериментатор
пытается определить,
является ли человеком или
компьютерной программой то
"лицо", с которым он
обменивается сообщениями
с помощью дистанционной
клавиатуры.

4.

Искусственный интеллект
Области искусственного
интеллекта
Искусственный интеллект
Искусственные
нейронные
сети

5.

Нейронные сети
Простая задача распознавания
MNIST - Mixed National Institute of
Standards and Technology
http://yann.lecun.com/exdb/mnist/
1998 год
База данных MNIST
включает 60,000
тренировочных
рукописных изображений
цифр
и 10,000 проверочных
изображений.
2010 год
0,27% ошибки CNN
https://en.wikipedia.org/wiki/MNIST_database

6.

MNIST в Rstudio
Нейронные сети
1-й способ

7.

MNIST в Rstudio
Нейронные сети
2-й способ
install.packages("darch")
library("darch",
lib.loc="/Library/Frameworks/R.framework/Versions/3.1/Resources/libr
ary")
readMNIST("/Users/felixfilippov/Desktop/mnist_fold/")
[1] "Loading the the MNIST data set."
[1] "Loading train set with 60000 images."
[1] "Generating randomized data set and label matrix"
[1] "class 0 = 5923 images"
[1] "class 1 = 6742 images"
[1] "class 2 = 5958 images"
[1] "class 3 = 6131 images"
[1] "class 4 = 5842 images"
[1] "class 5 = 5421 images"
[1] "class 6 = 5918 images"
[1] "class 7 = 6265 images"
[1] "class 8 = 5851 images"
[1] "class 9 = 5949 images"
[1] "Saving the test data (filename=train)"
[1] "Loading test set with 10000 images."
[1] "Generating randomized data set and label matrix"
[1] "class 0 = 980 images"
[1] "class 1 = 1135 images"
[1] "class 2 = 1032 images"
[1] "class 3 = 1010 images"
[1] "class 4 = 982 images"
[1] "class 5 = 892 images"
[1] "class 6 = 958 images"
[1] "class 7 = 1028 images"
[1] "class 8 = 974 images"
[1] "class 9 = 1009 images"
[1] "Saving the test data (filename=test)"
[1] "Finished"

8.

Нейронные сети
Простая задача распознавания
В конечном итоге:
распознавание с 99,67%
точностью. Только 33
тестовых изображения из
10000 классифицируется с
ошибкой.
Здесь показаны ошибки:
значение в верхнем правом
углу есть правильная
классификация, по данным
MNIST, в то время как
значение в правом нижнем
углу – ошибочная
классификация.

9.

Нейронные сети
Персепртрон Розенблатта
x1
x2
x1
w1
w2
w3
y
x2
x3
y=
w1
w2
w3
y
b
x3
0
1
если Σxiwi ≤ порог
если Σxiwi > порог
y=
0
1
если X . W + b ≤ 0
если X . W + b > 0
x1
-2
-2
3
x2
http://neuralnetworksanddeeplearning.com/movies/create_step_function.mp4
y
00
01
10
11
0x(-2) + 0x(-2) + 3 = 3 > 0
0x(-2) + 1x(-2) + 3 = 1 > 0
1x(-2) + 0x(-2) + 3 = 1 > 0
1x(-2) + 1x(-2) + 3 = -1 < 0
y=1
y=1
y=1
y=0

10.

Мозг
Нейронные сети
Мозг человека состоит приблизительно
из 86 миллиардов нейронов,
соединенных многочисленными связями
(в среднем несколько тысяч связей на
один нейрон, однако это число может
сильно колебаться).
http://habrahabr.ru/post/214109/
http://habrahabr.ru/post/108483/

11.

Нейрон
Нейрон
Нейроны:
• не делятся
• много входов (до 10000)
• один выход
Слабая и сильная
синаптическая связь

12.

Нейрон
Схема искусственного нейрона
синапсы
аксон
тело
Функция активации
линейная
пороговая
сигмоидная
с=2

13.

Нейрон
Состояние нейрона
Каждый синапс характеризуется величиной синаптической связи
– её также называют весом Wi.
По физическому смыслу, вес синаптической связи – это
электрическая проводимость данного синапса.
float s = 0;
for(int i = 0; i < n; i++) {
s += x[i]*w[i];
}

14.

Нейрон
Функция активации нейрона
Значение на выходе нейрона – это
функция от его состояния – функция
активации:
Y = f(s)
Чаще всего, используется логистическая функция или функция
S-образного вида (сигмоид):
f(s) = 1/(1 + e-as)
Одна из причин, по которой сигмоид используется в нейронных сетях, это простое выражение его
производной через саму функцию (которое позволило существенно сократить вычислительную
сложность метода обратного распространения ошибки, сделав его применимым на практике):
f '(s) = f(s)x(1 – f(s))

15.

Нейрон – линейный классификатор
Нейрон
AND
OR
Искусственный нейрон – является
однослойным персептроном (перцептроном),
т.е. моделью, в которой входные элементы
напрямую соединены с выходными с помощью
системы весов, и выполняет функцию
линейной классификации.
TRUE
FALSE
XOR
Классический пример задачи, которая
не по зубам однослойному перцептрону —
исключающее ИЛИ (XOR или сумма по mod2)

16.

Скрытые слои (hidden layers)
hidden layer 1
hidden layer 2
Выходной слой
Входной (сенсорный) слой
Персептрон
Многослойный персептрон

17.

Многослойный персептрон
Персептрон
hidden = 4
Для решения задачи XOR, многослойный персептрон будет иметь два входа, затем
скрытый (hidden) слой, и один выход:

18.

Многослойный персептрон
Персептрон
hidden = 20

19.

Многослойный персептрон
Персептрон
hidden = 3, 2, 1

20.

Многослойный персептрон
Персептрон
hidden = 2
Функция XOR, AND и OR

21.

Работа нейронной сети
Работа нейронной сети
Три фазы работы нейронной сети при обучении:
1 фаза) прямое распространение сигнала
2 фаза) обратное распространение ошибки
3 фаза) коррекция весовых коэффициентов

22.

Работа нейронной сети
Работа нейронной сети
1 фаза) прямое распространение сигнала
1 слой
2 слой
Выходной слой
http://robocraft.ru/blog/algorithm/560.html

23.

Работа нейронной сети
Работа нейронной сети
2 фаза) обратное распространение ошибки
Выходной слой
1 слой
2 слой
http://robocraft.ru/blog/algorithm/560.html

24.

Работа нейронной сети
Работа нейронной сети
3 фаза) коррекция весовых коэффициентов
1-го слоя
2-го слоя
Выходного слоя
f '(s) = f(s)x(1 – f(s))

25.

Факторный анализ
Факторный анализ
https://ru.wikipedia.org/wiki/Факторный_анализ
Две основных цели факторного анализа:
•определение взаимосвязей между переменными, классификация
переменных;
•сокращение числа переменных необходимых для описания данных.
Методы факторного анализа:
•метод главных компонент;
•корреляционный анализ;
•метод максимального правдоподобия.

26.

Факторный анализ
Метод главных компонент
https://ru.wikipedia.org/wiki/Метод_главных_компонент
Метод главных компонент (principal component analysis, PCA) —
один из основных способов уменьшить размерность данных, потеряв
наименьшее количество информации.
Карл Пирсон - 1901 год
Даны точки Pi на плоскости,
рi – расстояние от точки Pi
до прямой АВ.
Отыскать прямую АВ, чтобы:
min
http://www.ievbras.ru/ecostat/Kiril/Library/Book1/Content375/Content375.htm

27.

Факторный анализ
Метод главных компонент
Дано конечное множество векторов x1, x2, …, xm∈ Rn . Для каждого k = 0,1, … , n-1
среди всех k-мерных линейных многообразий в Rn, найти такое Lk ⊂ Rn , что сумма
квадратов уклонений xi от Lk минимальна.
Фактор L0
Усреднение значений дает математическое
ожидание случайной величины X,
обозначаемое, как E(X). Если мы
отцентрируем данные так, чтобы E(X)=0, то
облако точек будет сконцентрировано
вокруг начала координат.
Главная компонента определяется
единичным вектором, выходящим из
начала координат и совпадающим с
направлением, вдоль которого
дисперсия данных будет
максимальной.

28.

Факторный анализ
Анализ пиксельных компонент
1. Строим матричный
образ каждой цифры.
2. Находим матрицу
среднего арифметического для всех
образов.
1,2
1,3
1,6
3,4
5,2
5,6
http://habrahabr.ru/post/224495/
Кандидаты
на главные
компоненты

29.

Факторный анализ
Поиск главных компонент

30.

Факторный анализ
Главные компоненты
Факторы

31.

Факторный анализ
Факторный анализ изображений
Если соотнести результат факторного анализа и образцы обучающей
выборки, то можно заметить следующее:
— фактор 1 — признаки данной области относятся к фону изображения (покров);
и
— факторы 2 и 3 — области перехода от наблюдаемого
объекта к фону;
— фактор 4 — критерии данной области относятся непосредственно к
наблюдаемому объекту;
— фактор 5 — возможные артефакты изображения. Некоторые входные образы
содержали полосу снизу.
http://habrahabr.ru/post/139899/

32.

Практика
Практическое задание №1
Построить и обучить нейронную сеть, которая должна
распознавать символы цифр на матрице из 7x5 ячеек.
X1 = (00100011000010000100001000010001110)
Среда разработки RStudio. Пакет neuralnet.
Пособие «Моделирование нейронных сетей на R»
Цель: добиться надежного распознавания искаженных цифр.

33.

Нейронные сети
Нейронные сети vs ЭВМ

34.

Нейронные сети
Классификация нейронных сетей
Нейронные сети
Нейронные сети
прямого действия
Персептроны
Сверточные
сети
Рекуррентные нейронные сети
(с обратными связями)
Сети
RBF
Сети
Кохонена
Соревновательные
сети
Сети
Хопфильда
ART
сети

35.

Моделирование нейронных сетей
Нейронные сети
на R (в RStudio)
Пакет NEURALNET
Пакет NNET
Пакет RSNNS
art1()
art2()
artmap()
som()
MLP()
rbf()
dlvr()
jordan()
elman()
Пакет NeuralNetTools
Package ‘darch’
This package is for generating neural networks with many layers
(deep architectures) and train them.
Package ‘deepnet’
Implement some deep learning architectures and neural network
algorithms, including BP,RBM,DBN,Deep autoencoder and so
on.
Package ‘h2o’
R scripting functionality for H2O, the open source
math engine for big data that computes parallel distributed
machine learning algorithms such as generalized linear models,
gradient boosting machines, random forests, and neural
networks (deep learning) within various cluster environments.

36.

Нейронные сети
Пакет NEURALNET
AND <- c(rep(0,7),1)
OR <- c(0,rep(1,7))
binary.data <- data.frame(expand.grid(c(0,1), c(0,1), c(0,1)), AND, OR)
net <- neuralnet(AND+OR~Var1+Var2+Var3, binary.data, hidden=0, linear.output=FALSE)
1
2
3
4
5
6
7
8
Var1 Var2 Var3 AND OR
0
0
0
0 0
1
0
0
0 1
0
1
0
0 1
1
1
0
0 1
0
0
1
0 1
1
0
1
0 1
0
1
1
0 1
1
1
1
1 1

37.

Нейронные сети
Пакет NEURALNET
XOR <- c(0,1,1,0)
xor.data <- data.frame(expand.grid(c(0,1), c(0,1)), XOR)
net.xor <- neuralnet( XOR~Var1+Var2, xor.data, hidden=2, rep=5)
plot(net.xor, col.hidden = "red", col.intercept = "green",col.entry="dark green",
col.entry.synapse = "blue",col.out.synapse="red", col.out="yellow", fontsize=16)

38.

Нейронные сети
Пакет NNET
ir <- rbind(iris3[,,1],iris3[,,2],iris3[,,3])
targets <- class.ind( c(rep("s", 50), rep("c", 50), rep("v", 50)) )
samp <- c(sample(1:50,25), sample(51:100,25), sample(101:150,25))
ir1 <- nnet(ir[samp,], targets[samp,], size = 2, rang = 0.1, decay = 5e-4, maxit = 200)
plot.nnet(ir1)

39.

Нейронные сети
Пакет NeuralNetTools
Пакет предоставляет средства визуализации и анализа, чтобы
помочь в интерпретации нейросетевых моделей. Функции пакета
позволяют строить графики, давать количественную оценку важности
входных переменных, проводит анализ чувствительности, а также
получать простой список весов модели.
Функция garson() дает количественную оценку относительной
важности входных переменных нейросети используя алгоритм Гарсона.
wts_in <- c(13.12, 1.49, 0.16, -0.11, -0.19, -0.16, 0.56, -0.52, 0.81)
struct <- c(2, 2, 1) #two inputs, two hidden, one output
garson(wts_in, struct)

40.

CNN
Сверточная нейронная сеть
Свёрточная нейронная сеть (convolutional neural network,
CNN) — специальная архитектура искусственных нейронных
сетей, предложенная Яном Лекуном и нацеленная на
эффективное распознавание изображений, входит в состав
технологий глубокого обучения (deep leaning).
CNN технология построена по аналогии с принципами
работы зрительной коры головного мозга, в которой были открыты
так называемые простые клетки, реагирующие на прямые линии
под разными углами, и сложные клетки, реакция которых связана с
активацией определённого набора простых клеток.
Идея CNN заключается в чередовании сверточных слоев
(convolution layers) и слоев подвыборки (subsampling layers).

41.

Сверточная нейронная сеть
CNN
В основу CNN положено 2 основные идеи:
1) идея: фильтрация
(операция свертки)
2) идея: уплотнение
(max-pooling)

42.

Сверточная нейронная сеть
1) идея: фильтрация
CNN
Фильтр – это небольшая матрица,
представляющая признак, который мы хотим
найти на исходном изображении.
Операция свертки
Исходное изображение
Фильтры
определители
признаков
http://www.kdnuggets.com/2015/04/inside-deep-learning-computer-vision-convolutional-neural-networks.html
Карты признаков

43.

Сверточная нейронная сеть
CNN
фильтрация
Вместо входов при изучении
сверточных сетей удобно рассматривать
матрицу входных нейронов, значения
которых соответствуют интенсивности
пикселов, используемых как входы:
Каждый нейрон локального рецептивного
региона связывается с одним нейроном скрытого слоя.
Набор весовых коэффициентов образует фильтр.
Входные нейроны
Входные нейроны
Скрытые нейроны
Локальные рецептивные поля

44.

Сверточная нейронная сеть
сверточный слой (convolution layer)
CNN
Карта признаков
Фильтр
x1 x0 x1
x0 x1 x0
x1 x0 x1
Исходное изображение
(или карта признаков)
Сверточные
признаки
(convolved features)
На схеме слой нейронов сети представляет исходное изображение (либо карту признаков). Фильтр
представляет матрицу весов соединений, которая «сканирует» весь входной слой.
Нейрон на карте признаков активируется, если фильтр определил подходящий признак в
соответствующей позиции на предыдущем слое.

45.

Пример фильтрации изображения
CNN
Фильтр признаков W1
V
W2
W2
W1
1
0
-1
2
0
-2
1
0
-1
-1
0
1
-2
0
2
Отклик
фильтра
W1
-1
0
1
карта признаков
0
-1
-2
1
0
-1
2
1
0
Filter (V ,W1 ) Filter (V ,W2 ) Filter (V ,W3 )

46.

Сверточная нейронная сеть
формирование карты признаков
Входные нейроны
CNN
Первый скрытый слой
Рецептивный регион
stride length
Сверточный признак
длина шага = 1
Входные нейроны
Первый скрытый слой
Карта признаков
Если входное изображение 28 × 28, и
локальный рецептивный регион 5 × 5 ,
тогда в карте признаков скрытого слоя
будет 24 × 24 нейрона при длине шага
равной 1.
Фильтр не сканирует!
Фильтр – это связи с весами
рецептивного региона
анализируемого слоя с
нейроном сверточного
признака скрытого слоя.
Каждый элемент (признак)
карты признаков
сформирован своим единым
для карты фильтром.

47.

Сверточная нейронная сеть
формирование карт признаков
CNN
Для распознавания изображений нужно много карт признаков:
28 х 28 входных нейронов
Первый скрытый слой: 3 х 24 х 24 нейронов
Здесь показаны 3 карты признаков. Каждая карта получена с
помощью фильтра 5х5.
Такая сеть может распознать 3 различных признака. Каждый
из них распознается по всему изображению.

48.

Сверточная нейронная сеть
CNN
пример карты признаков
Большое преимущество
использования фиксированного
набора весовых коэффициентов
– существенное снижение числа
параметров CNN.
Например, для каждой
карты признаков имеем:
5 х 5 = 25
20 х 25 = 500
параметров сверточного слоя.
Сравним, полносвязный
входной слой:
28 х 28 = 784
20 х 784 = 15680
число параметров больше чем в
30 раз.
Здесь 20 изображений соответствуют 20 различным картам признаков (фильтрам, ядрам). Каждая карта
представлена как блок 5х5 изображений, соответствующих 5х5 весовым коэффициентам локального рецептивного поля.
Белые блоки означают малые (обычно отрицательные) веса, где карта признаков меньше соответствует входным
пикселам. Темные блоки означают большие веса, где карта признаков больше соответствует входным пикселам. Очень
грубо говоря, изображения выше, показывают, тип особенностей за которые отвечает сверточный слой.

49.

Сверточная нейронная сеть
CNN
2) идея: уплотнение (subsampling layer)
Max-уплотнение (max pooling) карты признаков делает процесс
распознавания более точным, избавляя от ненужных «ореолов» и сокращая
число параметров сверточной нейронной сети

50.

Сверточная нейронная сеть
CNN
метод max pooling
Объединяющие слои следуют сразу после сверточных.
Объединяющий слой обрабатывает карту признаков сверточного слоя и формирует более
уплотненную карту. Например, каждый нейрон уплотняющего слоя суммирует регион из 2×2 нейронов
предыдущего слоя.
Общая процедура объединения, известная как max-pooling, просто берет значение
максимально активизированного нейрона из определенного региона, например 2×2.
Max pool с фильтром 2х2
и шагом 2
Поскольку
сверточный
слой
включает 24×24 нейрона, после операции
max-pooling получится 12×12 нейронов
объединяющего слоя.

51.

Сверточная нейронная сеть
CNN
метод max pooling и L2 pooling
Сверточный слой включает несколько карт признаков. Метод maxpooling применяется отдельно для каждой карты. Так, если имеется три карты
признаков, то комбинация сверточного и max-pooling слоев будет выглядеть
следующим образом:
В методе L2 pooling вместо
используется квадратный корень из суммы
квадратов активностей нейронов 2×2
региона. На практике широко используются
оба метода.
L2 pool с фильтром 2х2
и шагом 2
7.9
11.5
4.2
5.1

52.

Простейшая CNN
CNN
фильтрация + уплотнение + распознавание
Фильтрация
Уплотнение
операция свертки
max pooling, L2 pooling
MNIST
0
1
Исходное изображение
входные нейроны
2
3
4
5
6
Карта признаков
7
Карта признаков
Карта признаков
8
9
convolution
layer
subsampling
layer
выходные
нейроны

53.

CNN
Архитектура типовой
cверточной нейронной сети
Ключевым моментом в понимании сверточных нейронных сетей является понятие так называемых
«разделяемых» весов, т.е. часть нейронов некоторого рассматриваемого слоя нейронной сети может
использовать одни и те же весовые коэффициенты. Нейроны, использующие одни и те же веса, объединяются в
карты признаков (feature maps), а каждый нейрон карты признаков связан с частью нейронов предыдущего
слоя. При вычислении сети получается, что каждый нейрон выполняет свертку (операцию конволюции)
некоторой области предыдущего слоя (определяемой множеством нейронов, связанных с данным нейроном).
Слои нейронной сети, построенные описанным образом, называются сверточными слоями.
Помимо, сверточных слоев в CNN могут быть слои подвыборки (выполняющие функции
уменьшения размерности пространства карт признаков) и полносвязные слои (выходной слой, как правило,
всегда полносвязный). Все три вида слоев могут чередоваться в произвольном порядке, что позволяет
составлять карты признаков из карт признаков, а это на практике означает способность распознавания сложных
иерархий признаков.

54.

CNN
Примеры карт признаков

55.

Практика CNN
ILSVRC
ImageNet данные 2011 года использовали 16 миллионов
полноцветных изображений в 20000 категориях. Изображения были взяты
из открытой сети и классифицированы работниками службы Amazon. Вот
несколько ImageNet изображений:
ILSVRC - ImageNet Large Scale Visual Recognition Challenge
задача распознавания (классификации)
задача обнаружения
http://www.image-net.org/challenges/LSVRC/ - 2010, 2011, 2012, 2013, 2014, 2015

56.

Практика CNN
ILSVRC задача классификации
http://cs.stanford.edu/people/karpathy/ilsvrc/

57.

Практика CNN
ILSVRC задача обнаружения
http://habrahabr.ru/company/nordavind/blog/206342/

58.

Практика CNN
ILSVRC задача обнаружения

59.

Практика CNN
ILSVRC задача обнаружения

60.

Практика CNN
ILSVRC задача обнаружения

61.

Практика CNN
ILSVRC задача обнаружения

62.

Практика CNN
ILSVRC задача обнаружения
- лопаточка

63.

Практика CNN
ILSVRC задача обнаружения
- ковш, черпак

64.

Практика CNN
Классификация картин при помощи CNN
Коллекция Wikiart
содержит более 80000 картин
http://arxiv.org/pdf/1505.00855v1.pdf
Ученые из Ратгерского университета (США, штат Нью-Джерси) научили нейронную сеть
классифицировать произведения мирового искусства по жанрам, стилям и художникам.

65.

Практика CNN
Коллекция Wikiart

66.

Практика CNN
Классификация картин при помощи нейронных сетей
Стили
Жанры
Художники
http://datareview.info/article/obzor-nauchnoy-publikatsii-klassifikatsiya-kartin-pri-pomoshhi-neyronnyih-setey/

67.

Нейронные сети
Классификация картин при помощи нейронных сетей

68.

Нейронные сети
Классификация картин при помощи нейронных сетей

69.

Направления исследований
Искусственный интеллект
в области искусственного интеллекта
Компания IBM создала модель из 530 миллиардов
нейронов и 100 триллионов синапсов на суперкомпьютере
"Вычисления (нейроны), память (синапсы) и сообщения
(аксоны, дендриты), математически абстрагированы от биологических
подробностей, для достижения максимизации функциональности
(практичность, применяемость) и минимизации расходов (энергия,
пространство, простой)"
"Это стало воплощением нашего видения проекта DARPA
SyNAPSE, соединившим в себе нанотехнологии, нейробиологию и
суперкомпьютеры для создания основы новой когнитивной
компьютерной архитектуры, которая дополнит существующие сегодня
фон-Неймановские машины"
http://globalscience.ru/article/read/21348

70.

Искусственный интеллект
Нейрочипы
http://citforum.ru/hardware/neurocomp/neyrocomp_04.shtml
http://2013.nscf.ru/TesisAll/Plenar/13_1520_GalyshkinAI_P13.pdf

71.

Оценка производительности
CUPS (connections update per second) - число
измененных значений весов в секунду (оценивает
скорость обучения).
CPS (connections per second) - число соединений
(умножений с накоплением) в секунду (оценивает
производительность).
CPSPW = CPS/Nw, где Nw - число синапсов в
нейроне.
CPPS - число соединений примитовов в секунду,
CPPS=CPS*Bw*Bs, где Bw, Bs - разрядность весов и
синапсов.
MMAC - миллионов умножений с накоплением в
секунду.

72.

TrueNorth
процессор нового поколения
https://habrahabr.ru/company/ibm/blog/232645/

73.

TrueNorth
процессор нового поколения

74.

Нейросемантическое ядро
Compass — система симуляции
новой компьютерной архитектуры TrueNorth.
TrueNorth построен по образу и
подобию мозга, на базе разработанных IBM
"нейросемантических ядер" — чипов,
содержащих кремниевые нейроны и
синапсы.
Каждый чип содержит 256 нейронов, 1024 аксона и 256х1024 синапса.
В рекордной симуляции была смоделирована работа 2084 миллиардов
таких ядер.
http://habrahabr.ru/company/ibm/blog/159365/

75.

Синаптическая сеть от DARPA
Искусственный интеллект
на нейрочипах
Решающий
модуль
Модуль
категоризации
формы
Модуль
обнаружения
движения
возбуждение
торможение
возбуждающее
тормозящее
неуправляемое
взвешенное
Сетчатка
http://www.computerra.ru/98834/neyrochipyi-ot-qualcomm-ispyityivayutsya-na-robotah/