1.29M

Category:

informatics

Этапы развития интеллектуальных систем. Лекция 1

1.

ДИСЦИПЛИНА
«СИСТЕМЫ
ИСКУССТВЕННОГО
ИНТЕЛЛЕКТА
2024

2.

Лекция 1.
Этапы развития
интеллектуальных систем
2024

Наименование Лекции:
Этапы развития интеллектуальных систем
1. Понятие «Искусственный интеллект»
2. История развития искусственного интеллекта
3. Основные направления ИИ
4. Экспертные системы
5. Системы понимания естественного языка
6. Обучение и самообучение
7. Распознавание образов. Обработка визуальной
информации
8. Интеллектуальные роботы
3

4.

Наименование Лекции:
Этапы развития интеллектуальных систем
Термин «искусственный интеллект» был предложен в 1956 г.
в США.
Вскоре
после
признания
искусственного
интеллекта
самостоятельной отраслью науки произошло разделение на два
основных направления: нейрокибернетику и кибернетику "черного
ящика". Основную идею нейрокибернетики можно сформулировать
следующим образом:
Единственный объект, способный мыслить, — это человеческий
мозг. Поэтому любое "мыслящее" устройство должно каким-то образом
воспроизводить его структуру.
Первые нейросети были созданы в конце 50-х гг. американскими
учеными Г. Розенблатом и П.Мак-Коллоком. Это были попытки создать
системы, моделирующие человеческий глаз и его взаимодействие с
мозгом. Устройство, созданное ими, получило название персептрон.
4

5.

Наименование Лекции:
Этапы развития интеллектуальных систем
В основу кибернетики черного ящика лег принцип,
противоположный нейрокибернетике: не имеет значения,
как устроено "мыслящее" устройство. Главное, чтобы на
заданные входные воздействия оно реагировало так же, как
человеческий мозг.
Это направление искусственного интеллекта было
ориентировано
на
поиски
алгоритмов
решения
интеллектуальных задач на существующих моделях
компьютеров. В 1956-1963 гг. велись интенсивные поиски
моделей и алгоритма человеческого мышления и разработка
первых программ. Оказалось, что ни одна из существующих
наук — философия, психология, лингвистика — не может
предложить такого алгоритма. Тогда кибернетики
предложили создать собственные модели. Были созданы и
опробованы различные подходы.
5

6.

Наименование Лекции:
Этапы развития интеллектуальных систем
Два главных
направления ИИ
бионическое,
нейрокибернетика
прагматическое,
кибернетика черного
ящика
Эволюционные
алгоритмы
Нейронные
сети
Формальная
логика
Нечеткая
логика
Роевой
интеллект
Генетически
е алгоритмы
Онтологии
Экспертные
системы
Машины
опорных
векторов
4

7.

Наименование Лекции:
Этапы развития интеллектуальных систем
В конце 50-х гг. родилась модель лабиринтного поиска.
Этот подход представляет задачу как граф, отражающий пространство
состояний, и в этом графе проводится поиск оптимального пути от
входных данных к результирующим.
Начало 60-х г.г. эпоха эвристического программирования.
Эвристика правило, теоретически не обоснованное, но позволяющее
сократить
количество
переборов
в
пространстве
поиска.
Эвристическое программирование разработка стратегии действий
на основе известных, заранее заданных эвристик.
В 1963 1970 гг. к решению задач стали подключать методы
математической логики. На основе метода резолюций, позволившего
автоматически доказывать теоремы при наличии набора исходных
аксиом, в 1973г. создается язык Пролог. Существенный прорыв в
практических приложениях искусственного интеллекта произошел в
середине 70-х гг., когда на смену поискам универсального алгоритма
мышления пришла идея моделировать конкретные знания
специалистов-экспертов. В США появились системы, основанные на
знаниях, или экспертные системы
6

8.

Наименование Лекции:
Этапы развития интеллектуальных систем
В 1954 г. в МГУ под руководством профессора А.А.Ляпунова
(1911 - 1973) начал свою работу семинар "Автоматы и мышление" . В
этом семинаре принимали участие крупнейшие физиологи, лингвисты,
психологи, математики. Принято считать, что именно в это время родился
искусственный интеллект в России. Как и за рубежом, выделились
направления нейрокибернетики и кибернетики "черного ящика".
Среди
наиболее
значимых
результатов,
полученных
отечественными учеными, следует отметить алгоритм "Кора"
М.Бонгарда, моделирующий деятельность человеческого мозга при
распознавании образов (60-е гг.).
В 1945-1964 гг. создаются отдельные программы и исследуется
поиск решения логических задач. В Ленинграде (ЛОМИ Ленинградское
отделение математического института им. В.А.Стеклова)создается
программа, автоматически доказывающая теоремы. Она основана на
оригинальном обратном выводе С.Ю.Маслова, аналогичном методу
резолюций Робинсона.
7

9.

Наименование Лекции:
Этапы развития интеллектуальных систем
В 1965-1980 гг. получает развитие новая наука—
ситуационное управление. Основоположник этой научной
школы — профессор Д.А.Поспелов. Разработаны
специальные
модели
представления
ситуаций
—
представления
знаний.
В 1980-1990 гг. проводятся активные исследования в
области представления знаний, разрабатываются языки
представления знаний, экспертные системы (более 300). В
Московском государственном университете создается язык
РЕФАЛ.
В 1988 г. создается АИИ — Ассоциация
искусственного интеллекта. Ее членами являются более 300
исследователей. Президент Ассоциации — Д.А.Поспелов.
Крупнейшие центры — в Москве, Петербурге, ПереславлеЗалесском, Новосибирске.
8

10.

Наименование Лекции:
Этапы развития интеллектуальных систем
Разработка интеллектуальных систем значительно отличается от задач
обычного программирования и ведется путем построения системы
искусственного интеллекта (СИИ), разница в подходах к разработке в
основном определяется необходимостью использования в системах
искусственного интеллекта накопленного опыта - знаний в той или иной
форме представления.
Система искусственного интеллекта (СИИ) – информационно-программный
(программно-аппаратный) комплекс, действие которого аналогично действию
механизмов мышления человека и неотличимо от решений, которые
принимались бы человеком: экспертом, то есть профессионалом в данной
предметной области.
Если обычная программа может быть представлена в парадигме:
Программа = Алгоритм + Данные,
то для СИИ характерна другая парадигма:
СИИ = Знания + Стратегия обработки знаний.
Часто СИИ определяют просто как системы, основанные на знаниях.
10

11.

Наименование Лекции:
Этапы развития интеллектуальных систем
Подходы к созданию
интеллектуальных систем
Нисходящий (семиотический)
создание экспертных систем, баз знаний и
систем логического вывода, имитирующих
высокоуровневые психические процессы:
мышление, рассуждение, речь, эмоции,
творчество
Восходящий (биологический)
исследование нейронных сетей и
эволюционных вычислений, моделирующих
интеллектуальное поведение на основе
биологических элементов, а также создание
соответствующих вычислительных систем,
таких как нейрокомпьютер или
биокомпьютер
11

12.

Наименование Лекции:
Этапы развития интеллектуальных систем
Представление
знаний и
разработка систем,
основанных на
знаниях
Игры и творчество
Разработка
естественноязыковых
интерфейсов и
машинный перевод
Распознавание
образов
Новые
архитектуры
компьютеров
Интеллектуальные
роботы
Специальное
программное
обеспечение
Обучение и
самообучение
12

13.

Лекция 2.
Экспертные системы
2024

14.

Наименование Лекции:
Экспертные системы
Что такое экспертная система?
Обобщенная структура экспертной системы
Причины разработки экспертной системы
Знания и модели их представления
Модель семантической сети
Фреймовые модели
Продукционные модели
Продукционные экспертные системы
Модели нечетких знаний
11

15.

Наименование Лекции:
Экспертные системы
- это сложные
программные
комплексы,
аккумулирующие
знания лучших
специалистов в
конкретных
предметных областях
и тиражирующие этот
опыт для
консультаций менее
квалифицированных
пользователей.
Рис.1 – Обобщенная структура ЭС
9

16.

Наименование Лекции:
Экспертные системы
Пользователь — специалист предметной области,
для
которого предназначена система. Обычно его квалификация
недостаточно высока, и поэтому он нуждается в помощи и поддержке
со стороны экспертной системы.
Интерфейс
пользователя
—
комплекс
программ,
реализующий диалог пользователя с экспертной системой на стадии
как ввода информации, так и получения результатов.
База знаний — ядро экспертной системы, совокупности
знаний предметной области, записанная на машинный носитель в
форме, понятной эксперту и пользователю (обычно на некотором
языке, приближенном к естественному). Параллельно такому
«человеческому» представлению существует база знаний во
внутреннем
«машинном»
представлении.
10

17.

Наименование Лекции:
Экспертные системы
Механизм логических выводов — программа, моделирующая
ход рассуждений эксперта на основании знаний, имеющихся в базе
знаний, способная благодаря встроенной в нее общей стратегии
нахождения решения (например, путем логического
вывода)
находить решение задач.
Подсистема объяснений — программа, позволяющая
пользователю получить ответы на вопросы: «Как была получена та или
иная информация?» и «Почему система приняла такое решение?».
Ответ на вопрос «Как?» — это трассировка всего процесса получения
решения с указанием использованных фрагментов базы знаний, то есть
всех шагов цепи умозаключения. Ответ на вопрос «Почему?» —
ссылка на умозаключение, непосредственно предшествовавшее
полученному решению, то есть отход на один шаг назад.
Редактор базы знаний — программа, представляющая
инженеру по знаниям возможность создавать базы знаний
в
диалоговом режиме.
12

18.

Наименование Лекции:
Экспертные системы
Эксперт - это компетентный человек, который
решает задачи
в какой-то предметной области,
владеет методиками и обладает
способностями, превышающими средний уровень его коллег. Эксперты
разрабатывают комплексные стратегии обработки информации, отбирают
необходимое, используют то, что требуется в настоящий момент, и
сохраняют то, что может понадобиться в будущем. Эксперты получают
свой статус благодаря их способности применять полученные знания и
личный опыт. Эксперты решают задачи быстро и эффективно. Как
правило, им известен предел собственных возможностей и, если они его
достигли, то ссылаются на кого-либо другого. Эксперт используется в
качестве информационного источника, решателя задач или учителя.
Инженер по знаниям — специалист по искусственному
интеллекту, выступает в роли промежуточного звена между экспертом и
базой знаний (инженер-интерпретатор).
13

19.

Наименование Лекции:
Экспертные системы
Причины разработки экспертной системы
Среди многочисленных причин, обуславливающих разработку
экспертной системы в какой-либо предметной области, можно назвать
следующие:
использование экспертной системы выгоднее, чем привлечение
реальных экспертов;
в большинстве организаций реальных экспертов мало и всем не
хватает;
число информационных продуктов выросло невероятно —
актуальным экспертам за ними не угнаться;
недостаток актуальных экспертов, способных выполнять ту или
иную работу;
обучать новых экспертов дорого и долго;
программное и аппаратное обеспечение, необходимое для системы с
базой знаний, ощутимо подешевело;
более быстрый отклик на быстроменяющееся окружение.
14

20.

Наименование Лекции:
Экспертные системы
Инструментальные средства построения экспертных систем
Объектно-ориентированные традиционные языки программирования. Это
связано с тем, что парадигма объектно-ориентированного программирования
тесно связана с фреймовой моделью представления знаний, кроме того,
традиционные языки используются для
создания других классов
инструментальных средств искусственного интеллекта.
Языки искусственного интеллекта. Lisp, Prolog . Универсальность этих языков
меньшая, чем у традиционных языков, но это компенсируется богатыми
возможностями по работе с символьными и логическими данными, что
крайне важно для задач искусственного интеллекта. На основе языков
искусственного интеллекта создаются специализированные компьютеры
(например, Лисп-машины).
«Оболочки» ( shells ) — «пустые» версии существующих экспертных систем, то
есть готовые экспертные системы без базы знаний. Они вообще не требуют
работы программистов для создания готовой экспертной системы. Требуются
только специалисты в предметной области для заполнения базы знаний.
Однако если некоторая предметная область плохо укладывается в модель,
используемую в некоторой оболочке, заполнить базу знаний в этом случае
весьма непросто
15

21.

Лекция 3.
Знания и модели их
представления
2024

22.

Наименование Лекции:
Знания и модели их представления
Знания – это совокупность сведений, образующих целостное
описание, соответствующее некоторому уровню осведомленности об
описываемом вопросе, предмете, проблеме и др.
Знания — это выявленные закономерности предметной области
(принципы, связи, законы), позволяющие решать задачи в этой области.
С точки зрения искусственного интеллекта знания можно определить как
формализованную информацию, на которую ссылаются в процессе
логического вывода.
Модели представления знаний:
логические модели;
продукционные модели;
модель семантической сети;
сценарии;
фреймовые модели;
распределенные модели;
модели нечетких знаний.
16

23.

Наименование Лекции:
Знания и модели их представления
Рис. 2 – Представление знаний
17

24.

Наименование Лекции:
Знания и модели их представления
Логические модели
В представлении знаний выделяют формальные логические модели,
основанные на классическом исчислении предикатов I порядка, когда
предметная область или задача описывается в виде набора аксиом, из
которых выводятся остальные знания.
Основная идея подхода при построении логических моделей
представления знаний состоит в том, что вся информация,
необходимая для решения прикладных задач, рассматривается как
совокупность фактов и утверждений, которые представляются как
формулы в некоторой логике. Знания отображаются совокупностью
таких формул, а получение новых знаний сводится к реализации
процедур логического вывода.
18

25.

Наименование Лекции:
Знания и модели их представления
Модель
семантической сети
Семантическая сеть является способом визуального описания
связей между любыми видами объектов. Она состоит из узлов
(например, людей, мест, предметов, понятий, событий или
действий) и связей (взаимоотношений между узлами типа
«является», «имеет», «сделан из» и т.п.).
Семантические сети используются разработчиками систем с
базой знаний для определения тех элементов базы знаний,
которые связаны с декларативным описанием объектов, связей
и взаимоотношений. Семантические сети наиболее широко
используются при подтверждении правильности знаний
экспертами в данной предметной области.
19

26.

Наименование Лекции:
Знания и модели их представления
Рис. 3 – Пример семантической сети
20

27.

Наименование Лекции:
Знания и модели их представления
Для
реализации
семантических
сетей
существуют
специальные
сетевые языки: NET, язык
реализации
систем
SIMER+MIR и др. Широко
известны экспертные системы,
использующие семантические
сети
в
качестве
языка
представления
знаний:
PROSPECTOR,
CASNET,
TORUS.
Рис. 4 – Пример семантической сети
21

28.

Наименование Лекции:
Знания и модели их представления
Фреймовые модели
Фрейм - структура, дающая целостное
представление об объектах, явлениях и
их типах в виде абстрактных образов.
В противоположность семантическим
сетям, здесь знания сгруппированы в
отдельную
единицу,
называемую
фреймом.
Фрейм имеет матричную структуру и
содержит
взаимосвязанные
знания,
касающиеся характеристик понятия,
значения
характеристик
и
соответствующие модели поведения.
Специалисты по знаниям используют
фреймы для представления в базе знаний
декларативных и процедурных знаний.
Ученый
Совет
15 членов
Члены
Совета
встречаются
каждую пятницу
Собрания
Совета
проводятся в 15-00
Зал
заседаний
Место встречи
Совета
Рис. 5 – Пример фреймовой модели
22

29.

Наименование Лекции:
Знания и модели их представления
Фреймовые модели
Другое определение фрейма – это ассоциативный список атрибутов. Фрейм имеет
имя (название) и состоит из слотов. Слоты – это незаполненные (нулевые) позиции
фрейма. Если у фрейма все слоты заполнены – это описание конкретной ситуации.
В переводе с английского слово «фрейм» означает «рамка».
В отличие от моделей других типов во фреймовых моделях фиксируется жесткая
структура информационных единиц, которая называется протофреймом. В общем
виде структура информационных единиц выглядит следующим образом:
(Имя фрейма:
имя слота1 (значение слота 1);
имя слота 2 (значение слота 2);
..............
............
имя слота К (значение слота К))
Значением слота могут быть числа, математические соотношения, тексты на
естественном языке или на языке программ, ссылки на другие слоты данного
фрейма. Значением слота может выступать и отдельный фрейм, что является очень
удобным для упорядочивания знаний по степени общности. Исключение из фрейма
любого слота делает его неполным, а иногда и бессмысленным.
23

30.

Наименование Лекции:
Знания и модели их представления
Продукционные модели
Продукционные правила являются наиболее распространенной
формой представления знаний.
Продукционное правило состоит из предпосылки и заключения.
Предпосылка представляет собой условие в форме оператора
«ЕСЛИ» и выражает часть декларативных знаний. Состоит из
элементарных предложений, соединенных логическими связками
И, ИЛИ.
Заключение представляет собой решение в виде оператора «ТО»,
Оно описывает либо некоторый факт, либо действие, которое
будет предпринято
в соответствии с процедурными
знаниями.
Завершенная база знаний может содержать от десятка до
нескольких тысяч таких процедурных правил.
24

31.

Наименование Лекции:
Знания и модели их представления
Продукционные модели
Примеры продукционных правил:
ЕСЛИ «Завтра пятница» и ЕСЛИ «По пятницам проводится
собрание совета в 15-00», ТО «Завтра в 15-00 члены совета
должны присутствовать на собрании».
ЕСЛИ «Двигатель не заводится» и ЕСЛИ «Стартер
двигателя не работает», ТО «Неполадки в системе
электропитания стартера».
25

32.

Наименование Лекции:
Знания и модели их представления
Продукционные модели
Продукционные модели, наряду с фреймами, являются наиболее
распространенными средствами представления знаний (особенно в
промышленных экспертных системах), так как обеспечивают простоту
смысловой интерпретации, модульность, легкость корректировки и
логического вывода. Применение продукционных правил способствует
«прозрачности» экспертной системы, т.е. ее способности к объяснению
принятых решений и полученных результатов
Любая экспертная система продукционного типа должна
содержать три основные компоненты: базу правил, рабочую память и
механизм вывода.
26

33.

Наименование Лекции:
Знания и модели их представления
База правил (БП) — формализованные с помощью правил
продукций знания о конкретной предметной области.
Рабочая память (РП) или база фактических
данных – область
памяти, в которой хранится множество фактов, описывающих текущую
ситуацию, и все пары атрибут - значение, которые были установлены к
определенному моменту. Содержимое РП в процессе решения задачи
изменяется обычно, увеличиваясь в объеме по мере применения правил.
Другими словами, РП - это динамическая часть базы знаний, содержимое
которой зависит от окружения решаемой задачи.
В простейших ЭС
хранимые в РП факты не изменяются в процессе решения задачи, однако
существуют системы, в которых допускается изменение и удаление
фактов из РП. Это системы с немонотонным выводом, работающие в
условиях неполноты информации.
Механизм вывода выполняет две основные функции:
- просмотр существующих в рабочей памяти фактов и правил из
БП, а также добавление в РП новых фактов;
- определение порядка просмотра и применения правил. Порядок
может быть прямым или обратным.
27

34.

Лекция 4.
Искусственные
нейронные сети
2024

35.

Наименование Лекции:
Нейронные сети
Что такое искусственная нейронная сеть
Математическая модель нейрона
Задачи решаемые нейронными сетями
Как построить нейронную сеть
Обучение нейронных сетей
Алгоритмы обучения нейронных сетей
Основные типы нейронных сетей
Многослойный персептрон
Сети с радиальными базисными функциями
28

36.

Наименование Лекции:
Нейронные сети
Нервная система и мозг
человека
состоят
из
нейронов,
соединенных между собой нервными
волокнами. Нервные волокна способны
передавать
электрические
импульсы
между нейронами. Все процессы передачи
раздражений от нашей кожи, ушей и глаз к
мозгу, процессы мышления и управления
действиями - все это реализовано в живом
организме как передача электрических
импульсов между нейронами. Каждый
нейрон имеет отростки нервных волокон
двух типов - дендриты, по которым
принимаются импульсы, и единственный
аксон, по которому нейрон может
передавать импульс. Аксон контактирует с
дендритами других нейронов через
специальные образования - синапсы,
которые влияют на силу импульса.
Рис. 5 – Пример нейрона
29

37.

Наименование Лекции:
Нейронные сети
Математическая модель нейрона
На рисунке изображена модель нейрона с тремя
входами (дендритами), причем синапсы этих
дендритов имеют веса
w1, w2, w3. Пусть к
синапсам поступают импульсы силы x1, x2, x3
соответственно, тогда после прохождения синапсов и
дендритов к нейрону поступают импульсы w1x1,
w2x2, w3x3. Нейрон преобразует полученный
суммарный импульс x=w1x1+ w2x2+ w3x3 в
соответствии с некоторой передаточной функцией
f(x). Сила выходного импульса равна:
y=f(x)=f(w1x1+ w2x2+ w3x3).
Таким образом, нейрон полностью описывается
своими весами wk и передаточной функцией f(x).
Получив набор чисел (вектор) xk в качестве входов,
нейрон выдает некоторое число y на выходе.
Рис. 6 – Модель нейрона
30

38.

Наименование Лекции:
Нейронные сети
Передаточную
функцию
f(x)
иногда
называют активационной.
Наиболее
часто
в
качестве
активационной
функции используется так
называемый
сигмоид,
который имеет следующий
вид:
Рис. 7 – График сигмоидальной
функции
31

39.

Наименование Лекции:
Нейронные сети
Основное достоинство этой
функции в том, что она
дифференцируема на всей оси
абсцисс и имеет очень простую
производную:
При уменьшении параметра a
сигмоид становится более пологим,
вырождаясь в горизонтальную
линию на уровне 0,5 при a=0. При
увеличении a сигмоид все больше
приближается к функции
единичного скачка
32

40.

Наименование Лекции:
Нейронные сети
Искусственная
нейронная сеть
Искусственная нейронная сеть это набор нейронов, соединенных
между собой. Передаточные функции
всех нейронов в нейронной сети
фиксированы,
а
веса
являются
параметрами нейронной сети и могут
изменяться. Некоторые входы нейронов
помечены
как
внешние
входы
нейронной сети, а некоторые выходы как внешние выходы нейронной сети.
Подавая любые числа на входы
нейронной сети, мы получаем какой-то Рис. 8 – Модель искусственной
набор чисел на выходах нейронной сети. нейронной сети
Таким образом, работа нейронной сети
состоит в преобразовании входного
вектора в выходной вектор, причем это
преобразование
задается
весами
нейронной сети.
33

41.

Наименование Лекции:
Нейронные сети
Задачи, решаемые нейронными сетями
Практически любую задачу можно свести к задаче, решаемой
нейронной сетью. Сети связей лучше всего подходят для решения
следующих задач:
Классификация— определение категории или группы, к которой
принадлежат входные значения.
Распознавание образов— идентификация структуры или шаблона
данных. Сеть обучается выделять признаки, отличающие образы друг от
друга, что позволяет ей опознавать их.
Реализация памяти — ассоциативное запоминающее устройство, которое
может восстановить недостающие части информации, очистить ее от
шумов.
Прогнозирование — предсказание будущей реакции системы по ее
предшествующему поведению.
Фильтрация — выделение полезного сигнала из фонового шума.
Сжатие данных — отбрасывание несущественных компонентов сигнала
при сохранении погрешности восстановления на заданном уровне
34

42.

Наименование Лекции:
Нейронные сети
Обучение нейронных сетей
Рис. 9 –Алгоритм обучения нейронной сети
35

43.

Наименование Лекции:
Нейронные сети
Обучение нейронных сетей
Обучить нейронную сеть - значит, сообщить ей, какую цель от нее
добиваются. Этот процесс очень похож на обучение ребенка
алфавиту. Показав ребенку изображение буквы "А", мы
спрашиваем его: "Какая это буква?" Если ответ неверен, мы
сообщаем ребенку тот ответ, который мы хотели бы от него
получить: "Это буква А". Ребенок запоминает этот пример вместе
с верным ответом, то есть в его памяти происходят некоторые
изменения в нужном направлении. Мы будем повторять процесс
предъявления букв снова и снова до тех пор, когда все 33 буквы
будут твердо запомнены.
Такой процесс называют "обучение с учителем".
36

44.

Наименование Лекции:
Нейронные сети
При обучении нейронной сети действуют аналогично.
Имеется некоторая база данных, содержащая примеры (набор
рукописных изображений букв). Предъявляя изображение буквы "А"
на вход нейронной сети, мы получаем от нее некоторый ответ, не
обязательно верный. Нам известен и верный (желаемый) ответ - в
данном случае нам хотелось бы, чтобы на выходе нейронной сети с
меткой "А" уровень сигнала был максимален. Обычно в качестве
желаемого выхода в задаче классификации берут набор (1, 0, 0, ...), где
1 стоит на выходе с меткой "А", а 0 - на всех остальных выходах.
Вычисляя разность между желаемым ответом и реальным ответом
сети, мы получаем 33 числа – вектор ошибки. Далее по вектору
ошибки нужно вычислить требуемые поправки для весов нейронной
сети. Одну и ту же букву (а также различные изображения одной и той
же буквы) мы можем предъявлять нейронной сети много раз. В этом
случае обучение напоминает повторение упражнений в спорте тренировку.
37

45.

Наименование Лекции:
Нейронные сети
Алгоритмы обратного
распространения
Алгоритм обратного распространения является одним из
основных методов, которые используются для обучения
многослойных нейронных систем. Для его выполнения
потребуются набор для обучения и группа необходимых
результатов.
При
обратном
распространении
ошибки
отправляются обратно к узлам сети, что позволяет изменять веса
соединений на основании ошибки в сравнении текущего и
требуемого результата.
38

46.

Наименование Лекции:
Нейронные сети
Алгоритмы обучения нейронных сетей
- Алгоритмы оптимизации
- Наискорейшего спуска
- Переменной метрики
- Левенберга – Марквардта
- Сопряженных градиентов
- Quickprop
- RPROP
39

47.

Наименование Лекции:
Нейронные сети
Сравнение алгоритмов обучения
Эффективность алгоритмов обучения проверяется на определенных
тестах, соответствующим мировым стандартам.
Алгоритм
Время (с)
Количество
циклов
Количество
операций,
х106
Наискорейшего спуска с
адаптируемым шагом
57.71
980
2.50
Сопряженных градиентов
19.16
89
0.75
Переменной метрики BFGS
10.86
44
1.02
Ливенберга-Марквардта
1.87
6
0.46
RPROP
12.96
185
0.56
40

48.

Наименование Лекции:
Нейронные сети
Типы нейронных сетей
Многослойный персептрон (MLP, perseptron)
С радиальными базисными функциями
Самоорганизующиеся сети Кохонена (Kohonen) (SOFM или по
другому SOM)
Автоассоциативная сеть Хопфилда (Hopfield)
Двунаправленная ассоциативная память (BAM)
Рекуррентная (SRN)
Вероятностная (PNN)
41