Similar presentations:
Основы работы с большими данными (Data Science)
1.
Основы работы с большимиданными (Data Science)
Виды знаний и способы их представления
ИС – 1
2023 год
2.
Знания в информатикевид информации, отражающей знания, опыт и
восприятие человека - специалиста (эксперта) в
определенной предметной области
множество всех текущих ситуаций в объектах
данного типа и способы перехода от одного
описания объекта к другому
зафиксированная и проверенная практикой
обработанная информация, которая
использовалась и может многократно
использоваться для принятия решений
2
12.10.2023
3.
ЗнанияФормализованная и структурированная
информация, используемая в процессе решения
задачи.
Знания могут быть получены на основе
обработки эмпирических данных. Они
представляют собой результат мыслительной
деятельности человека, направленной на
обобщение его опыта, полученного в результате
практической деятельности.
3
12.10.2023
4.
412.10.2023
5.
Инженерия знанийТеоретическими и практическими вопросами
представления и обработки знаний в компьютерных
системах активно занимаются исследователи,
работающие в области инженерии знаний.
1977 г. Э. Фейгенбаум писал: «По опыту нам известно,
что большая часть знаний в конкретной предметной
области остается личной собственностью эксперта. И
это происходит не потому, что он не хочет разглашать
своих секретов, а потому, что он не в состоянии сделать
этого — ведь эксперт знает гораздо больше, чем сам
осознает».
Инженерия знаний - направление ИИ, которое связано с
развитием теоретических и прикладных аспектов
приобретения и формализации знаний специалистов, с
проектированием и разработкой баз знаний.
5
12.10.2023
6.
Фактические знанияОсновные закономерности предметной области:
Факты
Понятия
Взаимосвязи
Оценки
Правила
Эвристики (индивидуальный опыт)
6
12.10.2023
7.
Процедурные знания описания действий, которые возможны приманипулировании фактами и явлениями для
достижения намеченных целей.
Как информационно-смысловое понятие, знания могут
быть классифицированы по таким признакам, глубина,
степень определенности, этимология (источник
происхождения)
Способы оперирования или преобразования
фактических данных
7
12.10.2023
8.
Стратегические знания Стратегии принятия решений в предметнойобласти
Основные закономерности принятия решений в
данной области
8
12.10.2023
9.
По способу приобретенияФакты - указывает на хорошо известные в
данной предметной области обстоятельства.
Эвристики (правила, которые позволяют
сделать выбор при отсутствии точных
теоретических обоснований). Основаны на
собственном опыте эксперта, работающего в
конкретной предметной области, накопленном
в результате многолетней практики.
9
12.10.2023
10.
По типу представленияФакты — это знания
типа «А — это А»,
характерны для баз
данных и сетевых
моделей.
Правила, или
продукции - это
знания типа «ЕСЛИ
А, ТО В».
10
12.10.2023
11.
Метазнания —знания о знаниях
необходимы для управления
БЗ и для эффективной
организации процедур
логического вывода
народные пословицы и
поговорки, каждая из которых
характеризует знания
(рекомендации по
деятельности) в широком
классе конкретных ситуаций
11
12.10.2023
12.
Глубинные и поверхностные знанияВ глубинных знаниях отражается понимание
структуры предметной области, назначение и
взаимосвязь отдельных понятий (глубинные
знания в фундаментальных науках — это законы и
теоретические основания). Глубинные знания
образуются как результат обобщения первичных
понятий в некоторые абстрактные структуры,
которые могут и не иметь вербального описания.
Глубинные знания обладают такими важными
особенностями, как гибкость и аддитивность.
Поверхностные знания - совокупность
эмпирических ассоциаций и отношений между
понятиями предметной области для стандартных
рассуждений и ситуаций
12
12.10.2023
13.
Жесткие и мягкие знанияЖесткие знания позволяют получать
однозначные рекомендации при заданных
начальных условиях.
Мягкие знания допускают множественные,
«размытые» решения и различные варианты
рекомендаций.
13
12.10.2023
14.
1412.10.2023
15.
И наконец,Знания о конкретных объектах – экстенсиональные.
Знания о связях между атрибутами в данной предметной
области – интенсиональные.
Понятие экстенсионала был введено австрийским логиком и
философом Р. Карнапом для анализа значения языковых
выражений. Метод интенсионалов и экстенсионалов
представляет собой модификацию и дальнейшую разработку
семантической концепции немецкого математика и логика
Г.Фреге.
Интенсионал (от лат. intensio - внутреннее натяжение,
усиление) - в средневековой логике означал содержание
слова-понятия как совокупность мыслимых признаков
соответствующего ему предмета. Противопоставлялся объему,
т. е. совокупности обозначаемых (называемых) данным
словом-понятием предметов, который назывался
экстенсионалом (от лат. extensio - протяжение, расширение).
15
12.10.2023
16.
ОнтологияЗнания, сведенные в логически связанную систему
Хорошо организованная база знаний
Попытка всеобъемлющей и подробной
формализации некоторой области знаний с
помощью концептуальной схемы.
16
12.10.2023
17.
База знанийБаза знаний (в информатике) — это база
данных, которая содержит информацию о
человеческом опыте и знаниях в некоторой
предметной области.
Базы знаний используются в организациях для
хранения документации, руководств,
технических статей. Главная цель любой базы
знаний — помочь менее опытным людям найти
готовое решение какой-либо проблемы.
База знаний может быть внутренней (только
для сотрудников компании) и внешней (для
клиентов).
17
12.10.2023
18.
База данных и база знанийБаза данных — организованная в соответствии с
определёнными правилами и поддерживаемая в
памяти компьютера совокупность данных,
характеризующая актуальное состояние некоторой
предметной области и используемая для
удовлетворения информационных потребностей
пользователей.
База знаний — это особого рода база данных,
разработанная для управления знаниями
(метаданными), то есть сбором, хранением, поиском
и выдачей знаний. Раздел искусственного
интеллекта, изучающий базы знаний и методы
работы со знаниями, называется инженерией
знаний.
18
12.10.2023
19.
Классификация БЗвсемирного масштаба
национальные
отраслевые
организаций
экспертных систем
специалистов
19
12.10.2023
20.
Отличия баз знаний от баз данныхБазы данных:
могут работать с однородными данными
представляет собой жестко структурированную
модель
данные представлены в виде набора записей
Базы знаний:
могут содержать разнородные и разнотипные
данные
представляют собой открытую модель
знания представлены в виде семантической сети
20
12.10.2023
21.
Свойства онтологииОбоснованность
Полнота
непротиворечивость
21
12.10.2023
22.
ИнтеллектИнтеллект - способность подходить к решению
какой-либо задачи с учетом имеющегося опыта.
Принципы работы человеческого интеллекта –
в основе систем баз знаний.
Искусственный интеллект (ИИ) — это одна из
ветвей информатики, связан с компьютерами,
которые стимулируют процесс решения задачи
путем дублирования функций человеческого
мозга.
Машинные знания — это то же, что ИИ.
22
12.10.2023
23.
Свойства интеллектаспособность обучаться;
способность находить аналоги;
способность создавать новые понятия на основе
известных понятий;
эффективность обработки неоднозначных и
противоречивых сообщений;
способность определять относительную важность
различных составных частей задачи;
гибкость подхода к решению задачи;
способность разбиения сложной задачи на составные
части;
способность моделирования воспринимаемого мира;
понимание и способность использования символических
средств.
23
12.10.2023
24.
2412.10.2023
25.
Требования к моделям знанийобщность (универсальность);
наглядность представления знаний;
однородность;
реализация в модели свойства активности знаний;
открытость;
возможность отражения структурных отношений
объектов предметной области;
наличие механизма «проецирования» знаний на
систему семантических шкал;
возможность оперирования нечеткими знаниями;
использование многоуровневых представлений
(данные, модели, метамодели, метаметамодели и т.д.).
25
12.10.2023
26.
Логические моделиВся информация, необходимая для решения
прикладных задач, рассматривается как
совокупность фактов и утверждений, которые
представляются как формулы в некоторой логике.
Знания отображаются совокупностью таких
формул, а получение новых знаний сводится к
реализации процедур логического вывода.
Описание в виде формул дает возможность
представить декларативные знания, а правила
вывода — процедурные знания.
Логическая модель знаний строится на базе
предикатов.
26
12.10.2023
27.
Логическая модель27
12.10.2023
28.
Формальные грамматикиФормальная грамматика или просто
грамматика в теории формальных языков —
способ описания формального языка, то есть
выделения некоторого подмножества из
множества всех слов некоторого конечного
алфавита.
Различают порождающие и распознающие (или
аналитические) грамматики — первые задают
правила, с помощью которых можно построить
любое слово языка, а вторые позволяют по
данному слову определить, входит ли оно в
язык или нет.
28
12.10.2023
29.
Формальные грамматики29
Рассмотрим алфавит X.
Словом в алфавите X называется последовательность символов алфавита.
Набор допустимых слов составляет лексику языка.
Слова могут объединяться в более сложные конструкции – предложения.
Язык есть множество предложений.
Предложения строятся из слов и более простых предложений по правилам
синтаксиса.
Синтаксис языка представляет собой описание правильных предложений.
Алфавит, лексика и синтаксис полностью определяют набор допустимых
конструкций языка и внутренние взаимоотношения между конструкциями.
Набор правил синтаксиса образует грамматику языка.
Правила синтаксиса могут описывать либо процедуру получения правильных
предложений, либо процедуру распознавания «правильности» предложений
(т. е. их принадлежности данному языку). В первом случае грамматику
называют порождающей, во втором – распознающей.
12.10.2023
30.
Комбинаторные моделиОснованы на рассмотрении дискретных
объектов, конечных множеств и заданном на
них отношении порядка.
Рассматриваются все возможные изменения,
перестановки и сочетания в рамках заданных
множеств.
Они оперируют только дискретными
объектами и конечными множествами,
связанными однородными отношениями.
30
12.10.2023
31.
3112.10.2023
32.
Алгебраические способыПодразумевают представление знаний в виде
некоторых алгебраических примитивов, над
которыми определено множество действий.
Для набора знаний представленного в таком
виде действуют правила алгебраических
множеств, такие как аксиоматизация,
определение подсистем и отношений
эквивалентности.
Возможно построение цепей множеств.
32
12.10.2023
33.
Продукционные системыМодель основанная на правилах, позволяет представить
знание в виде предложений типа: «ЕСЛИ условие, ТО
действие».
Знания – совокупность продукционных единиц: данные
(факты), правила получения продукций (выводов) и
интерпретатор (правила работы с продукциями).
Продукционная модель обладает тем недостатком, что
при накоплении достаточно большого числа (порядка
нескольких сотен) продукций они начинают
противоречить друг другу.
33
12.10.2023
34.
Продукционные системыЛюбое продукционное правило, содержащееся в
базе знаний, состоит из двух частей: антецендента и
консеквента.
Антецедент представляет собой посылку правила
(условную часть) и состоит из элементарных
предложений, соединенных логическими связками
«и», «или».
Консеквент (заключение) включает одно или
несколько предложений, которые выражают либо
некоторый факт, либо указание на определенное
действие, подлежащее исполнению.
Продукционные правила принято записывать в
виде антецедент-консеквент.
34
12.10.2023
35.
Сетевые (семантическая сеть)Граф, отображающий смысл целостного образа.
Узлы графа соответствуют понятиям, фактам, событиям
и объектам, а дуги – отношениям между ними.
Обладает тем недостатком, что однозначного
определения семантической сети в настоящее время
отсутствует.
35
12.10.2023
36.
Сетевые (семантическая сеть)Различают экстенсиональные и
интенсиональные семантические сети.
Экстенсиональная семантическая сеть
описывает конкретные отношения данной
ситуации.
Интенсиональная — имена классов объектов, а
не индивидуальные имена объектов. Связи в
интенсиональной сети отражают те отношения,
которые всегда присущи объектам данного
класса.
36
12.10.2023
37.
Семантическая сеть «Автомобиль»37
12.10.2023
38.
ФреймыФрейм – структура данных для представления
некоторого концептуального объекта
(стереотипных ситуаций).
Информация, относящаяся к фрейму, содержится в
составляющих его слотах – характеристиках
ситуаций.
Фасет – диапазон или перечень значений слота.
Протофрейм – оболочка, экзофрейм – результат ее
заполнения.
Слоты могут быть терминальными либо являться
сами фреймами, образуя целую иерархическую сеть.
Предметная область описывается с помощью
иерархической системы фреймов (объединены с
помощью родовитых связей).
38
12.10.2023
39.
Фрейм. Пример39
12.10.2023
40.
Пример сети фреймов40
12.10.2023
41.
ЛенемаСмешенный тип модели, являющийся
«развитием» других моделей.
Линема предназначена для структурного
комплексного описания понятий предметной
области.
По изобразительным возможностям ленемы
более совершенны, чем такие традиционные
модели представления знаний, как
сематическая сеть, фрейм, продукционная
система…
41
12.10.2023
42.
Нейронные сети, генетическиеалгоритмы
Генетические алгоритмы и нейронные сети -
это совершенно разные концепции, которые
используются для решения разных задач.
Генетический алгоритм - это эвристический
поиск, основанный на теории естественной
эволюции Дарвина. Это отражает процесс
естественного отбора наиболее подходящего
элемента.
Нейронная сеть состоит из ряда алгоритмов,
которые пытаются определить и
идентифицировать шаблоны.
42
12.10.2023
43.
Генетические алгоритмыГенетический алгоритм начинается с начальной
совокупности. Из исходной популяции этот
алгоритм создает новую популяцию, используя
этапы отбора, скрещивания и мутации.
Алгоритм принимает начальную совокупность в
качестве входных данных и выбирает функцию
пригодности.
Функция пригодности помогает алгоритму
генерировать оптимальное или почти оптимальное
решение.
Алгоритм продолжает и развивает популяцию
посредством операций отбора, скрещивания и
мутации.
Он генерирует несколько групп населения, пока не
удовлетворит ограничениям оптимизации.
43
12.10.2023
44.
Генетические алгоритмыПопуляция – текущее множество
особей
Особь – одно из возможных
решений задачи
Отбор – процедура исключения из
популяции особей с наименьшими
значениями целевой функции
Скрещивание – формирование
новых особей на основе пары уже
существующих
Мутация – формирование новых
особей путем внесения случайных
изменений в уже существующие
44
12.10.2023
45.
Генетические алгоритмыФункция пригодности - производит числовую
оценку, для определения пригодности конкретного
индивидуума. В реальном мире, существа просто
выживают или нет.
Ограничения оптимизации (или оптимизация) - это
процесс оптимизации целевой функции по
отношению к некоторым переменным при наличии
ограничений на эти переменные.
Целевая функция-это либо функция затрат или
функция энергии, которая должна быть
минимизирована, либо функция вознаграждения
или функция полезности, которая должна быть
максимизирована.
45
12.10.2023
46.
Нейронная сеть46
12.10.2023
47.
Нейронная сетьОснова метода автоматического распознавания
изображений.
Причины популярности:
Прогресс в передаче и хранении
информации
Рост вычислительной мощности
Улучшенные алгоритмы
Нейроны взаимодействуют, преобразуя
входные сигналы в выходные метки.
47
12.10.2023
48.
Нейронная сеть48
12.10.2023
49.
Нейронная сеть. КомпонентыВходной слой – обрабатывает каждый пиксель
входящего изображения
Сверточный слой – обнаруживает различные
признаки, ориентируясь на комбинации
пикселов
Скрытые слои – преобразование полученных
изображений для усиления признаков
Выходной слой – итоговый прогноз
Слой потерь – дает обратную связь, были ли
входные данные распознаны верно
49
12.10.2023
50.
Нейронная сеть. Правила активацииАктивация каждого нейрона управляется
правилом активации
Правило активации определяет источник и
силу входного сигнала
Регулируется во время обучения сути
Ассоциации на основе весов
Изучение правильных весов необходимо для
получения правильных правил активации
Хорошие правила активации приведут к
точным прогнозам
50
12.10.2023
51.
51Функция активации нейрона определяет выходной сигнал,
который определяется входным сигналом или набором
входных сигналов
12.10.2023
52.
Нейронная сеть. ОграниченияДля обучения нужен большой объем данных
Подвыборка
Искажения
Исключение (дропаут)
Требует долгих вычислений
Стохастический градиентный спуск
Градиентный спуск Mini-Batch
Полносвязные слои
Невозможность интерпретации
52
12.10.2023
53.
Нейронная сеть53
12.10.2023
54.
Инженер знанийПрофессионал, занимающийся наукой о построении
продвинутой логики в компьютерных системах,
чтобы попытаться смоделировать процесс
принятия решений человеком и когнитивные
задачи высокого уровня.
Инженер по знаниям предоставляет некоторые или
все "знания", которые в конечном итоге встроены в
технологию.
Работает с экспертом, наблюдая решение задачи.
54
12.10.2023
55.
Способы получения знанийКниги, документы
Опросники
Интервьюирование специалистов
Мозговой штурм
Информация от эксперта
Формирование БЗ экспертом
Использование методов распознавания образов
(экспериментально получаемая информация)
Использование методов машинного обучения
55
12.10.2023
56.
Классификация методовизвлечения данных
56
12.10.2023
57.
Свойство «идеального» экспертаЭрудиция
Способность к
отбору
информации
Способность
к сравнению
альтернатив
Активное
владение
знаниями
57
Способность к
экспликации знаний
Способность к
сегментации и
структурированию
явлений
Последовательность и
профессионализм
Коммуникативность
12.10.2023
58.
Теоретические аспекты извлечениязнаний
Психологический (общение инженера знаний и
эксперта-профессионала)
Лингвистический (исследование языковых
проблем)
Гносеологический (методологические
проблемы получения новых знаний)
58
12.10.2023
59.
Проблемы экспертаНедостаточная полнота
методов описания
природы экспертизы
Трудности вербального
выражения знаний и
декомпозиции
Субъективизм
Влияние личных качеств
эксперта и его
ответственности за успех
создания базы знаний
И пр.
59
12.10.2023