Similar presentations:
Методы оценки информации, получаемой от экспертов
1. Тема: МЕТОДЫ ОЦЕНКИ ИНФОРМАЦИИ, ПОЛУЧАЕМОЙ ОТ ЭКСПЕРТОВ
2.
План лекции:
Сущность экспертного ранжирования
Метод непосредственной оценки
Метод нормирования
Метод последовательных сравнений
3. Классификация Методов исследования систем управления
Методы, основанные наиспользовании знаний и
интуиции специалистов
Методы формализованного
представления систем
Комплексные методы
Метод «Мозговая
атака»
Аналитические
Комбинаторные
Сценарный Метод
Статистические
Ситуационное
моделирование
Экспертные оценки
Теоретические
Топология
Метод Дельфи
Логические
Графо-семиотическое
моделирование
Морфологический
метод
Лингвистические
Деловые игры
Семиотические
Графические
Структурнолингвистическое
моделирование
Имитационное
моделирование
Методы исследования
информационных
потоков
4. 1. Метод экспертного ранжирования
• Исследуемые объекты, проблемы или явленияможно опознать или различать на основе присущих
им факторов.
• Фактор - это свойство элемента объекта, которое
позволяет на множестве, состоящем, по крайней
мере, из двух элементов, отражать различные
уровни некоторых подлежащих рассмотрению
величин.
• Каждый фактор, выражая определенное свойство
элемента объекта, одновременно является оценкой
отношения к данному свойству со стороны
принимающего решение.
5. 1. Метод экспертного ранжирования
• Уровень одних факторов может быть выраженколичественно (в рублях, процентах, тоннах и т.д.).
Такие факторы называются количественными.
Уровень же других нельзя выразить с помощью
числа и их обычно называют качественными.
• При решении многих практических задач часто
оказывается, что факторы, определяющие
конечные результаты, не поддаются
непосредственному измерению. В этих случаях
применяется процедура ранжирования.
6. 1. Метод экспертного ранжирования
• Ранжирование может применяться в следующих ситуациях:• когда необходимо упорядочить какие-либо явления (объекты)
во времени или пространстве. Это ситуация, когда интересуются
не сравнением степени выраженности какого-либо их качества,
а лишь взаимным пространственным или временным
расположением этих объектов (явлений);
• когда нужно упорядочить объекты в соответствии с каким-либо
качеством, но при этом не требуется производить его точное
измерение;
• когда какое-либо качество в принципе измеримо, однако в
настоящий момент не может быть измерено по причинам
практического или теоретического характера.
7. 1. Метод экспертного ранжирования
• Под ранжированием будем пониматьпроцедуру расположения факторов
xi (i 1,..., n)
в порядке их существенности: на первом
месте стоит самый существенный, следом
за ним менее существенный, но самый
важный из оставшихся, и т.д.
8. 1. Метод экспертного ранжирования
• Рассмотрим сущность экспертногоранжирования на примере ранжирования
входов и выходов объекта управления.
• Однако прежде, чем производить селекцию
входов, необходимо их проранжировать по
степени их влияния на реализацию цели
управления объектом. Это означает, что
каждому входу xi (i 1,..., n)
• следует поставить в соответствие
некоторое целое число - его ранг:
xi ki (i 1,..., n),
9. 1. Метод экспертного ранжирования
• где единичный ранг ( ki= 1) имеет вход,влияющий наибольшим образом на
реализацию цели управления. Второй ранг
( ki = 2) и т.д. имеет входы, влияющие не
столь существенно, как единичный. Здесь
индексы при рангах определяют номер
ранжированного входа от первого до n-го.
Расположим теперь входы в порядке
возрастания их рангов:
xi1 , xi2 ,..., xin ,
i j - где индекс равен номеру фактора с
рангом j.
10. 1. Метод экспертного ранжирования
• Построенный ряд xi1 , xi2 ,...xiq ,..., xin ,называется ранжированным рядом.
• На первом месте в нем стоит самый
существенный вход (его порядок i1), a далее
следуют остальные, в порядке уменьшения
их влияния на цели управления.
• При необходимости ограничения учета
входных сигналов в системе целесообразно
оставить лишь q входов, ими будут факторы
с номерами от i1 до iq , т.е. имеющие q
рангов.
11. 1. Метод экспертного ранжирования
• Составить ранжированнуюпоследовательность можно с помощью
специалистов-экспертов, имеющих
представление о будущем алгоритме
управления этим объектом.
• Эксперт, используя свой предыдущий опыт,
составляется последовательность
k1, k2, …ki,…, kn,
где ki - ранг i-го входа xi.
12. 1. Пример использования метода экспертного ранжирования
• Пусть при n = 5 (n – количество входов системы)последовательность рангов имеет вид:
3, 1, 5, 4, 2.
• По результатам ранжирования можно сделать
вывод, что наибольшее влияние на цели
управления, с учетом возможности измерения,
имеет второй вход х2. Ему приписывается ранг,
равный единице (k2 = 1). Второй ранг имеет
пятый вход (k5 = 2) и т.д., т.е. в порядке снижения
значимости входного сигнала на систему
запишем:
k2 = 1, k5 = 2, k1 = 3, k4 = 4, k3 = 5.
13. 1. Метод экспертного ранжирования
Процедура ранжирования управляющихвоздействий U = (u1, …, uq) и выходов
объекта Y = (у1, ..., уq) аналогична
процедуре ранжирования входных
параметров системы.
Основное условие:
• Порядковая шкала, получаемая в
результате ранжирования, должна
удовлетворять условию равенства числа
рангов N числу ранжируемых объектов n.
14. 1. Метод экспертного ранжирования
• Возможная проблема:• Если эксперт присваивает разным объектам один и
тот же ранг, число рангов N оказывается не
равным числу ранжируемых объектов n.
• В таких случаях объектам приписывают так
называемые стандартизированные ранги.
Получение стандартизированных рангов:
• общее число стандартизированных рангов полагают
равным n,
• объектам, имеющим одинаковые ранги,
присваивают стандартизированный ранг, значение
которого представляет среднее от суммы мест
объектов с одинаковыми рангами, деленной на
натуральное число, которым выражен ранг.
15. 1. Метод экспертного ранжирования. Пример использования одинаковых рангов
• Пусть, например, шести объектам (альтернативам,факторам) присвоены следующие ранги:
i
1
2
3
4
5
6
xi
1
2
3
3
2
3
• Тогда объектам 2 и 5, поделившим между собой второе и
третье места, приписывается стандартизированный ранг S
= (2 + 3) / 2 = 2,5, а объектам 3, 4 и 6, поделившим 4, 5, 6-е
места, приписывается стандартизированный ранг 5 = (4 + 5
+ 6) /3 = 5. В итоге получаем следующую ранжировку:
i
1
2
3
4
5
6
xi
1
2,5
5
5
2,5
5
16. 1. Метод экспертного ранжирования.
• сумма рангов SN, полученная в результатеранжирования n объектов, будет равна
сумме чисел натурального ряда, т.е.
n
S N xi
i 1
n(n 1)
.
2
S N 1 2,5 5 5 2,5 5
6(6 1)
21
2
17. 1. Метод экспертного ранжирования.
• Когда ранжирование производится несколькими(т) экспертами, то сначала для каждого объекта
(фактора) подсчитывают сумму рангов
n
m
S N xij ,
i 1 j 1
• полученную от всех экспертов, а затем исходя из
этой величины устанавливают результирующий ранг
для каждого объекта (фактора).
• Наивысший (первый) ранг присваивают объекту,
получившему наименьшую сумму рангов, и
наоборот, объекту, получившему наибольшую
сумму рангов, присваивают самый низкий ранг N.
Остальные объекты упорядочивают в соответствии
со значением суммы рангов относительно объекта,
которому присваивается первый ранг.
18. 1. Метод экспертного ранжирования. Достоинство и недостатки
• Достоинство – простота• Недостаток – низкая точность
(невозможность учесть степень различия
объектов)
19. 2. Метод непосредственной оценки
• Метод непосредственной оценки позволяетвыявить более четко различие между
факторами.
• Суть метода: диапазон изменения какой-либо
качественной переменной разбивается на
несколько интервалов, каждому из которых
присваивается определенная оценка (балл),
например от 0 до 10.
• Примечание. Шкала оценок может быть не
только положительной, а, например, включать
в себя диапазон с отрицательным интервалом
оценок от -4 до +4.
20. 2. Метод непосредственной оценки
• Задача эксперта:• поместить каждый из рассматриваемых
объектов (факторов) в определенный
оценочный интервал либо в соответствии
со степенью обладания тем или иным
свойством, либо в соответствии с
предположениями эксперта об их
значимости.
• Примечание. Эксперту разрешается давать
одну и ту же оценку двум (или нескольким)
качественно различным факторам.
21. 2. Метод непосредственной оценки. Пример
• Пусть, например, т экспертов оценили (по шкале от 0 до100) k направлений исследований с точки зрения
важности их для достижения определенной цели.
• Для того чтобы проранжировать эти оценки, каждому из
направлений приписывается число натурального ряда
таким образом, чтобы ранг 1 был у максимальной
оценки, а ранг k – у минимальной (таблица).
Направление
исследований
a
Оценка
Ранг
40 30
7 8
b
c
d
e
f
g
h
k
80
3
90
2
20
9
100
1
60
5
70
4
50
6
22. 3. Метод нормирования
• Нормирование любой меры означает, чтопредставляющее ее число для всего множества в
целом принимается равным единице.
• Нормирование позволяет установить более тесную
связь между оценками, приписанными экспертами
отдельным объектам (факторам). С этой целью
оценки по всем объектам суммируются, а затем
каждая из них делится на полученную сумму.
• Рассчитанные таким образом нормированные
оценки могут быть вновь проранжированы.
• В случае участия в экспертизе нескольких
экспертов, используют усредненную оценку (вес)
для каждого объекта (фактора).
• Для этого нормированные оценки каждого объекта
суммируются, а затем полученная сумма делится
на число экспертов.
23. 3. Метод нормирования
• При наличии нескольких факторов, по которым следуетоценить каждый из объектов, средняя оценка (вес)
каждого объекта может быть рассчитана по формуле
m
wi
w
j 1
m
ij
n
w
j 1 i 1
ij
• где wij - вес i-го объекта, подсчитанный по оценкам всех
экспертов; n - число факторов; m - число экспертов.
wij
x ij
,
n
x
i 1
ij
• где xij - оценка фактора i, данная экспертом j.
24. 3. Метод нормирования
• В случаях, когда группа, состоящая изнескольких экспертов, оценивает ряд
факторов, причем у каждого из экспертов
имеется своя шкала предпочтений, для
нахождения усредненной оценки каждого
фактора может быть рекомендована
следующая методика.
25. 3. Метод нормирования
• 1. Составляется матрица "эксперты факторы", в которой проставляютсяполученные от каждого эксперта оценки
факторов по шкале от 0 до 10 (представим,
что два эксперта оценили шесть факторов
так, как показано в таблице).
• Таблица. Оценка факторов
Эксперт
Фактор
i1
i2
i3
i4
i5
i6
1
10
7
9
3
4
5
2
8
6
10
4
2
7
26. 3. Метод нормирования
• 2. Рассчитывается относительная значимость(Wij) всех факторов, в отдельности для каждого
эксперта. С этой целью оценки, полученные от
каждого эксперта, суммируются (по
горизонтали), а затем нормируются:
• W11 = 10/38
W12 = 8/37
• W21 = 7/38
W22 = 6/37
• W31 = 9/38
W32 = 10/37
• W41 = 3/38
W42 = 4/37
• W5l = 4/38
W52 = 2/37
• W61 = 5/38
W62 = 7/37
27. 3. Метод нормирования
• 3. Вычисляетсяусредненная оценка,
данная всеми
экспертами каждому
фактору. Для этого
нормированные
оценки, полученные в
предыдущем шаге,
суммируются (по
вертикали), а затем
рассчитывается
средняя
арифметическая для
каждого фактора:
10 / 38 8 / 37
W1
0,240;
2
7 / 38 6 / 37
W2
0,173;
2
9 / 38 10 / 37
W3
0,254;
2
3 / 38 4 / 37
W4
0,093;
2
4 / 38 2 / 37
W5
0,080;
2
5 / 38 7 / 37
W6
0,160.
2
28. 4. Метод последовательных сравнений
• Этот метод состоит в систематическойпроверке оценок на базе их
последовательного сравнения.
29. 4. Метод последовательных сравнений
• Процедура последовательных сравненийсостоит в следующем.
• 1. Эксперту представляется перечень
факторов, которые необходимо оценить по
их относительной важности и ранжировать.
Примечание. Наиболее важному фактору
придается оценка = 1, а остальным
факторам - оценки между 0 и 1 в порядке
их относительной важности.
30. 4. Метод последовательных сравнений
• Процедура последовательных сравненийсостоит в следующем.
• 1. Эксперту представляется перечень
факторов, которые необходимо оценить по
их относительной важности и ранжировать.
Примечание. Наиболее важному фактору
придается оценка 1 = 1, а остальным
факторам - оценки i между 0 и 1 в
порядке их относительной важности.
31. 4. Метод последовательных сравнений
• 2. Эксперт устанавливает, является лифактор с оценкой 1 более важным, чем
комбинация остальных факторов. Если это
так, то он увеличивает оценку 1 чтобы
она была больше, чем сумма всех
остальных, т.е.
.
• Если нет, то он корректирует оценку 1
(если необходимо) так, чтобы она была
меньше суммы всех остальных, т.е.
m
1
m 2
i
n
1 i
i 2
32. 4. Метод последовательных сравнений
• Далее определяется, важнее ли второйнаиболее важный фактор, чем все
остальные факторы, получившие более
низкие оценки; повторяется та же
процедура, что и для 1 . Процедура
последовательных сравнений
продолжается вплоть до (n - 1)-го фактора.
33. 4. Метод последовательных сравнений. Пример
• Допустим, что возможны четыре результата,которые необходимо взвесить по их значимости.
Процедура взвешивания будет состоять в
следующем.
• 1. Упорядочим четыре результата по их значимости.
– О1 - наиболее важный результат,
– О2 - следующий по важности,
– далее идут О3 и О4.
• 2. Присвоим вес 1,00 наиболее важному результату
и некоторые другие веса - остальным результатам.
Так, эксперт может приписать результатам О1, О2, О3
и О4 веса 1,00; 0,80; 0,50 и 0,30 соответственно.
34. 4. Метод последовательных сравнений. Пример
3. Обозначим эти величины (веса 1,00; 0,80; 0,50 и0,30 ) символами
v1 , v 2 , v3 , v 4 ;
их следует рассматривать как первые оценки
"истинных" значений О1, О2, О3 и О4.
4. Проведем сравнение О1, О2, О3 и О4, т. е. выясним,
что выберет эксперт, если ему предоставить
возможность "получить" результат О1 или сумму
результатов О2, О3 и О4.
35. 4. Метод последовательных сравнений. Пример
Предположим, что эксперт утверждает, что O1предпочтительнее этой суммы. Тогда значение оценки
следует
изменить
так, чтобы выполнялось неравенство
1
1 2 3 4 .
• Например, можно принять, что 1 = 2,00;
• 2 = 0,80; 3 = 0,50; 4 = 0,30.
• Примечание. Первоначальные значения
оценок для О2, O3 и О4 остались без
изменений. Изменился вес O1 с 1 до 2-х.
36. 4. Метод последовательных сравнений. Пример
5. Сравним далее O2 с O3 и О4. Предположим, чтосуммарный результат О3 и О4 более
предпочтителен. Тогда требуется дальнейшее
изменение первоначальных оценок. Например,
можно принять
1 = 2,00; 2 = 0,70; 3 = 0,50; 4 = 0,30.
37. 4. Метод последовательных сравнений. Пример
2,
00
6. Если эти оценки не
'1
0,57;
3,50
противоречат мнениям
0,70
экспертов, можно их
'2
0,20;
3,50
нормировать, разделив
каждую из них на сумму всех ' 3 0,50 0,14;
3,50
оценок, которая в данном
0,30
случае равна 3,50.
'4
0,09.
3,50
Обозначив нормированные
оценки символами 'i ,
Итого 1,00.
имеем:
38. Резюме
• 1. Сущность метода экспертных оценок заключаетсяв проведении экспертами интуитивно-логического
анализа проблемы с количественной оценкой суждений
и формальной обработкой результатов
• Метод используется для решения различных сложных
слабоструктурированных, неформализуемых проблем
• 2. При решении многих практических задач часто
оказывается, что факторы, определяющие конечные
результаты, не поддаются непосредственному
измерению. Расположение этих факторов в порядке
возрастания (или убывания) какого-либо присущего им
свойства называется ранжированием.
39. Резюме
• 3. Экспертное ранжированиеосуществляется методом
непосредственной оценки, а также
методами последовательных и парных
сравнений
• 4. Непосредственное ранжирование
состоит в присваивании рангов факторам,
которые представлены для ранжирования.
40. Резюме
• 5. Процедура последовательных сравнений состоит впроверке оценок факторов на базе их последовательного
сравнения. Квалификация (сведение качественных
характеристик к количественным) предпочтений в
сложных и комплексных проблемах с помощью метода
последовательных сравнений при наличии большого
числа факторов становится затруднительной. В таких
случаях сложную проблему расчленяют на ряд более
простых подпроблем и задач, для которых сравнительно
просто выявить предпочтения, используя метод парных
сравнений. Сущность метода состоит в сравнении
факторов попарно, с тем чтобы установить в каждой паре
наиболее важный.
41. Вопросы для повторения:
• В чем состоит сущность метода экспертных оценок?• Назовите области применения методов экспертных
оценок.
• Охарактеризуйте этапы проведения экспертизы.
• Опишите порядок подготовки экспертизы.
• В каких случаях применяется ранжирование?
• Какова процедура последовательного
ранжирования?
• В чем состоят сущность и содержание метода
парных сравнений?
42. Литература
• Мухин В.И., Малинин В.С. Исследованиесистем управления: Учебник для вузов.– М:
Издательство «Экзамен», 2003. – 384 с.
• Анфилатов B.C. и др. Системный анализ в
управлении: Учебное пособие/ Под ред.
А.А. Емельянова. - М.: Финансы и
статистика, 2002. - 368с.