Метрики качества программного проекта

1.

ГАПОУ ПО Пензенский
колледж информационных и
промышленных технологий
Дисциплина: МДК.04.01 Моделирование и анализ
программного обеспечения
Метрики качества
программного проекта
Преподаватель: Г.С. Лукьянова
Пенза 2020г.

2.

Метрики качества ПО
• Понятие качества и его многомерность
• Характеристики качества и его цена
• Качество продукта, процесса, его организации
• Метрики качества
• Иерархизация метрик
• Статистический анализ
ПКИПТ - 2020
Метрики качества ПО
2

3.

Понятие качества и его многомерность
Качество - это полнота свойств и характеристик продукта,
процесса или услуги, которые обеспечивают способность
удовлетворять
заявленным
или
подразумеваемым
потребностям.(Определение ISO)
Качество программного обеспечения - это степень, в
которой оно обладает требуемой комбинацией свойств.
(Определение IEEE)
ПКИПТ - 2020
Метрики качества ПО
3

4.

Понятие качества и его многомерность
Information
Systems
Quality
Качество
организации
Качество
Качество данных
ПО
Качество сервиса
ISQ
Качество
информации
Качество
обслуживаемого
бизнес процесса
Качество
инфраструктуры
Enterprise Quality
ПКИПТ - 2020
Метрики качества ПО
4

5.

Понятие качества и его многомерность
• Качество инфраструктуры
• Качество ПО
• Качество данных
• Качество информации
• Качество организации
• Качество сервиса
• Качество процесса
ПКИПТ - 2020
Метрики качества ПО
качество
аппаратного и
качество
поддерживающего
информации,
программного
продуцируемое
обеспечения
информационной
качество
(например,
системой
программного
качество
качество обеспечения
данных,
операционных
использующихся
информационной
систем,
качество
информационной
компьютерных
системы.
менеджмента,
системой на
входе
сетей
и т.п.).
включая
качествокачество
бюджетирования,
обслуживаемого
планирования
бизнес
процесса и
календарного
качество обучения,
контроля
системной
поддержки и т.п.
5

6.

Понятие качества и его многомерность
Анализ
Сферы ответственности заинтересованных сторон
in-process
stakeholder
end-of-process
stakeholders
Управление качеством будет успешным, если под
контролем находятся все измерения качества.
ПКИПТ - 2020
Метрики качества ПО
6

7.

Понятие качества и его многомерность
• Качество продукта
• Качество процесса
• Качество организации
ПКИПТ - 2020
Метрики качества ПО
7

8.

Понятие качества и его многомерность
• Качество продукта
• Качество процесса
• Качество организации
ПКИПТ - 2020
Метрики качества ПО
8

9.

Характеристики качества
Отсутствие характеристики при договоре
Разный учёт или пропуск при испытаниях
КОНФЛИКТ!
ПКИПТ - 2020
Метрики качества ПО
9

10.

Дерево характеристик качества
Не существует единственной метрики
Спектр проектно-зависимых метрик
Метрики качества - изначально неочевидная
категория
ПКИПТ - 2020
Метрики качества ПО
10

11.

Дерево характеристик качества
Исторически сначала были выделены ряд
универсальных и неполных метрик на
основе следующих шагов
1.Определение
множества
характеристик,
6.
2.
3.
4.
5. Рафинирование
Выделение
Корректировка
Исследование
Исследование
кандидатов
множества
каждой
корреляции
характеристик
вметрики
метрик
метрики,
между
и
вв
которые,
которые
связанных
метриками,
итоговом
целом во множество
множестве
являясь
метрик,
измеряют
степени
для
метрик,
важными
в определения
перекрытия,
которые
контексте
степень
дляв
программного
удовлетворения
корреляции,
зависимости
зафиксированных
совокупностии недостатков.
обеспечения,
значимости,
множеств
адекватнохарактеристик
указанным
допускают
отражают
степени
несложное
характеристикам.
автоматизируемости.
и
качество
метрик. программного
измерение
обеспечения.
и
не
перекрываются.
ПКИПТ - 2020
Метрики качества ПО
11

12.

Дерево характеристик качества
Дифференциация нижнего
уровня иерархии
Ручной сбор
информации,
специальные
автоматизированные
средства или
экспертный способ
ПКИПТ - 2020
Метрики качества ПО
12

13.

Пример графического изображения
качества
Корректность 97%
Надежность 61%
Ремонтопригодность 60%
Безопасность
100%
Гибкость 82%
Удобство в использовании
100%
ПКИПТ - 2020
Метрики качества ПО
13

14.

Цена качества
Цена качества - стоимость в составе продукта,
которая может быть сэкономлена, если все
исполнители работают безупречно.
Стоимость работ на доработку
ПКИПТ - 2020
Метрики качества ПО
14

15.

Цена качества
сумма,
затраченная на
достижение
качества
продукта
Цена качества
включает все
издержки
Согласованная
понесенные,
вследствие
выявления
недостатков,
возникновения
ошибок и
Цена
Цена
выхода из строя контроля
предупреждения
ПКИПТ - 2020
Несогласованная
Внутренние
издержки
Метрики качества ПО
Внешние
издержки
15

16.

Цена качества
Согласованная
Цена
предупреждения
Цена
контроля
Предупреждением дефектов
прежде, чем они произойдут
(обучение коллектива , переход на современные
технологии)
(ПКИПТ - 2020
Метрики качества ПО
16

17.

Цена качества
Согласованная
Цена
предупреждения
Цена
контроля
Измерение,
оценивание
или ревизия продукта
ПКИПТ - 2020
Метрики качества ПО
17

18.

Несогласованная
Цена качества
Внутренние
издержки
Внешние
издержки
Издержки
связанные
с
проблемами, выявленными до
того, как продукт отправлен
заказчику
Затраты
связанные
с
ошибками, проявившимися
при эксплуатации продукта
ПКИПТ - 2020
Метрики качества ПО
18

19.

Цена качества
• Совершенствование процесса разработки и внедрения
программного обеспечения значительно уменьшают
относительную несогласованную стоимость качества
при сохранении согласованной стоимости не прежнем
• Инвестиции
в
совершенствование
процесса
разработки ведут к значительному сокращению
дефектов
и
дают
высокий
положительный
экономический эффект
ПКИПТ - 2020
Метрики качества ПО
19

20.

Качество продукта
Какие характеристики важнее?
• Пользователь
• Применение
ПО,
его
производительность,
результаты использования.
• Разработчик
• Требования пользователя к конечному продукту
• Характеристики
качества
промежуточной
продукции
• Руководитель
• Общее качество
• Коммерческие требования
ПКИПТ - 2020
Метрики качества ПО
20

21.

Определение
требований
качества
Выбор
Метрик
Определение
уровня
ранжирования
Определение
критерия
оценки
Разработка
ПО
Продукция или
промежуточный
продукт
Измерение
Ранжирование
Оценка
Оценивание
Оценка качества программного продукта
Подготовка Определение
требований
Качество продукта
Продукт приемлем или нет
ПКИПТ - 2020
Метрики качества ПО
21

22.

Качество процесса, его организация
Модель качества процесса разработки
Зрелость
программного
процесса
+
+
Качество
разработки
ПКИПТ - 2020
+
+
Качество
реализации
+
+
+
Качество
продукта
-
-
-
Сложность
продукта
Двусмысленность
требований
структура
продукта
Метрики качества ПО
22

23.

Качество процесса, его организация
Следствия принятой модели:
• Качество накапливается в продукте при сложном
производстве кумулятивным образом, причем, вклад
в качество, осуществленный на ранних стадиях, имеет
более сильное влияние на конечный продукт, чем на
более поздних стадиях.
• Тестирование
и
измерение
качества
должно
происходить на всех стадиях жизненного цикла.
ПКИПТ - 2020
Метрики качества ПО
23

24.

Качество процесса, его организация
Подход тотального управления качеством
(TQM – Total Quality Management)
Стандарты:
• ISO 9001 -проектирование в процессе производства
• ISO 9000-3, формулирует требования модели качества
ISO 9001 к организации процесса разработки
программного обеспечения
ПКИПТ - 2020
Метрики качества ПО
24

25.

Качество процесса, его организация
• Наличие
процесса
разработки
программного
обеспечения, удовлетворяющего высокому уровню
качества, не гарантирует выпуска продукта высокого
качества.
• Отсутствие информации о качестве процесса означает,
что качество разрабатываемого продукта является
непредсказуемым.
ПКИПТ - 2020
Метрики качества ПО
25

26.

Метрики качества
При выборе метрик главными показателями
являются :
• Адекватность метрик целям качества
• Прозрачность и четкость интерпретации
• Экономическая эффективность получения
ПКИПТ - 2020
Метрики качества ПО
26

27.

Метрики качества
Метрики менеджмента:
• Цена (Cost)
• Время разработки
(Time-to-market)
• Среда разработки
(Software Engineering Environment)
расходы на
приобретение/
процент
целевых
разработку
компьютерных
мера
времени от
мера
способности
ресурсов,
формирования
производителя
используемых
заказа на
разрабатывать
системой до
программу
программное
поставки
обеспечение
высокого качества
• Использование системных ресурсов
(System Resource Utilization)
ПКИПТ - 2020
Метрики качества ПО
27

28.

Метрики качества
Метрики требований:
• Соответствие требованиям
(requirement conformance)
• Стабильность требований
(requirement stability)
ПКИПТ - 2020
Метрики качества ПО
дают возможность
контролировать
спецификации,
изменение
требований, а
также степень их
удовлетворения
28

29.

Метрики качества
Метрики качества:
• Адаптируемость(adaptibility)
• Сложность интерфейсов
и интеграции (complexity of
interfaces and integration)
• Тестовое покрытие
(test coverage)
• Надежность (reliability)
• Профили ошибок (fault profiles)
• Степень удовлетворения
потребностей заказчика
(customer satisfaction)
ПКИПТ - 2020
Метрики качества ПО
кумулятивное число
обнаруженных
метрика,
ошибок
измеряющая
степень сложности
степень
полноты
интерфейса
или
мера
гибкости
вероятность
работы
степень
различных
типов
дополнительного
системы
системы
без отказов
соответствия
тестирования
программирования
программного
требуемого для
обеспечения
интеграции
ожиданиям и
компоненты в
требованиям
систему
заказчика
29

30.

Метрики качества
Циклическая модель
• Гибкость (flexability)
• Модульность (Modularity)
• Изменяемость (Changeability)
• Сопровождаемость (Maintainability)
• Адаптивность (adaptability)
• Настраиваемость (customizability)
• Переносимость (Portability)
• Способность к взаимодействию (Interoperability)
ПКИПТ - 2020
Метрики качества ПО
30

31.

Метрики качества
Стоимость эксплуатации и сопровождения в составе
общей стоимости владения системы (total cost
ownership
)
увеличивается
с
ростом
системы
опережающими темпами
Вывод:
Чем легче программный продукт модифицировать,
тем легче достичь изначальных показателей качества
( кроме производительности )
ПКИПТ - 2020
Метрики качества ПО
31

32.

Проектно-ориентированные
метрики качества
Проектно-ориентированные
метрики
качества разрабатываются в виде стандарта
качества на ранних стадиях разработки
проекта.
Продукт
проекта
должен
удовлетворять этим метрикам на всех стадиях.
Такие метрики разрабатываются структурно сверху-вниз.
ПКИПТ - 2020
Метрики качества ПО
32

33.

Методология создания проектноориентированных метрик качества
• Определение нетехнического уровня
• Определение технического уровня
• Декомпозиция суб-факторов в метрики
ПКИПТ - 2020
Метрики качества ПО
33

34.

Определение нетехнического уровня
(предназначен для заказчика)
• Формирование требований качества
• Выбор свойств, установка приоритетов и связи с
требованиями.
• Присвоение свойств факторам качества, которые
отражают представление заказчика на качество.
• Установка измерений для факторов качества.
Определение допустимых коридоров для величин
качества.
ПКИПТ - 2020
Метрики качества ПО
34

35.

Определение технического уровня
(предназначен для разработчиков)
Производится декомпозиции факторов качества в
измеряемые характеристики программного
обеспечения, определяемые как суб-факторы.
ПКИПТ - 2020
Метрики качества ПО
35

36.

Декомпозиция суб-факторов в метрики
(нижний уровень иерархии)
Это уровень разработанных правил и норм,
которым должен удовлетворять продукт или
процесс с тем, чтобы были выполнены
факторы качества.
ПКИПТ - 2020
Метрики качества ПО
36

37.

Статистический анализ
Статистические методы предназначены для
получения объективных данных, которые
обеспечивают принятие эффективных решений
при производстве.
ПКИПТ - 2020
Метрики качества ПО
37

38.

Методы статистического анализа
• Гистограмма
• Диаграммы рассеивания
• Контрольные карты
• Диаграммы Парето
ПКИПТ - 2020
Метрики качества ПО
38

39.

Гистограмма
Гистограмма - это графический метод
представления данных, сгруппированных по
частоте попадания в определенный интервал.
ПКИПТ - 2020
Метрики качества ПО
39

40.

Диаграммы рассеивания
Диаграммы рассеивания – графическое
представление пар исследуемых данных в виде
множества точек на координатной плоскости.
Предназначены для оценки наличия или
отсутствия
зависимости
между
двумя
изучаемыми величинами.
ПКИПТ - 2020
Метрики качества ПО
40

41.

Контрольные карты
Контрольные
карты
графически
отражают
динамику процесса, т.е. изменение показателей во
времени. На карте отмечен диапазон неизбежного
рассеивания, который лежит в пределах верхней и
нижней контрольных границ.
ПКИПТ - 2020
Метрики качества ПО
41

42.

Диаграммы Парето
Диаграмма Парето - графическое представление
отражает причины
отражает
степенинежелательные
важности факторов. проблем
Предназначена
по кадрам, для
оборудованию,
методам
определения
существенно
результаты в немногочисленных
сферах
работы
качества,
важных причин.
себестоимости,
Диаграмма
Парето:
поставок, безопасности
• по результатам деятельности
• по причинам
ПКИПТ - 2020
Метрики качества ПО
42

43.

Список литературы
1.
Александр Попов «Метрики качества программного обеспечения»,
http://www.pmprofy.ru/
2.
Владимир Липаев, «Сетевой журнал» №3.2002
3.
Владимир Липаев «Стандартизация характеристик и оценивания качества
программных средств», http://www.fostas.ru/library/Lipaev_6.rtf
4.
Владимир Липаев «Сертификация систем качества предприятий,
разрабатывающих программные средства для информационных систем, на
соответствие стандартам серии ISO 9000», http://tqm.stankin.ru/arch/n01/08.html
5.
ГОСТ Р ИС09126 «Характеристики качества и руководства по их
применению»
6.
Жарко Е.Ф. «Проблемы управления качеством программного обеспечения»
http://www31.ipu.rssi.ru/0887.pdf
7.
Романов В.Ю. «Анализ программного обеспечения с использованием
объектно-ориентированных метрик. Обзор метрик»,
http://oit.cmc.msu.ru/romanov/russian/pub/OOMetrics-Report.htm
8.
http://www.ispu.ru/library/lessons/mizonov/index.html
9.
http://spc-consulting.ru/
ПКИПТ - 2020
Метрики качества ПО
43