лекция 13

1. Оценка качества функционирования информационной системы. CALS-технологии

ОЦЕНКА КАЧЕСТВА
ФУНКЦИОНИРОВАНИЯ
ИНФОРМАЦИОННОЙ СИСТЕМЫ.
CALS-ТЕХНОЛОГИИ
ЛЕКЦИЯ 13

2. Показатели качества информационных систем

ПОКАЗАТЕЛИ КАЧЕСТВА
ИНФОРМАЦИОННЫХ СИСТЕМ
Показатели качества информационных систем включают в
себя:
• надёжность функционирования, которая оценивается по
времени безотказной работы и частоте сбоев,
• эффективность взаимодействия компонентов системы,
определяемую через скорость обработки данных и
интеграцию с другими системами.
• удобство использования, которое измеряется по уровню
удовлетворённости пользователей и времени,
необходимому для выполнения типовых задач.

3. Характеристики качества ПО

ХАРАКТЕРИСТИКИ КАЧЕСТВА ПО
• Функциональная пригодность (Functional Suitability)
Определяет, насколько ПО способно выполнять заявленные функции и
решать задачи пользователя.
• Уровень производительности (Performance Efficiency)
Отражает соотношение между производительностью ПО и объёмом
используемых ресурсов.
• Надёжность (Reliability) Способность ПО сохранять заданный уровень
производительности в определённых условиях в течение
установленного времени.
• Удобство использования (Usability) Определяет, насколько легко и
комфортно пользователя м взаимодействовать с ПО
• Совместимость (Compatibility) Способность ПО эффективно
функционировать в заданном окружении и взаимодействовать с
другими системами.
• Сопровождаемость (Maintainability) Характеризует, насколько легко
вносить изменения, исправлять ошибки и адаптировать ПО к новым
условиям.
• Переносимость (Portability) Способность ПО быть перенесённым из
одного окружения в другое

4. Основные критерии оценки

ОСНОВНЫЕ КРИТЕРИИ ОЦЕНКИ
Критерий
Описание
Примеры метрик
Надёжность
Способность системы работать Время безотказной работы, частота
без сбоев и ошибок
отказов, среднее время восстановления
Производительность
Скорость обработки запросов
и выполнения операций
Время отклика, пропускная
способность, количество транзакций в
секунду
Безопасность
Защита данных и
предотвращение
несанкционированного
доступа
Количество инцидентов, время
обнаружения угроз, уровень
шифрования
Удобство
использования
Насколько система интуитивна Время обучения, количество ошибок
и проста для пользователя
пользователей, результаты опросов
Масштабируемость
Способность системы
справляться с ростом нагрузки
Максимальное число пользователей,
объём данных, возможность
расширения
Совместимость
Интеграция с другими
системами и платформами
Количество поддерживаемых форматов,
успешность интеграций

5. Оценка качества информационной системы

ОЦЕНКА КАЧЕСТВА
ИНФОРМАЦИОННОЙ
СИСТЕМЫ
В РФ действуют два нормативных документа
по оценке качества ПО:
• ГОСТ Р ИСО/МЭК 9126-93 «Информационная
технология. Оценка программной продукции.
Характеристики качества и руководства по их
применению» (частично рассматривался выше);
• ГОСТ 28195-89 «Оценка качества программных
средств. Общие положения».

6.

МОДЕЛЬ ПРОЦЕССА ОЦЕНИВАНИЯ
(в соответствии с ГОСТ Р ИСО/МЭК 9126-93)

7. Методы оценки

МЕТОДЫ ОЦЕНКИ
• Тестирование и мониторинг: регулярные нагрузочные,
стресс- и функциональные тесты; анализ логов и метрик
в реальном времени.
• Опросы и анкетирование: сбор обратной связи от
пользователей и администраторов.
• Аудит и анализ: проверка соответствия стандартам,
анализ уязвимостей, оценка архитектуры.
• KPI и SLA: использование ключевых показателей
эффективности и соглашений об уровне сервиса для
формализации требований.
• Моделирование и симуляция: создание математических
или программных моделей для прогнозирования
поведения системы в различных условиях без риска для
реальной эксплуатации.

8. Оценка качества информационной системы

ОЦЕНКА КАЧЕСТВА
ИНФОРМАЦИОННОЙ
СИСТЕМЫ
Процесс оценивания состоит из трех стадий:
1) установление требований к качеству;
2) подготовка к оцениванию;
3) процедура оценивания.
Данный процесс может применяться на любой
подходящей фазе жизненного цикла для каждого
компонента программной продукции.

9. Установление требований к качеству

УСТАНОВЛЕНИЕ
ТРЕБОВАНИЙ К КАЧЕСТВУ
Целью данной стадии является установление
требований в терминах характеристик качества и
возможных комплексных показателей
(подхарактеристик) качества.
Требования выражают потребности внешнего окружения
для рассматриваемой программной продукции и
должны быть определены до начала разработки.
Так как программная продукция разделяется на
основные компоненты, требования для продукции в
целом могут отличаться от требований для
отдельных компонентов.

10. Подготовка к оцениванию

ПОДГОТОВКА К
ОЦЕНИВАНИЮ
Целью данной стадии является подготовка основы для
оценивания.
Данная стадия включает в себя следующие этапы:
а) Выбор метрик (показателей) качества. В качестве
метрик могут быть приняты количественные признаки и
количественно оцениваемые взаимодействия ПО с его
окружением, которые соотносятся с некоторой
характеристикой качества.
б) Определение уровней ранжирования. Для каждого
диапазона количественных значений признаков
устанавливается уровень ранжирования (отличный,
хороший, средний, низкий). Измеренное значение
показывает уровень удовлетворения требований.
в) Определение критерия оценки. Для определения
качества продукции результаты оценивания различных
характеристик должны быть подытожены.

11. Процедура оценивания

ПРОЦЕДУРА ОЦЕНИВАНИЯ
Данная стадия включает в себя следующие этапы:
а) Измерение. Выбранные метрики применяются к ПО.
Результатом являются значения в масштабах метрик.
б) Ранжирование. Устанавливается уровень ранжирования
для измеренного значения.
в) Оценка. Обобщается множество установленных уровней.
Результатом является заключение о качестве ПО. Затем
обобщенное качество сравнивается с другими факторами,
такими как время и стоимость. Результатом является
решение руководства по приемке, отбраковке, выпуску или
невыпуску ПО.

12. Уровни показателей качества

УРОВНИ ПОКАЗАТЕЛЕЙ
КАЧЕСТВА
ГОСТ 28195-89 «Оценка качества программных
средств. Общие положения» устанавливает модель
оценки качества ПО, включающую 4 уровня
показателей качества:
1) факторы качества;
2) критерии (комплексные показатели) качества;
3) метрики;
4) оценочные элементы (единичные показатели).
Каждый вышестоящий уровень содержит в качестве
составляющих показатели нижестоящих уровней.

13. Методы обеспечения и контроля качества информационной системы

МЕТОДЫ ОБЕСПЕЧЕНИЯ И
КОНТРОЛЯ КАЧЕСТВА
ИНФОРМАЦИОННОЙ СИСТЕМЫ
В соответствии с ГОСТ 28195-89 методы
определения показателей качества ПО
различаются:
• по способам получения информации о ПО:
измерительный, регистрационный,
органолептический, расчетный;
• по источникам получения информации о ПО:
традиционный, экспертный, социологический.

14. Методы определения показателей качества ПО

МЕТОДЫ ОПРЕДЕЛЕНИЯ
ПОКАЗАТЕЛЕЙ КАЧЕСТВА ПО
• Измерительный метод основан на получении информации о
свойствах и характеристиках ПО. Например, с использованием этого
метода определяются: число строк исходного текста программы, число
строк-комментариев, число операторов, число точек входа (выхода),
время реакции программы и другие показатели.
• Регистрационный метод основан на получении информации во
время испытаний или функционирования ПО, когда регистрируются и
подсчитываются определенные события, например, время и число
сбоев и отказов, время начала и окончания работы.
• Органолептический метод основан на использовании информации,
получаемой в результате анализа восприятия органов чувств (зрения,
слуха), и применяется для определения таких показателей как
удобство применения, эффективность и т.п.

15. Методы определения показателей качества ПО (продолжение)

МЕТОДЫ ОПРЕДЕЛЕНИЯ
ПОКАЗАТЕЛЕЙ КАЧЕСТВА ПО
(ПРОДОЛЖЕНИЕ)
• Расчетный метод основан на использовании формул, а также
статистических данных, накапливаемых при испытаниях, эксплуатации
и сопровождении ПО. При помощи этого метода определяются
вероятность безотказной работы, оценка простоты программы по
числу точек входа и выхода, оценка простоты программы по числу
переходов по условию.
• Экспертный метод – определение значений показателей качества ПО
осуществляется группой экспертов-специалистов, компетентных в
решении данной задачи, на базе их опыта и интуиции. Данный метод
применяется в случаях, когда задача не может быть решена никаким
другим из существующих способов или другие способы являются
значительно более трудоемкими. Экспертный метод рекомендуется
применять при определении показателей наглядности, полноты и
доступности программной документации, легкости освоения
программной документации и программ, структурности.
• Социологический метод основан на обработке специальных анкетвопросников.

16. Понятие и цели CALS-технологий

ПОНЯТИЕ И ЦЕЛИ
CALS-ТЕХНОЛОГИЙ
CALS (Continuous Acquisition and Lifecycle Support —
непрерывная информационная поддержка поставок и
жизненного цикла) означает совокупность принципов и
технологий информационной поддержки жизненного цикла
продукции на всех его стадиях.
Русскоязычный аналог понятия CALS — Информационная
Поддержка жизненного цикла Изделий (ИПИ).
В последнее время за рубежом наряду с CALS
используется также термин Product Lifecycle Management
(PLM).
Цель внедрения CALS — минимизация затрат в ходе
жизненного цикла изделия, повышение его качества и
конкурентоспособности.

17. терминология

ТЕРМИНОЛОГИЯ
CALS – это стратегия повышения эффективности,
производительности и рентабельности процессов
хозяйственной деятельности предприятий за счет
внедрения современных методов информационного
взаимодействия участников ЖЦ продукта.
Жизненный цикл продукта (по стандартам CALS) —
это совокупность процессов, выполняемых от
момента выявления потребностей общества в
определенной продукции до момента удовлетворения
этих потребностей и утилизации продукта.

18. терминология

ТЕРМИНОЛОГИЯ
Процесс - это совокупность взаимосвязанных ресурсов
и деятельности, которая преобразует входящие
элементы в выходящие. Ресурсами являются персонал,
средства обслуживания, оборудование, технология,
методология.
Организационно-деловые процессы понимаются
процессы, связанные с взаимодействием людей
(подразделений, организаций).
Все процессы ЖЦ взаимосвязаны
Бизнес-процесс – совокупность технологических
и
организационно-деловых
процессов,
выполняемая целенаправленно в рамках заранее
заданной организационной структуры.

19. терминология

ТЕРМИНОЛОГИЯ
Масштаб бизнес-процессов:
• масштаб предприятия (в него вовлечены работники
нескольких
подразделений,
например,
снабжающих
предприятие материалами и комплектующими),
• внутрицеховые,
• внутрилабораторные (например, изготовить деталь).
Внутри одного бизнес-процесса часть составляющих его
технологических и организационно-деловых процессов может
быть организована в отдельный вложенный бизнес-процесс
меньшего масштаба.
Отдельные
технологические
и
организационно-деловые
процессы могут раскладываться на операции (законченные
части процесса, выполняемые на одном рабочем месте –
выписать накладную, составить договор), которые, в свою
очередь, делятся на переходы (законченные части операции,
выполняемые одними и теми же средствами – позвонить,
записать, фрезеровать).

20. Группы методов CALS

ГРУППЫ МЕТОДОВ CALS
При реализации стратегии CALS должны использоваться три
группы методов, называемых CALS-технологиями:
1. Технологии анализа и реинжиниринга бизнес-процессов набор организационных методов реструктуризации способа
функционирования предприятия с целью повышения его
эффективности. Эти технологии нужны для того, чтобы корректно
перейти от бумажного к электронному документообороту и
внедрить новые методы разработки изделия;
2. Технологии представления данных об изделии в
электронном виде набор методов для представления в
электронном виде данных об изделии, относящихся к отдельным
процессам ЖЦ изделия. Эти технологии предназначены для
автоматизации отдельных процессов ЖЦ (первый этап создания
ЕИП);
3. Технологии интеграции данных об изделии набор методов
для
интеграции
автоматизированных
процессов
ЖЦ
и
относящихся к ним данных, представленных в электронном виде,
в рамках ЕИП. Эти технологии относятся ко второму этапу
создания ЕИП.

21. Единая информационная среда

ЕДИНАЯ ИНФОРМАЦИОННАЯ СРЕДА
Реинжиниринг бизнес-процессов (Business Process
Reengineering,
BPR),
которое
подразумевает
фундаментальное
переосмысление
и
перепроектирование бизнес-процессов предприятия
с целью повышения эффективности его работы.
Информационное
взаимодействие
субъектов,
участвующих в поддержке ЖЦ, должно осуществляться
в едином информационном пространстве (ЕИП).
Для разрушения коммуникационных барьеров и
реализации концепции CALS необходимо создать ЕИП
для всех участников ЖЦ изделия (в том числе и для
эксплуатационников)

22. базовые принципы CALS

БАЗОВЫЕ ПРИНЦИПЫ CALS
•прикладные программные средства отделены от данных;
•структуры данных и интерфейс доступа к ним
стандартизованы;
•данные об изделии, процессах и ресурсах не дублируются,
число ошибок в них минимизируется, обеспечивается
полнота и целостность информации;
•прикладные средства работы с данными представляют
собой, как правило, типовые коммерческие решения
различных производителей, что обеспечивает возможность
дальнейшего развития ИИС.
Все процессы информационного обмена посредством ИИС
имеют своей конечной целью максимально возможное
исключение из деловой практики традиционных бумажных
документов и переход к прямому безбумажному обмену
данными.
Преимущества
и
технико-экономическая
эффективность такого перехода очевидны.

23. Концепция CALS

КОНЦЕПЦИЯ CALS
Концепция CALS предполагает последовательное, непрерывное изменение
и совершенствование бизнес-процессов разработки, проектирования,
производства и эксплуатации изделия.
Построению интегрированной системы информационной поддержки ЖЦ
изделия должны предшествовать:
•анализ существующей ситуации;
•разработка комплекса функциональных моделей бизнес-процессов,
описывающих текущее состояние среды, в которой реализуется ЖЦ
изделия;
•выработка и сопоставление возможных альтернатив совершенствования
как отдельных бизнес-процессов, так и системы в целом.
Результатами анализа являются:
•функциональные модели бизнес-процессов ЖЦ изделия как есть сейчас;
•функциональные
модели
альтернативных
вариантов
усовершенствованных бизнес-процессов ЖЦ как должно быть;
•оценка затрат и рисков для каждого варианта;
•выбор предпочтительного варианта на основе взвешенного критерия
минимума затрат и рисков;
•описание технической архитектуры ИИС для выбранного варианта;
•оценка технических характеристик ИИС для выбранного варианта;
•план действий по реализации выбранного варианта совершенствования
бизнес-процессов ЖЦ и ИИС.

24. Концепция CALS

КОНЦЕПЦИЯ CALS
Общая методика изменения бизнес-процессов в связи с
внедрением CALS-технологий на предприятии включает в себя
следующие этапы:
•Мотивация необходимости изменений.
•Разработка плана изменений и его утверждение руководством.
Создание организационной структуры (рабочей группы CALS),
которая будет реализовывать разработанный план. На первых
этапах эту структуру должен возглавлять руководитель
организации.
•Обучение членов группы CALS и другого персонала,
причастного к проведению изменений.
•Определение промежуточных (тактических) целей и способов
оценки результатов (определение метрик).
•Разработка рабочих планов для всех участников группы CALS.
•Создание временных многофункциональных рабочих групп для
решения тактических задач.
•Реализация планов.
•Оценка достигнутых результатов.

25. Преимущества CALS-технологий

ПРЕИМУЩЕСТВА CALS-ТЕХНОЛОГИЙ
Главный смысл CALS-технологий в том, что создается схема, по которой
такие технические приемы как: Интернет, Синтетическая среда,
Параллельное проектирование, Среда распределенных данных, Реинжениринг бизнес процессов, CAD/CAM, Виртуальная реальность,
Электронная коммерция, могут работать вместе. Это означает
установление новых стандартов и правил.
Преимущества CALS:
Услуги и изделия с конкурентными ценами
Сокращение затрат времени
Снижение общей стоимости жизненного цикла
Снижение затрат на поддержку эксплуатации изделия
Наличие точной информации и получение ее в кротчайшие сроки
Улучшение взаимодействия потребителя с поставщиком
Снижение незавершенного производств
Возможность принимать лучшие решения
Возможность сформировать динамичную команду призванную
сопровождать изделие на всем цикле его жизни
Повышение квалификации персонала

26. Состав CALS

СОСТАВ CALS
К лингвистическому обеспечению CALS относятся языки и форматы
данных о промышленных изделиях и процессах, используемые для
представления и обмена информацией на всех этапах жизненного цикла
изделий.
Информационное обеспечение составляют базы данных, содержащие
сведения о промышленных изделиях, используемые различными
системами в процессе проектирования, производства, эксплуатации и
утилизации изделий. В состав информационного обеспечения входят также
серии международных и национальных CALS-стандартов и спецификаций.
Математическое обеспечение CALS включает, модели и алгоритмы
взаимодействия различных систем и их компонентов в CALS-технологиях.
К этим моделям относятся методы структурного и имитационного
моделирования, методы планирования и управления процессами,
распределения ресурсов и т.п.
Программное
обеспечение
CALS
представлено
программными
комплексами,
предназначенными
для
поддержки
единого
информационного пространства на всех этапах жизненного цикла изделий.
Это системы управления документами и документооборотом, управления
проектными данными, взаимодействия предприятий в электронном
бизнесе, подготовки интерактивных электронных технических руководств и
некоторые другие.

27. Состав CALS

СОСТАВ CALS
Методическое обеспечение CALS представлено методиками
выполнения таких процессов, как структурирование сложных
объектов,
их
функциональное
и
информационное
моделирование, параллельное (совмещенное) проектирование и
производство,
объектно-ориентированное
проектирование,
создание онтологии приложений.
К техническому обеспечению CALS относят аппаратные
средства получения, хранения, обработки и визуализации данных
при информационном сопровождении изделий. Взаимодействие
частей виртуальных предприятий, систем, поддерживающих
разные этапы жизненного цикла изделий, происходит через линии
передачи данных и сетевое коммутирующее оборудование.

28. Научные проблемы CALS-технологий

НАУЧНЫЕ ПРОБЛЕМЫ CALS-ТЕХНОЛОГИЙ
Область
технологий
CALS-
Научные проблемы
Методология создания оптимальной технологической среды, включающая
вопросы новейших технологий машинно- и приборостроения,
1. Методы анализа и
организационно-экономического
управления,
конструкторскореинжиниринга
технологического проектирования и соответствующего информационного
бизнес процессов
обеспечения средствами вычислительной техники и передачи данных по
сетям
2. Методы и средства
Методология разработки сложных изделий путем их декомпозиции и
параллельного
параллельного ведения отдельных проектов
проектирования
3.
Технология Теория управления сложными системами организационно-экономического
логистики
и организационно-технологического типа
4.
Технологии Теория передачи информации по телекоммуникационным компьютерным
Интернет / Интранет сетям
5. Унифицированная
модель
изделия Теория создания многоаспектных математических моделей изделий
(STEP); Электронная (функциональных, геометрических (конструкторских), технологических и
документация
на т.п.)
изделие

29. Область применения CALS

ОБЛАСТЬ ПРИМЕНЕНИЯ CALS
• CALS-технологии в машиностроении.
• CALS-технологии в управлении качеством.
• CALS-технологии в авиастроении.
• CALS-технологии в управлении инновациями.
• CALS-технологии в судостроении.
• CALS-технологии в строительстве.
• CALS-технологии в маркетинге.
• CALS-технологии в логистике.

30. Стандарты CALS

СТАНДАРТЫ CALS
CALS-стандарты
группы:
можно
подразделить
на
три
- функциональные стандарты, определяющие
процессы и методы формализации;
- информационные стандарты по описанию данных о продуктах, процессах и средах;
- стандарты технического обмена, контролирующие носители информации и процессы обмена
данными между передающими и принимающими
системами.

31. Контрольные вопросы

КОНТРОЛЬНЫЕ ВОПРОСЫ
1. Что понимается под качеством функционирования
2.
3.
4.
5.
6.
информационной системы и почему эта характеристика важна
для организаций?
Назовите и охарактеризуйте основные критерии оценки качества
функционирования информационной системы согласно
стандарту ISO/IEC 25010.
Чем отличается понятие «эффективность» от понятия
«производительность» при оценке качества функционирования
информационной системы?
Дайте определение CALS-технологиям и поясните, каким
образом они способствуют повышению качества
функционирования информационных систем.
Почему CALS-подход называют технологией непрерывного
информационного взаимодействия предприятия и заказчика?
Приведите примеры реализации этого принципа.
Каковы преимущества использования CALS-технологий при
проектировании, разработке и сопровождении сложных
информационных систем?

32.

7. Перечислите основные стандарты семейства ISO/IEC,
регулирующих оценку качества функционирования
информационных систем, и раскройте их назначение.
8. Как CALS-технологии обеспечивают повышение надежности и
стабильности функционирования информационных систем на
предприятии?
9. Раскройте сущность концепции жизненного цикла изделия (PLM)
в контексте CALS-технологий и её влияние на качество
функционирования информационных систем.
10. Какие инструменты и технологии автоматизации процессов
оценки качества функционирования информационных систем
рекомендуются современными CALS-концепциями?
11. Как CALS-технологии влияют на снижение издержек и
повышение конкурентоспособности предприятий, использующих
информационные системы?
12. Какие специфические риски возникают при внедрении CALSтехнологий в существующие корпоративные информационные
системы и как их минимизировать?