Certification. Лекция 7

1.

ISO 29119 – 1 (5). ISTQB CERTIFICATION
ЛЕКЦИЯ 7

2.

СТАНДАРТЫ
Стандарт (от англ. standard — образец, норма) так и рассматривается как эталон, шаблон, образец,
модель который берется как основа для сличения с ним других объектов или свойств.
Стандарт (standard): Нормативный документ, который разработан на основе согласия сторон и
утвержденный уполномоченным органом, в котором определяются для длительного и постоянного
пользования правила, характеристики или общие принципы, затрагивающие разные виды деятельности
или их результат. Задача этого документа достичь наилучшей степени упорядочения в заданной области.
Стандарты основываются на обобщенных результатах научных знаний, изучения практического опыта,
развития техники и направлены на достижение наибольшей выгоды для общества.

3.

ISO
Международная организация по стандартизации, ИСО (англ. International Organization for
Standardization, ISO; фр. Organisation internationale de normalisation, ISO) — международная организация,
занимающаяся выпуском стандартов.
Международная организация по стандартизации создана в 1946 году двадцатью пятью национальными
организациями по стандартизации, на основе двух организаций: ISA (International Federation of National
Standardizing Associations), учреждённой в Нью-Йорке в 1926 году (расформирована в 1942) и UNSCC
(United Nations Standards Coordinating Committee), учреждённой в 1944 году. Фактически её работа
началась с 1947 года. СССР был одним из основателей организации, постоянным членом руководящих
органов, дважды представитель Госстандарта избирался председателем организации. Россия стала
членом ИСО как правопреемник СССР. 23 сентября 2005 года Россия вошла в Совет ИСО.

4.

ПОРЯДОК РАЗРАБОТКИ СТАНДАРТОВ
Международный стандарт является результатом консенсуса между участниками организации ИСО. Он может использоваться
непосредственно или путём внедрения в национальные стандарты разных стран.
Международные стандарты разрабатываются техническими комитетами ИСО (ТК) и подкомитетами (ПК) в ходе шестистадийного процесса:
Стадия 1: Стадия предложения — Первый шаг в разработке международного стандарта — подтверждение того, что
конкретный международный стандарт необходим. Новое предложение (НП) направляется на голосование членам
соответствующего ТК или ПК, чтобы определить необходимость включения соответствующего пункта в программу работы.
Предложение принимается, если большинство У-членов ТК/ПК («участники») голосуют «за», и если, по крайней мере, пять Учленов заявляют о том, что примут активное участие в проекте. На этой стадии обычно назначается лидер проекта,
ответственный за данный пункт программы.
Стадия 2: Подготовительная стадия — Обычно для подготовки рабочего черновика ТК/ПК создаёт рабочую группу экспертов,
председателем (созывающим членом) которой является лидер проекта. Могут приниматься различные редакции рабочих
черновиков, до тех пор, пока рабочая группа не решит, что ею разработано наилучшее техническое решение рассматриваемой
проблемы. На этой стадии черновик передаётся вышестоящему комитету рабочей группы для прохождения фазы выработки
консенсуса.
Стадия 3: Стадия комитета — Как только первый черновик комитета готов, он регистрируется Главным Секретариатом ИСО.
Он рассылается для замечаний и, если необходимо, голосования У-членов ТК/ПК. Могут готовиться разные редакции
черновика комитета до тех пор, пока не будет достигнут консенсус по техническому содержанию текста. Как только консенсус
достигнут, текст окончательно редактируется для представления в качестве черновика международного стандарта (ЧМС).

5.

ПОРЯДОК РАЗРАБОТКИ СТАНДАРТОВ
Стадия 4: Стадия вопросов —Черновик международного стандарта (ЧМС) распространяется среди всех членов ИСО Главным
Секретариатом ИСО для голосования и замечаний в течение пяти месяцев. Он одобряется для представления в качестве
окончательной редакции черновика международного стандарта (ОЧМС), если две трети У-членов ТК/ПК высказываются «за»,
и не более одной четверти от общего количества голосов поданы «против». Если критерии одобрения не выполнены, текст
возвращается в исходный ТК/ПК для дальнейшего изучения, и исправленный документ снова публикуется для голосования и
замечаний в качестве черновика международного стандарта.
Стадия 5: Стадия одобрения — Окончательная редакция черновика международного стандарта (ОЧМС) распространяется
среди всех членов ИСО Главным Секретариатом ИСО для итогового голосования за/против в течение двух месяцев. Если в
этот период поступают технические замечания, на этой стадии они уже не рассматриваются, но регистрируются для анализа в
ходе будущего пересмотра данного международного стандарта. Текст одобряется для представления в качестве
окончательной редакции черновика международного стандарта (ОЧМС), если две трети У-членов ТК/ПК высказываются «за»,
и не более одной четверти от общего количества голосов поданы «против». Если эти критерии одобрения не выполнены,
стандарт возвращается в исходный ТК/ПК для пересмотра с учётом технических причин, представленных в поддержку голосов
«против».
Стадия 6: Стадия публикации — Когда окончательная редакция черновика международного стандарта одобрена, в итоговый
текст разрешается, при возникновении такой необходимости, вносить только небольшую редакторскую правку. Итоговый
текст отсылается в Главный Секретариат ИСО, который публикует данный международный стандарт.

6.

ISO 29119
В мае 2007 года ISO сформировал рабочую группу для разработки нового набора стандартов по тестированию
программного обеспечения. Это была новая предметная область для ISO, и первые три стандарта были
опубликованы в августе 2013 года. Эта инициатива тесно поддерживается IEEE и BSI, которые предоставили
существующие стандарты в качестве исходных документов для проекта (эти стандарты будут отменены по мере
публикации новых стандартов).
Новые стандарты ISO/IEC/IEEE 29119 по тестированию программного обеспечения в настоящее время состоят
из пяти частей. Первая охватывает "концепции и терминологию", вторая - "процессы тестирования", третья "документацию по тестированию", четвертая - "методы тестирования" и пятая - "тестирование на основе
ключевых слов". Существует также дополнительный стандарт (ISO/IEC 30363) по "оценке тестов", который
основан на части 2 "Процессы тестирования". Он был опубликован в августе 2015 года. В данном документе
описывается обоснование для разработки этих стандартов, ход их разработки и содержание различных частей.
Каждая из частей ISO/IEC/IEEE 29119 была выпущена в черновом варианте для ознакомления (и впоследствии
была обновлена на основе многих тысяч полученных комментариев) и уже используется в ряде
многонациональных организаций. Эти организации уже видят преимущества повторного использования четко
определенных процессов и документации, предоставляемых стандартами, отражающими текущую передовую
практику в отрасли.

7.

ОПИСАНИЕ
В ISO 25051 тестирование уже включало в себя среды тестирования, тестовую документацию, план
тестирования и многое другое. Но все же это был стандарт разработки ПО.
Были и другие стандарты, такие как IEEE 829 “Test Documentation”, IEEE 1008 “Software Unit Testing”, BS
7925-2 “Software Component Testing”.
Но, почему так важен именно ISO? Стандарт ISO это общемировой стандарт, который принимается во
многих странах мира. Если мы посмотрим на модель стандартов, то мы увидим, что многие стандарты
являются профессиональными, коммерческими, национальными, но никак не международными.
Тестирование еще никогда не имело свой собственный стандарт ISO, полностью описывающий процесс
тестирования!

8.

ОПИСАНИЕ
Стандарт включает в себя 4 части, каждая из которых рассматривает различные аспекты процесса
тестирования.
1 часть – Концепция и терминология
2 часть – Процесс тестирования
3 часть – Тестовая документация
4 часть – Технологии тестирования
5 часть – Keyword Driven Testing KDT
+ в дополнении ко второй части был выпущен ISO 33063 “Модель оценки процесса”

9.

KEYWORD DRIVEN TESTING
Keyword Driven Testing – это визуальное представление тестовых скриптов, когда каждому действию
(щелчок мышью, нажатие клавиш, выбор элементов списка и т.п.) сопоставляются ключевые слова
(доступна на TestComplete).
Итак, что же нам нового дал стандарт ISO?
А особо и ничего нового. По факту это получился стандарт, который собрали из всевозможных
стандартов IEEE, BS. Практически каждая часть основывается на том или ином профессиональном или
национальном стандарте.

10.

KEYWORD DRIVEN TESTING
Эта часть ISO/IEC/IEEE 29119 определяет эффективное и последовательное решение для тестирования, ориентированного на
ключевые слова, путем:
- введения в тестирование, управляемое ключевыми словами;
- предоставления эталонного подхода для реализации тестирования, управляемого ключевыми словами;
- определения требований к фреймворкам для тестирования с использованием ключевых слов, позволяющим тестировщикам
обмениваться своими рабочими элементами, такими как тестовые случаи, тестовые данные, ключевые слова или полные тестовые
спецификации;
- определение требований к инструментам, поддерживающим тестирование с использованием ключевых слов. Эти требования
могут применяться к любому инструменту, поддерживающему подход Keyword-Driven (например, средства автоматизации
тестирования, проектирования тестов и управления тестированием);
- определение интерфейсов и общего формата обмена данными для обеспечения того, чтобы инструменты разных производителей
могли обмениваться своими данными (например, тестовыми случаями, тестовыми данными и результатами тестирования);
- определение уровней иерархических ключевых слов и рекомендации по использованию иерархических ключевых слов. Это
включает описание конкретных типов ключевых слов (например, ключевые слова для навигации или для проверки значения) и
когда следует использовать "плоские" структурированные ключевые слова;
- предоставление начального списка примеров общих технических (низкоуровневых) ключевых слов, таких как "inputData" или
"checkValue". Эти ключевые слова могут быть использованы для определения тестовых случаев на техническом уровне и могут
быть объединены для создания ключевых слов бизнес-уровня по мере необходимости.

11.

КОНЦЕПЦИЯ И ТЕРМИНОЛОГИЯ
Рассмотрим, кратко, основные составляющие каждой части.
Итак, часть 1 – Концепция и терминология включает в себя описание того, что такое тестирование и
зачем оно нужно, подходы к процессу, роль тестирования в жизненном цикле ПО, в общем все основное,
что вам могут рассказывать на вводных занятиях по тестированию. Основой для первой части послужил
стандарт BS 7925-1.
ISO/IEC/IEEE 29119-1 был подготовлен Объединенным техническим комитетом ISO/IEC JTC 1,
Информационные технологии, Подкомитетом SC 7, Программное обеспечение и системная инженерия, в
сотрудничестве с Комитетом по стандартам системной и программной инженерии Компьютерного
общества IEEE, в рамках соглашения о сотрудничестве между ISO и IEEE о партнерской организации по
разработке стандартов.

12.

КОНЦЕПЦИЯ И ТЕРМИНОЛОГИЯ
Настоящее второе издание отменяет и заменяет первое издание (ISO/IEC/IEEE 29119-1:2013), которое было
технически пересмотрено.
Основные изменения заключаются в следующем:
- Были удалены термины тестирования и их определения, которые не рассматриваются в данном документе. Это привело
к тому, что данный документ был переименован из "Концепций и определений" в "Общие концепции".
- Охват концепций тестирования стал более кратким и упорядоченным.
- Концепция тестовых подпроцессов была удалена из-за ее сложности и заменена дополнительным освещением
инстанцирования тестовых процессов.
- Ожидаемое содержание стратегии тестирования было уточнено.
- Описан упрощенный процесс разработки тестов, при этом создание тестовых случаев теперь основывается на тестовых
моделях, а не на условиях тестирования.
- Охват метрик и мер был перенесен из приложения в основную часть документа.
- Приложение, объясняющее, как тестирование вписывается в различные модели жизненного цикла, было удалено.
- Добавлено новое приложение, содержащее примеры того, как системы из различных областей ассоциируются с
определенными характеристиками и подходами к тестированию.

13.

ПРОЦЕСС ТЕСТИРОВАНИЯ
Часть 2 становится уже более насыщенной, в ней начинают рассматривать вопросы организации,
управления и выполнения процесса тестирования, которые в большей степени являются общепринятыми
практиками в области тестирования ПО. В этой части видно влияние ISTQB, TMMI, т.к. многие аспекты
процесса тестирования полностью идентичны.

14.

ПРОЦЕСС ТЕСТИРОВАНИЯ
Этот документ определяет процессы тестирования, которые могут быть использованы для управления,
руководства и реализации тестирования программного обеспечения для любой организации, проекта
или деятельности по тестированию. Он включает в себя общие описания процессов тестирования,
которые определяют процессы тестирования программного обеспечения. Также приводятся
вспомогательные информативные диаграммы, описывающие процессы.
Данный документ применим к тестированию во всех моделях жизненного цикла разработки
программного обеспечения.
Документ предназначен для тестировщиков, менеджеров по тестированию, разработчиков и
менеджеров проектов, особенно для тех, кто отвечает за управление, руководство и внедрение
тестирования программного обеспечения.

15.

ТЕСТОВАЯ ДОКУМЕНТАЦИЯ
Часть 3 по факту является частичной копией IEEE 829 и также рассматривает тестовую документацию, но
охват документации действительно впечатляет. В отличии от IEEE829, где рассматривается понятие
“Master Test Plan” и “Level Test Plan”, в ISO уже рассматривают привычные нам по TMMI и ISTQB понятия
“Политики тестирования” и “Стратегии тестирования”.
Дополнительно разделены понятия проектного тест-плана и релизного тест-плана. Также,
рассматриваемые в IEEE 829 тестовая документация в виде тест-кейса и тест дизайна, не попали в ISO и
это большой плюс, т.к. это рассматривается в 4 части. Но зато мы имеем хорошее описание отчета о
завершении тестирования и отчета по тестовым средам.

16.

ТЕСТОВАЯ ДОКУМЕНТАЦИЯ
Этот документ определяет шаблоны документации по тестированию программного обеспечения,
которые могут быть использованы для любой организации, проекта или деятельности по тестированию.
Он описывает тестовую документацию, которая является результатом процессов, указанных в
ISO/IEC/IEEE 29119-2.
Этот документ применим к тестированию во всех моделях жизненного цикла разработки программного
обеспечения. Документ предназначен для тестировщиков, менеджеров по тестированию, разработчиков
и менеджеров проектов, особенно для тех, кто отвечает за управление, руководство и реализацию
тестирования программного обеспечения.

17.

18.

ТЕХНОЛОГИИ ТЕСТИРОВАНИЯ
И последняя часть, касаемая того тестирования, к которому мы привыкли – это 4 часть. Это часть
полностью посвящена технологиям тестирования и техникам тест дизайна. Сдавшим ISTQB Advanced
Level Test Analyst эта часть точно будет не интересная. Ничего нового в ней нет.
Данный документ определяет методы проектирования испытаний, которые могут быть использованы в
процессе проектирования и реализации испытаний, определенном в ISO/IEC/IEEE 29119-2.
Каждая методика следует процессу разработки и реализации испытаний, который определен в
ISO/IEC/IEEE 29119-2 и показан на рисунке. Этот документ предназначен для тестировщиков, менеджеров
по тестированию и разработчиков, особенно для тех, кто отвечает за управление и реализацию
тестирования программного обеспечения, но не ограничивается ими.

19.

ТЕХНОЛОГИИ ТЕСТИРОВАНИЯ

20.

ОБСУЖДЕНИЕ
Мировые гуру тестирования стали сомневаться в компетентности данного стандарта. И действительно!
Джеймс Бах, работавший в тестировании таких мировых гигантов, как Apple, Computer, Borland, сказал:
“ISO утверждает, что появился новый стандарт по тестированию ПО. Но ISO 29119 не является
стандартом для тестирования. Но это не может быть стандартом тестирования. Стандарт для
тестирования ПО должен отражать ценности и практики мирового сообщества тестировщиков.”
Возможно это обида, но Сэм Канер, один из соавторов IEEE, соавтор концепции context-driven testing,
поддержал, сказав:
“Если ISO 29119 приняли и оно получило признание в широком кругу, как описание лучших практик для
тестирования ПО, то context-driven testing может быть примером того, как не стоит делать и все
другие способы мышления вы не должны принимать, как правильный подход.“

21.

ПРИНЦИПЫ CONTEXT-DRIVEN TESTING
Context-driven testing – это подход, который ориентирован на использование фокуса (или контекста) при
выполнении тестирования ПО, где в первую очередь влияет время, стадия и цель проекта (ПО).
1.
Значение любой практики зависит от контекста
2.
Существуют хорошие практики, но нет наилучшей
3.
Люди работающие вместе – самая главная часть любого проекта
4.
Зачастую проекты развиваются непредсказуемо
5.
Продукт – это решение. Если проблема не решена, то продукт не работает
6.
Хорошее тестирование ПО – это сложный интеллектуальный процесс
7.
Для того, чтобы эффективно тестировать продукты, мы должны делать правильные вещи в правильное время и
обязательно с помощью осуждения (обсуждения) и знаний, которые вырабатываются сообща на протяжении всего
проекта

22.

ВИДЕО ПРЕЗЕНТАЦИЯ
https://www.youtube.com/watch?v=c4W-jWRldj0

23.

ЗАКЛЮЧЕНИЕ АВТОРА СТАТЬИ
Да, то, что появился стандарт в области тестирования, это хорошо, но во-первых, то, что он использует
общепринятие практики и в принципе никак не описывает процесс тестирования как минимум в гибкой
методологии – это не правильно.
Во-вторых, возникает мысль того, что этот стандарт просто очередная возможность набить
карманы получить деньги. Делать стандарт платным? Зачем? Ну кроме, как наживиться, другого в голову
не приходит.
Ну и в третьих, честно сказать, ничего нового стандарт ISO не открыл.
Отсюда скажу – стандартизация ISO процесса тестирования – это хороший шаг вперед, определяя
процесс тестирования, как независимый от разработки процесс, но то, как этот стандарт реализовали,
это ни в какие ворота не лезет.
Все мировые компании пользуются стандартами ISTQB, TMMI, TPI и с выходом ISO 29119 ничего не
изменилось.
Продолжаем работать, как работали.

24.

ISTQB
Что такое ISTQB, уровни сертификации ISTQB и так ли вам это необходимо
ISTQB – некоммерческая организация, которая занимается вопросами развития сферы тестирования ПО,
основана представителями 8 стран: Австрии, Дании, Финляндии, Германии, Швеции, Швейцарии,
Нидерландов и Великобритании.
ISTQB Сертификация Тестировщика – программа, которая позволяет специалистам получать
международный сертификат по тестированию.
На декабрь 2018 года организацией ISTQB было проведено 830 000+ экзаменов и выдано более 605 000+
сертификатов, которые признаются в 126 странах мира.

25.

ISTQB
Какой ISTQB выбрать?
Для начала разберемся с вариантами сертификации специалистов по тестированию. ISTQB предлагает 3
уровня сертификации и 3 направления для каждого из уровней согласно матрице:

26.

27.

ISTQB
1. Уровень Foundation (F) направления Сore – основа для любого сертификата более высокого уровня.
2. Уровень F направления Specialist – для него предусмотрена узкоспециализированная сертификация:
usability, mobile application, performance, acceptance, model-based тестирование и др.
3. Уровень F и Advanced (AD) направления Agile – спрос на сертификаты такого образца за последние 2
года вырос более чем на 20%.

28.

ISTQB
4. Уровень AD – предусмотрена сертификация для/по:
— тест-менеджеров;
— инженеров по автоматизации тестирования;
— тест-аналитике;
— технической тест-аналитике;
— тестированию безопасности.
5. Уровень Expert (EX) – предполагает сертификацию по направлениям тест-менеджмент и улучшение
процесса тестирования.

29.

ISTQB

30.

ПРЕИМУЩЕСТВА
С точки зрения Qa-специалиста сертификация – это:
1. Прежде всего подтверждение квалификации и профпригодности международными экспертами в
области тестирования, а это, в свою очередь, открывает доступ к новым рынкам труда. На
международном уровне сертификат признается в 126 странах мира – рай для удаленной работы или
предпосылка к переезду.
2. Повышение конкурентоспособности на рынке труда: хотя большинство работодателей и не требует
сертификат ISTQB у соискателей, порядка 55% тест-менеджеров отмечают, что хотели бы иметь 100%-й
штат сертифицированных специалистов (исследование ISTQB_Effectiveness_Survey_2016-17).

31.

ПРЕИМУЩЕСТВА
3. Уверенность в завтрашнем дне. Сертификат не гарантирует топовую зарплату при трудоустройстве или
автоматическое продвижение по работе, зато является своеобразной «несгораемой суммой», ниже
которой ваш труд не оценят.
4. Расширение и систематизация знаний в области QA. Сертификация – отличный способ для QA-
специалиста нарастить и обогатить знания по тестированию. А если вы матерый тестировщик, то
обновить и упорядочить знания в предметной области, в том числе за счет международных стандартов и
методологий отрасли.

32.

ПРЕИМУЩЕСТВА
С точки зрения компании сертификация – это:
1. Дополнительное конкурентное преимущество на рынке: компании с штатом сертифицированных
экспертов на порядок реже предоставляют некачественные консалтинговые и QA-услуги, что
положительно сказывается на репутации и потоке новых заказов.
2. Бонус при участии в крупных тендерах: наличие сертифицированных специалистов дает преимущество
компаниям при участии в конкурсном отборе применительно к тендерам.
3. Снижение рисков: наличие сертификата говорит о том, что специалисты владеют методологией
тестирования, а это снижает риски проведения некачественного тест-анализа и может повысить скорость
тестирования за счет оптимизации числа тестовых сценариев.

33.

ПРЕИМУЩЕСТВА
4. Преимущества на международном рынке при оказании услуг по тестированию ПО, предназначенного
для иностранных клиентов и иностранного ПО.
5. Рост компетенций внутри компании за счет наставничества и обучения несертифицированных
специалистов признанным международным стандартам в области тестирования.

34.

QNA
–Что тебя мотивировало на получение этого сертификата?
– Это необходимое требование за границей, чтобы устроиться в серьезную компанию тестировщиком.
Я тогда жила в Новой Зеландии, меня взяли на работу в организацию, которая выпускает систему
контроля анестезии для операционных комнат. Система утверждена правительством НЗ, поэтому
было обязательное требование, чтобы тестировщик был сертифицирован. Компания оплатила сдачу
моих обоих сертификатов. От меня требовалось только подготовиться и сдать.

35.

QNA
– Какие преимущества и недостатки лично ты видишь в сертификации ISTQB?
– Преимущества неоспоримы, этот сертификат требовали везде при устройстве на работу. А наличие
продвинутого сертификата в тест-анализе потом стало пропуском для работы в министерстве
экономики НЗ и далее – в дочерней компании Майкрософта.
Недостатки тут – только высокая цена. Если сертификат не оплачивается компанией, то стоимость
ощутимая. Когда я сдавала, обычный стоил 300 долларов, а продвинутый – 450.

36.

QNA
– Твое мнение и отношение к сертификации ISTQB?
– По моему опыту этот сертификат в России получают в основном сотрудники компаний,
участвующих в тендерах. Что касается проверки уровня знаний в ходе сертификации, считаю, что это
хорошая подготовка.

37.

QNA
– Какие преимущества и недостатки лично ты видишь в сертификации ISTQB FL?
– Основной плюс: человеку хватило терпения изучить и сдать теорию – значит, он стремится к
обучению, сможет освоиться на новых проектах и задачах.
Главный недостаток – это устаревшая программа курса (2011 г.). Многие термины уже не используются
в практике.

38.

QNA
– Как ты готовилась?
– Скачала бесплатные учебники с официального сайта и по ним подготовилась. К первому общему
экзамену готовилась 3 дня, ко второму продвинутому – 2 недели.
Тут надо сказать, что мой опыт подойдет не всем, т.к. по образованию я разработчик. И к тому
моменту я 2 года занималась разработкой ПО, прежде чем уйти в тестирование. К тому же у меня
английский практически на уровне носителя языка, поэтому для меня не было проблемой готовиться и
сдавать экзамены на английском.