Разработка тестов: техники тест-дизайна

1. Тестирование программных продуктов

«Разработка тестов (Test
case design)»
СПб 2025, Набока О.А.

2. Разработка ПО

Техники тест-дизайна
Разработка ПО
Что такое процесс
разработки ПО?
Какие основные
этапы можно
выделить?

3. Разработка ПО - Тестирование ПО

Техники тест-дизайна
Разработка ПО - Тестирование ПО
Планирование
процесса
разработки ПО
Сбор и анализ
требований
Разработка
архитектуры
Кодирование
(разработка)
Тестирование
Документирование
Внедрение
Сопровождение

4. Тестирование ПО

Техники тест-дизайна
Тестирование ПО
Что такое Тестирование
ПО?
➢
Проверка ПО на
соответствие
требованиям к данному ПО
Выявление
несоответствий, т.е.
дефектов
➢ Определение степени
соответствия
➢

5. Тестирование ПО – разработка тестов

Техники тест-дизайна
Тестирование ПО – разработка тестов
Планирование
процесса
тестирования
Разработка
тестов
Выполнение
тестов
Верификация
исправленных
дефектов
Отчеты
метрики

6. Разработка тестов

Техники тест-дизайна
Разработка тестов
Как можно «обнаружить» тест?

7. Разработка тестов

Техники тест-дизайна
Разработка тестов
➢
➢
➢
➢
➢
➢
➢
➢
Тщательное изучение и анализ требований
Декомпозиция требований\функций
Выявление всех входных и выходных данных, результатов
(что)
Анализ поведения, условий, ограничений (как)
Использование различных техник для выделения
определенных тестов
Использование накопленных знаний о выполненных
проектах (оттестированных продуктах)
Анализ\просмотр ранее выявленных тестов
Интуиция

8. Стратегии тестирования (разработки тестов)

Техники тест-дизайна
Стратегии тестирования (разработки тестов)
«Черный ящик» (black-box testing)

9. Стратегии тестирования (разработки тестов)

Техники тест-дизайна
Стратегии тестирования (разработки тестов)
➢ «Черный ящик» (‘black-box’)
Входные данные,
условия
Логика реализации - код
(не рассматривается,
не используется при создании тестов)
Требования
Выходные данные,
результаты
Тесты

10. «Черный ящик» - техники разработки тестов

Техники тест-дизайна
«Черный ящик» - техники разработки тестов
Разбиение на классы эквивалентности
➢ Анализ граничных значений
➢ Таблицы решений
➢ Функциональные диаграммы
➢ Предположение об ошибках
➢

11. «Черный ящик» - техники разработки тестов

Техники тест-дизайна
«Черный ящик» - техники разработки тестов
➢ Разбиение на классы эквивалентности
(Эквивалентное разбиение (Майерс, ISTQB)
Классы эквивалентности (Канер)
Equivalence portioning
Equivalence Class Testing)

12. «Черный ящик» - техники разработки тестов

Техники тест-дизайна
«Черный ящик» - техники разработки тестов
➢ Разбиение на классы эквивалентности
Суть: если мы выделим эквивалентные данные - соответствуют одним и тем же
критериям и обрабатываются программой одинаково (ожидается один и тот же
результат обработки), тогда с определенной высокой вероятностью можно
утверждать, что если программа будет обрабатывать одно из значений класса
некорректно, то и другое значение будет обрабатываться также некорректно.
Т.е. если при выполнении тест-кейса с одним из значений из класса обнаруживается
дефект, то и для любого другого значения из класса этот тест-кейс обнаружит такой
же дефект. Следовательно, достаточно одного теста на каждый класс.
! При условии верного выделения классов эквивалентности.

13. Разбиение на классы эквивалентности

Техники тест-дизайна
Разбиение на классы эквивалентности
➢
Шаг 1 Выделение классов эквивалентности
➢
➢
➢
➢
➢
Анализируем требования
Выявляем все входные и выходные данные
(рассматриваем любые элементы данных)
Выделяем эквивалентные множества (классы
эквивалентности) - группы данных, которые
обрабатываются схожим образом
Множества (классы) не должны пересекаться и не
должны быть пустыми
Различаем два типа классов: правильные (позитивные) и
неправильные (негативные)

14. Разбиение на классы эквивалентности

Техники тест-дизайна
Разбиение на классы эквивалентности
➢
Шаг 1 Выделение классов эквивалентности
➢
➢
правильные классы эквивалентности
(корректные данные)
неправильные классы эквивалентности
(ошибочные данные)

15. Разбиение на классы эквивалентности

Техники тест-дизайна
Разбиение на классы эквивалентности
❖
Правильные классы эквивалентности
правильный класс для каждого корректного значения
(комбинации корректных значений)

16. Разбиение на классы эквивалентности

Техники тест-дизайна
Разбиение на классы эквивалентности
❖
Неправильные классы эквивалентности
в одном неправильном классе эквивалентности одно
некорректное значение (одно нарушение требования)
*комбинация неверных значений в тест-кейсе не дает возможности при выполнении тесткейса точно определить, какое из некорректных значений программа обработала неверно

17. Разбиение на классы эквивалентности

Техники тест-дизайна
Разбиение на классы эквивалентности
➢
Шаг 2 Выявление тестов (тест-кейсов)
➢
правильные классы эквивалентности > один
тест-кейс на каждый класс
*если есть корректные значения в виде списка, то необходимо проверить каждый элемент списка в
отдельном тест-кейсе
➢
неправильные классы эквивалентности > один
тест-кейс на каждый класс

18. Разбиение на классы эквивалентности – пример 1

Техники тест-дизайна
Разбиение на классы эквивалентности – пример 1
Задание: применить технику разбиения на классы эквивалентности (шаг за шагом). Зафиксировать количество тест-кейсов,
которые получатся после применения техники (описывать тест-кейсы не нужно). Описание классов должно быть понятным,
полным, однозначным.
Описание требований: для сложения двух чисел необходимо ввести два значения – одно значение в поле ‘А:’ и одно
значение в поле ‘Б:’. Длина значения не более 6 (включая 6). Значение может содержать только арабские цифры и должно
быть целым, положительным числом. После ввода значений программа отобразить результат сложения.
Шаг 1
Правильные классы эквивалентности:
1.
А = арабские цифры, длина от одного до 6, включительно (целое положительное число) и В = арабские цифры, длина от
одного до 6 , включительно (целое положительное число).

19. Разбиение на классы эквивалентности – пример 1

Техники тест-дизайна
Разбиение на классы эквивалентности – пример 1
[Описание требований: для сложения двух чисел необходимо ввести два значения – одно значение в поле ‘А:’ и одно
значение в поле ‘Б:’. Длина значения не более 6. Значение может содержать только арабские цифры и должно быть целым,
положительным числом. После ввода значений программа отобразить результат сложения.]
Неправильные классы эквивалентности:
1.
А = арабские цифры, длина от одного до 6, включительно, целое положительное число и В = арабские цифры, длина не
от одного до 6, целое положительное число.
2.
А = арабские цифры, длина не от одного до 6, целое положительное число и В = арабские цифры, длина от одного до
6, включительно, целое положительное число.
3.
А = арабские цифры, длина от одного до 6, включительно, целое положительное число и В = арабские цифры, длина от
одного до 6, включительно, есть не только арабские цифры (не число).
4.
А = арабские цифры, длина от одного до 6, включительно, есть не только арабские цифры (не число) и В = арабские
цифры, длина от одного до 6, включительно, целое положительное число.
5.
А = арабские цифры, длина от одного до 6, включительно, целое положительное число и В = арабские цифры,
положительное, но не целое число, длина от одного до 6, включительно.
6.
А = арабские цифры, положительное, но не целое число, длина от одного до 6, включительно и В = арабские цифры,
длина от одного до 6, включительно, целое положительное число.
7.
А = арабские цифры, длина от одного до 6, включительно, целое положительное число и В = арабские цифры, но целое
отрицательное число, длина от одного до 6, включительно.
8.
А = арабские цифры, но целое отрицательное число, длина от одного до 6, включительно и В = арабские цифры, длина
от одного до 6, включительно, целое положительное число.

20. Разбиение на классы эквивалентности – пример 1

Техники тест-дизайна
Разбиение на классы эквивалентности – пример 1
Шаг 2
Правильные классы – один тест-кейс (например, А=456 и В=28)
Неправильные классы – один тест-кейс на каждый неправильный класс (например, А=1075 и В=20085934;
А=456536444 и В=4448; А=1075 и В=2I5934; А=44V4 и В=4448; А=9356 и В=2.8; А=0,56 и В=28345; А=916 и В=448; А=-576 и В=28345)
! Помним о том, что одна техника не дает нам все необходимые тесты. В реальности, дополнительно к
технике разбиения на классы эквивалентности применяем остальные и добавляем тесты.

21. Разбиение на классы эквивалентности – пример2

Техники тест-дизайна
Разбиение на классы эквивалентности – пример2
Задание: применить технику разбиения на классы эквивалентности (шаг за шагом). Зафиксировать количество тест-кейсов,
которые получатся после применения техники (описывать тест-кейсы не нужно). Описание классов должно быть понятным,
полным, однозначным.
Описание требований: длина = 5, допускаются строчные и заглавные буквы латинского алфавита, цифры (арабские).
Обязательно должна быть, как минимум, одна заглавная буква латинского алфавита.
Шаг 1
Правильные классы эквивалентности:
1.
2.
3.
4.
Длина равна 5, есть и строчные и заглавные буквы латинского алфавита, есть арабские цифры
Длина = 5, есть и строчные буквы латинского алфавита и заглавные буквы латинского алфавита. Нет цифр
Длина - 5 символов, есть заглавные буквы латинского алфавита и арабские цифры. Нет строчных букв латинского
алфавита.
Длина = 5, есть только заглавные буквы латинского алфавита. Нет цифр, нет строчных букв латинского алфавита.

22. Разбиение на классы эквивалентности – пример2

Техники тест-дизайна
Разбиение на классы эквивалентности – пример2
Описание требований: длина = 5, допускаются только строчные и заглавные буквы латинского алфавита, цифры
(арабские). Обязательно должна быть, как минимум, одна заглавная буква латинского алфавита.
Шаг 1
Неправильные классы:
1.
2.
3.
4.
Длина не равна 5, есть и строчные буквы латинского алфавита и заглавные буквы латинского алфавита, есть арабские
цифры
Длина равна 5, есть строчные буквы латинского алфавита и арабские цифры. Нет заглавных букв латинского
алфавита.
Длина = 5, есть и строчные буквы латинского алфавита и заглавные буквы латинского алфавита, есть арабские цифры.
Есть буквы не латинского алфавита.
Длина = 5, есть и строчные буквы латинского алфавита и заглавные буквы латинского алфавита, есть арабские цифры.
Есть символ, удовлетворяющий условию «не буква, не арабская цифра»

23. Разбиение на классы эквивалентности – пример2

Техники тест-дизайна
Разбиение на классы эквивалентности – пример2
Шаг 2
Правильные классы – четыре тест-кейса (например, с тестовыми значениями D1f3n, PurQy, G45Z6, JKLUI)
Неправильные классы – четыре тест-кейса (например, с тестовыми значениями A2f6b7e, v89t0, 4H5xш, 1yP3.).
! Помним о том, что одна техника не дает нам все необходимые тесты. В реальности, дополнительно к технике
разбиения на классы эквивалентности применяем остальные и добавляем тесты.

24. Разбиение на классы эквивалентности – пример неправильного оформления результатов

Техники тест-дизайна
Разбиение на классы эквивалентности – пример неправильного оформления
результатов
Правильные значения:
1) A567cfgh
2) Есть буквы латинского алфавита, одна и более цифр, один
спец. Символ из списка. Общее количество символов больше или
равно 6 и меньше или равно 10.
⚫ Тесты:
1) Отсутствуют заглавные буквы латинского алфавита.
2) Lat +\Num+\Symb⚫
>> классы описаны не полностью, неточно (например, «символ из списка» – из какого
списка?)
>> заголовки - мы не выделяем правильные значения или тесты, но правильные и
неправильные классы эквивалентности
>> в описании используются сокращения, служебные обозначения и т.п.

25. «Черный ящик» - техники разработки тестов

Техники тест-дизайна
«Черный ящик» - техники разработки тестов
➢
Анализ граничных значений
(Граничные значения
Boundary Value
Boundary Value Testing)
Граничные значения\условия – это значения на границе и рядом с
границами классов эквивалентности (входных и выходных).
Обычно техника анализа граничных значений применяется совместно с
техникой разбиения на классы эквивалентности.

26. «Черный ящик» - техники разработки тестов

Техники тест-дизайна
«Черный ящик» - техники разработки тестов
➢
Анализ граничных значений
Суть: анализируются и проверяются граничные значения по причине того, что разработчики
могут допустить ошибки при использовании знаков сравнения (>, <, >=, <=). Техника позволяет
находить дефекты там, где используются неверные знаки, т.е. программная реализация не
соответствует требованиям по ограничению значений и не только.

27. Анализ граничных значений

Техники тест-дизайна
Анализ граничных значений
Шаг 1
➢
Идентифицировать граничные значения для каждого
входного\выходного значения (класса эквивалентности)
➢ значение на границе
➢ значение, меньшее граничного («у границы»\’below
point’)
➢ значение, большее граничного («за границей» \’above
point’)
Примеры:
➢
➢
Максимальная длина слова – 5 символов
>> Граничные значения для проверки: 4,5,6
Область выходных значений: минимум расхода 0.00, максимум 2000.00 (от 0.00 до 2000.00)
>> Граничные значения для проверки -0.01, 0.00, 2000.00, 2000.01

28. Анализ граничных значений

Техники тест-дизайна
Анализ граничных значений
Шаг 2
➢
Для каждого граничного значения разработать тест-кейс
Примеры:
➢
➢
Максимальная длина слова – 5 символов
>> Граничные значения для проверки: 4,5,6 >>> три тест-кейса
Область выходных значений: минимум расхода 0.00, максимум 2000.00 (от 0.00 до 2000.00)
>> Граничные значения для проверки -0.01, 0.00, 2000.00, 2000.01 >>> четыре тест-кейса

29. Анализ граничных значений

Техники тест-дизайна
Анализ граничных значений
❖
Граничные значения: «точка»: Z
-> Z-1, Z, Z+1
❖
Граничные значения: «область
корректных значений»: [x, y]
-> x-1, x, y, y+1
*учитываем тип данных

30. «Черный ящик» - техники разработки тестов

Техники тест-дизайна
«Черный ящик» - техники разработки тестов
➢
Таблица решений
(Decision Table)
➢
техника используется для анализа и создания тестов к реализации требований, которые
описывают различные условия, комбинации которых приводят к определенным действиям;
➢
обеспечивает наглядный формализованный подход к определению всех возможных
комбинаций условий (представлению сложных логических правил - например, бизнесправил) и не упустить их из вида;
➢
позволяет, в том числе, найти неполноту или противоречия в требованиях.

31. «Черный ящик» - техники разработки тестов

Техники тест-дизайна
«Черный ящик» - техники разработки тестов
➢
Таблица решений
(Decision Table)
Суть: зафиксированные в таблице решений исходные условия и действия в строках
анализируются для определения правил, задающих уникальную комбинацию условий, а также
относящиеся к нему действия. Каждый столбец, в результате, – это одно правило, для
которого разрабатывается один тест-кейс.
*полученные таблицы решений могут быть минимизированы (есть определенный подход), если наблюдается
нехватка времени на тестирование, или может быть применен подход выбора правил (тестов) на основе оценки
рисков.

32. Таблицы решений

Техники тест-дизайна
Таблицы решений
➢
Шаг 1 - условия
Тщательно анализируем требования и выявляем все условия без
учета связей между ними и действиями – фиксируем каждое условие
в отдельной строке в разделе ‘Условия:’.
Условия:
Условие 1
Условие 2

33. Таблицы решений

Техники тест-дизайна
Таблицы решений
➢
Шаг 2 - действия
Тщательно анализируем требования и выявляем все действия без
учета связей с условиями – фиксируем каждое действияе в
отдельной строке в разделе ‘Действия:’.
Условия:
Условие 1
Условие 2
Действия:
Действие 1
Действие 2

34. Таблицы решений

Техники тест-дизайна
Таблицы решений
➢
Шаг 3 – правила
➢
Тщательно анализируем требования и определяем уникальные
комбинации, которые приводят к выполнению ожидаемых
результатов – каждая комбинация и соответствующее действие в
отдельном столбце
Условия:
Условие 1
Правило1
Правило2
Правило3
Правило4
да
да
нет
нет
Условие 2
нет
да
да
нет
Действия:
Действие 1
Действие 2
да
нет
нет
да
нет
да
да
нет

35. Таблицы решений

Техники тест-дизайна
Таблицы решений
➢
Шаг 3 - правила
В столбцах можно использовать обозначения:
«T» («true», истина)\’Да’\1 - обозначает выполнение условия.
«F» («false», ложь)\’Нет’\0 - обозначает невыполнение условия.
>> бинарная форма таблицы

36. Таблицы решений

Техники тест-дизайна
Таблицы решений
➢
Шаг 4 – тест-кейсы
➢
Создать тест кейс для каждого правила (столбца) – один,
если условия бинарные.
*если условие – интервал значений, применяем технику Анализ граничных значений.

37. Таблицы решений - пример

Техники тест-дизайна
Таблицы решений - пример
➢
Пример: в ВУЗе при определенных условиях стипендия может быть повышенной или не выплачиваться вовсе. Если
семестр завершен на отлично и студент участвовал хотя бы в двух внеучебных вузовских мероприятиях, то
дополнительно выплачивается 50% от базовой ставки стипендии. Если семестр завершен на отлично, но студент
не участвовал ни в одном внеучебном вузовском мероприятии, то дополнительно выплачивается 30% от базовой
ставки стипендии. Если семестр завершен без троек, но с четверками и студент участвовал хотя бы в двух
внеучебных вузовских мероприятиях, то дополнительно выплачивается 20% от базовой ставки стипендии. Если
семестр завершен без троек, но с четверками, и студент не участвовал ни в одном внеучебном вузовском
мероприятии, то дополнительно выплачивается 10% от базовой ставки стипендии.
Условия:
Тест1
Тест2
Тест3
Тест4
Тест5
Тест6
Семестр завершен на отлично
да
да
нет
нет
нет
нет
Семестр завершен без троек, но
с четверками
нет
нет
да
да
нет
нет
Участие в 2х мероприятиях
да
нет
да
нет
да
нет
Дополнительно 50% к стипендии
да
нет
нет
нет
нет
нет
Дополнительно 30% к стипендии
нет
да
нет
нет
нет
нет
Дополнительно 20% к стипендии
нет
нет
да
нет
нет
нет
Дополнительно 10% к стипендии
нет
нет
нет
да
нет
нет
Действия:

38. «Черный ящик» - техники разработки тестов

Техники тест-дизайна
«Черный ящик» - техники разработки тестов
➢ Метод функциональных диаграмм
(Диаграммы причинно-следственных связей
Cause-Effect Graphing)
➢ применяется для «сложных» требований, допускающих большое
количество комбинаций входных условий и результатов
➢ предлагает способ перевода спецификаций, написанных на
естественном языке, на язык формальный
➢ способствует проектированию высоко-результативных тестов, не
страдающих избыточностью, и обнаруживающих случаи неполноты и
неоднозначности во входных спецификациях

39. Метод функциональных диаграмм

Техники тест-дизайна
Метод функциональных диаграмм
➢ 1. Разбить внешние спецификации на отдельные
функции, которые будут тестироваться (декомпозиция
функциональных требований)
➢ 2. Идентифицировать явные и неявные причины
(условия на входе) и присвоить каждой из них
уникальный номер
➢ 3. Идентифицировать явные и неявные
эффекты(следствия) (действия на выходе) и
присвоить каждому из них уникальный номер
➢ 4. Перевести семантику спецификации в граф
«причина-следствие» (Boolean cause-effect graphing)
➢ 5. Добавить информацию о невозможных комбинация
причин\эффектов
➢ 6. Построить таблицу решений (бинарные значения)
➢ 7. Записать тест кейс для каждого столбца

40. Метод функциональных диаграмм – Пример1

Техники тест-дизайна
Метод функциональных диаграмм – Пример1
Шаг 1 (выполнен заранее, выделена функция расчета премии)
-> Требования для расчета страховой премии:
Для женщин моложе 65, премия составляет $500
Для мужчин моложе 25, премия составляет $3000
Для мужчин старше 25, но моложе 65, премия составляет
$1000
Для женщин и мужчин старше 64, премия составляет $1500

41. Метод функциональных диаграмм – Пример1

Техники тест-дизайна
Метод функциональных диаграмм – Пример1
Шаг 2
Причины (Causes (input conditions)):
1. Пол: мужской
2. Пол: женский
3. Возраст: <25
4. Возраст: >=25 и < 65
5. Возраст: >= 65

42. Метод функциональных диаграмм – Пример1

Техники тест-дизайна
Метод функциональных диаграмм – Пример1
Шаг 3
Следствия (Effects (output conditions)):
100. Премия = $1000
101. Премия = $3000
102. Премия = $1500
103. Премия = $500

43. Метод функциональных диаграмм – Пример1

Техники тест-дизайна
Метод функциональных диаграмм – Пример1
Шаг 4
Причина: 1. Пол: мужской and 4. Возраст: >=25 and < 65
Следствие: 100: Премия = $1000
CEG # 1

44. Метод функциональных диаграмм – Пример1

Техники тест-дизайна
Метод функциональных диаграмм – Пример1
Причина: 1. Пол: мужской and 3. Возраст: < 25
Следствие: 101: Премия = $3000
CEG # 2

45. Метод функциональных диаграмм – Пример1

Техники тест-дизайна
Метод функциональных диаграмм – Пример1
Причина: 1. Пол: мужской and 5. Возраст: >= 65 or 2. Пол:
женский and 5. Возраст: >= 65
Следствие: 102: Премия = $1500
CEG # 3

46. Метод функциональных диаграмм – Пример1

Техники тест-дизайна
Метод функциональных диаграмм – Пример1
Причина: 2. Пол: женский and 3. Возраст: < 25 or 2. Пол: женский
and 4. Возраст: >=25 and < 65
Следствие: 103: Премия = $500
CEG # 4

47. Метод функциональных диаграмм – Пример1

Техники тест-дизайна
Метод функциональных диаграмм – Пример1
Шаг 5
(добавили ---- невозможные комбинации, пример: комбинация условий 1 и 2)
Причина: 1. Пол: мужской and 5. Возраст: >= 65 or 2. Пол:
женский and 5. Возраст: >= 65
Следствие: 102: Премия = $1500
CEG # 3

48. Метод функциональных диаграмм – Пример1

Техники тест-дизайна
Метод функциональных диаграмм – Пример1
Шаг 6 (по финальной диаграмме строим таблицу решений)
Причины:
Тест1
Тест2 Тест3 Тест4
Тест5
Тест6
1 Пол: мужской
1
1
1
0
0
0
2 Пол: женский
0
0
0
1
1
1
3 Возраст: < 25
1
0
0
0
1
0
4 Возраст: >= 25 and < 65
0
1
0
0
0
1
5 Возраст: >= 65
0
0
1
1
0
0
100 Премия = 1000$
0
1
0
0
0
0
101 Премия = 3000$
1
0
0
0
0
0
102 Премия = 1500$
0
0
1
1
0
0
103 Премия = 500$
0
0
0
0
1
1
Следствия:

49. Предположение об ошибке

Техники тест-дизайна
Предположение об ошибке
➢ Предположение об ошибке (Error Guessing)
➢ Этот метод в значительной степени является интуитивным.
➢ Тест инженер использует свои знания системы и способность
к интерпретации спецификации на предмет того, чтобы
"предугадать" при каких входных условиях система может
выдать ошибку.
➢ Перечислить в некотором списке возможные ошибки или
ситуации, в которых они могут появиться, а затем на основе
этого списка написать тесты.

50.

Техники тест-дизайна
Дополнительно - Литература
1. Майерс, Гленфорд Дж. Искусство тестирования программ
2. Канер Сем, Фолк Джек, Нгуен Енг Кек Тестирование
программного обеспечения.
3. *Бейзер Б. Тестирование чёрного ящика. Технологии
функционального тестирования программного обеспечения и
систем.