Similar presentations:
Роль ручного функционального тестирования в проектах НТ
1.
Николай Корнетов,инженер-тестировщик
ООО «Аплана»
www.aplana.r
u
Роль ручного функционального
тестирования в проектах НТ
2. Что такое нагрузочное тестирование?
2Что такое нагрузочное тестирование?
Нагрузочное тестирование (НТ) –
тестирование ПО при помощи
специализированных инструментов,
имитирующее работу определенного
количества пользователей в системе,
соответственно интенсивности, которая
есть в данный момент на проде.
Виды нагрузочного
тестирования
Тестирование
производительности
Поиск максимума
(Stress Testing)
Количество
вируальных юзеров в
скриптах равно проду
Скрипты нагружаются
количеством юзеров
в 200, 300 и больше %
от нормы
Тест на объем
(Volume Testing)
Количество юзеров
остается равным
проду, но объем баз
данных
увеличивается
3. «Зачем нам ручник?»
3«Зачем нам ручник?»
Основные задачи функционального тестировщика в НТ проекте:
Анализ документации по функционалу системы
Общение с аналитиками для определения особенностей функционала
для нужд нагрузочного тестирования
Написание тест-кейсов, подходящих
для скриптования нагрузочниками.
«Разблокировка» кейсов – проверка
их на функциональные дефекты, общение
с разработчиками
Передача готовых и проверенных тесткейсов нагрузочникам
«Функциональный тестировщик на НТ
проекте», архивная фотография
4. Взаимодействие функционального тестировщика с заказчиком и командой
4Взаимодействие функционального
тестировщика с заказчиком и командой
ЗАКАЗЧИК
• Документация
• Интенсивность
операций
функциональный
• Дефекты по
результатам
тестов
тестировщик
• Тест-кейсы
• Разблокированный
новый функционал
Результаты
нагрузочных
тестов
НАГРУЗОЧНЫЕ ТЕСТИРОВЩИКИ
5. Тест кейс для НТ, особенности
5Тест кейс для НТ, особенности
Кейсы,
описывающие
основные
бизнеспроцессы
Ручной
тестировщик
на НТ проекте
100% охват
функционала
тестами
Кейсы для НТ пишутся без
задачи как можно большего
охвата функционала; задача НТкейса – воспроизведение
стандартных шагов выполнения
процесса, как это обычно
происходит на проде.
При написании кейсов действует
общее правило «один процесс –
один кейс».
Чем больше интенсивность
операции, тем она приоритетнее
в тестировании (важно при
разблокировке)
Кейсы по возможности должны
быть удобными для
скриптования (т.е. необходимо
по возможности избегать
задействования сторонних
инструментов, «костылей»,
перелогинивания и т.д.)
6. Тест кейс для НТ, структура
6Тест кейс для НТ, структура
Функциональное тестирование
Нагрузочное тестирование
7. Типы данных, которые мы получаем в результате выполнения нагрузочных тестов
7Типы данных, которые мы получаем в
результате выполнения нагрузочных тестов
Отчет по скриптам
• Количественные
показатели
удачно/неудачно
выполненных
скриптов
• Длительность
выполнения
каждого из
скриптов.
• Длительность
выполнения
отдельных
транзакций
AWR - отчет
• SQL-запросы в
базу с
длительностями
и количеством
выполнений
ФТ проверки
• Длительность
транзакций из
функциональных
кейсов
• Неправильное
поведение
системы под
нагрузкой
8. Дефекты производительности
8Дефекты производительности
ДЕФЕКТ ФУНКЦИОНАЛА
Строгость
Красота
Традиции
ДЕФЕКТ ПРОИЗВОДИТЕЛЬНОСТИ
Волюнтаризм
Хаос
Безответственность
9. Дефекты производительности
9Дефекты производительности
Общие правила:
В общем случае серьезность дефекта зависит от продолжительности
выполнения транзакции
Правила по серьезности определяются заказчиком, а не документацией
или логикой
Есть исключения по определенным транзакциям, которые могут и
должны выполняться долго (о которых никогда не известно заранее)
Прежде чем заводить дефект нужно точно удостовериться, что
задержка не происходит по причине плохо записанного скрипта
Тестирование
производительности
• Дефекты по
транзакциям
Поиск максимума
• Дефекты по сбоям
тестового стенда
Тест на объем
• Дефекты по
долгим запросам в
базу
10. Подведем итоги
10Подведем итоги
Функциональный тестировщик – ценный член команды на проекте НТ.
Главная задача функционального тестировщика в НТ – обеспечение
правильно написанными и рабочими кейсами команду НТ
Кейсы для НТ пишутся исходя из правила «один процесс – один кейс»,
описывающих процесс от начала до конца, без тупиковых веток
процесса и негативных проверок.
Важность нового функционала определяет его интенсивность (т.е.
сколько раз данный процесс проходится на проде в час). Чем выше
интенсивность, тем выше важность.
Серьезность дефектов производительности в большей мере зависит от
воли заказчика, чем от каких-то общих правил.