7.05M

Михаил_Трифонов_–_SSD_в_автоматизации_–_SQA_Days_7sjdyfot3pru3mgcqwn6qh487h

1.

SDD в автоматизации:
вайбкодим тесты
на сервисы
Михаил Трифонов
Head of QA

2.

Михаил
Трифонов
Head of QA
● 15+ лет в тестировании
● и автоматизации
● Строю test-платформы
● Экспериментирую с AI в QA

3.

Содержание
С чего начинали
Какие проблемы
у нас возникли
Как решили
и к чему пришли
Какие результаты
получили
3

4.

Поехали!
Мы больше не пишем
сервисные автотесты руками
Полгода
назад начали
эксперимент
Можно
ли заставить
AI писать
сервисные
автотесты?
Мы перестали
писать
автотесты
руками вообще
4

5.

Масштаб эксперимента
С чего мы начали
~100 ~2%
Endpoints
Coverage
Отличный кандидат для эксперимента
5

Масштаб эксперимента
С чего мы начали
100
100
80%
20%
Endpoints
на сервиc
Тестов
Времени —
boilerplate
Логика
API меняется →
тесты падают
Документация
устаревает
Писать тесты дорого,
поддерживать —
ещё дороже
6

7.

Первый подход
С чего мы начали
А давайте
Просто поставим
агент в IDE
Скормим swagger
и попросим написать тесты
7

8.

Первый подход
Самый красивый тест
Идеальная структура,
тест проходит
Проверяет
не тот endpoint
В контексте
было 40 endpoints
8

9.

Первый подход
Почему LLM не работает
Модель
галлюцинирует
Теряет
контекст
Наши первые
эксперименты —
именно так
Урок: управление
контекстом критично
Генерирует
убедительный,
но неправильный код
9

10.

Инсайт
Проблема не в коде —
проблема в контексте
Не «модель
галлюцинирует»
Проблема
в информации,
которую мы даём
Слишком много —
модель теряется
10

11.

Главный инсайт
LLM плохо масштабируется
по контексту, но хорошо
масштабируется по процессу
Вся система сразу →
убедительные ошибки
Процесс разработки →
отличный результат
Не «напиши тесты на сервис»
А «задача → требования →
сценарии → код»
11

12.

Решение
01
02
Масштабироваться
по процессу
Минимум шума
в контексте
03
04
Минимизировать когнетивную
нагрузку на LLM
Сохранять (запомнить)
важное
12

13.

Архитектура
Своя платформа — QArium
● Agent — любой современный coding-агент
● CLI — набор консольных команд
● Prompt команды + skills
● Test framework на базе pytest
● Knowledge base — конституция проекта,
база знаний о проблемах и их решениях
13

14.

Глаза агента
CLI команды
Cписок
endpoints
Cхема одного
endpoint
Генерация
фикстур
Обновление
контрактов
14

15.

Code generation
Снимаем когнитивную
нагрузку с модели
Модели запросов
генерируются
автоматически
Фикстуры генерируются
автоматически
Структура тестов
(positive/negative/flow)
генерируется
автоматически
LLM думает только
о тестах
Схемы проверки
ответов генерируются
автоматически
15

16.

Feature flow
Сформировать
требования
Сгенерировать
тестовые
сценарии
Сгенерировать
автотесты
16

17.

Pipeline агента
Feature
Start — чтение
конституции, endpoints,
формирование
требований
Testcases —
генерация
сценариев
Verify —
проверка сценариев
и требований
Implement —
итеративное
написание тестов
Review —
ревью кода,
линтеры
Finish —
обновление конституции,
готово к merge
17