ИИспользование-современных-технологий-v4

1.

ENGINEERING / AI / CASE STUDY
ИИспользование
современных технологий
Как инженерам работать с LLM, агентами и инструментами:
от первого prompt до проверяемого командного процесса.
01 / 27

2.

БАЗОВАЯ МОДЕЛЬ
AI генерирует правдоподобное. Не
истинное.
Это не баг продукта.
Это его природа.
Инженерная задача — окружить вероятностную систему
детерминированными проверками.
02 / 27

3.

LLM БЕЗ МИСТИКИ
Что происходит внутри — в одной строке
контекст → вероятности следующего токена → новый токен ↻
Модель не сверяется с реальностью
автоматически.
Реальность нужно вернуть в цикл через поиск, инструменты, выполнение
кода и обратную связь.
03 / 27

4.

СИЛЬНЫЕ СТОРОНЫ
Три задачи, где LLM особенно полезна
СЖАТЬ
ПРЕОБРАЗОВАТЬ
ИССЛЕДОВАТЬ
логи, документы,
diff
текст ↔ код ↔
структура
варианты, связи,
гипотезы
Общее свойство: много контекста, много вариантов, недорогая ошибка
черновика.
04 / 27

5.

СЛАБЫЕ СТОРОНЫ
И три причины не отдавать ей финальное
решение
01
Уверенная выдумка
форма ответа выглядит убедительнее источников
02
Дрейф задачи
длинный цикл постепенно меняет критерий успеха
03
Оптимизация формы
красивый результат может скрывать неверную
логику
04
Нет встроенного оракула
модель не знает, что для вашей системы считается
правильно
05 / 27

6.

ГЛАВНЫЙ ПЕРЕХОД
Единица пользы — не prompt, а
feedback loop
контекст
черновик
действие
проверка
обратная связь
Без возврата результата модель остаётся генератором текста.
06 / 27

7.

НЕ СМЕШИВАТЬ
Copilot, агент и workflow — разные продукты
COPILOT
AGENT
WORKFLOW
человек ведёт каждый шаг
модель сама выбирает следующий шаг
порядок и гейты заданы заранее
Чем больше автономии — тем важнее ограничения, наблюдаемость и
остановка.
07 / 27

8.

АНАТОМИЯ АГЕНТА
Агент — это модель, помещённая в систему
MODEL
рассуждение и генерация
CONTEXT
задача, правила, примеры
TOOLS
терминал, браузер, API
STATE
прогресс и артефакты
LOOP
проверка и следующий шаг
08 / 27

9.

CONTEXT ENGINEERING
Контекст проектируют так же, как API
+ цель
+ источники
+ ограничения
+ примеры
+ критерий готовности
Не добавлять:
весь репозиторий
противоречивые инструкции
секреты
непроверенные пересказы
Больше контекста ≠ лучше контекст.
09 / 27

10.

TERMINAL / BROWSER / API / MCP
Tools возвращают модель в реальный мир
$ search code
$ read ticket
$ run tests
$ inspect report
$ open browser
$ update artifact
Без tools
советует
С tools
действует и получает
наблюдаемый результат
10 / 27

11.

ПОИСК ПЕРЕД ГЕНЕРАЦИЕЙ
Retrieval: сначала найти, потом сочинять
1
2
3
4
запрос
поиск
первичные
источники
ответ + ссылки
RAG и поиск снижают пространство выдумки, но не заменяют проверку
источника.
11 / 27

12.

ПРОЦЕДУРНАЯ ПАМЯТЬ
Skill — это исполняемая договорённость
команды
Prompt
Skill
ответ на один запрос
когда запускаться
какие источники читать
какие шаги и стоп-условия
Правило полезно, если другой агент может его выполнить и проверить.
12 / 27

13.

STATE / MEMORY
Context window — не память
01
CONTEXT
то, что модель видит сейчас
02
WORK LOG
что уже сделано в задаче
03
ARTIFACTS
файлы, diff, отчёты, результаты
04
SKILLS
правила, переживающие одну сессию
13 / 27

14.

МЕТРИКИ ДЛЯ AI-СИСТЕМ
Evals проверяют не красоту ответа, а
поведение
case: empty table
expect: agent adds isAbove(rows.length, 0)
run A: without skill
run B: with skill
grade: evidence, not vibes
Если кейс проходит без
skill — правило,
возможно, уже впиталось
в модель.
Если падает со skill —
инструкция не работает.
14 / 27

15.

SEPARATION OF CONCERNS
Два агента полезнее одного, если они спорят
AUTHOR
строит решение
оптимизирует связность
знает локальный контекст
CRITIC
ищет контрпример
проверяет критерий
не чинит за автора
Независимость контекста важнее одинаковой мощности моделей.
15 / 27

16.

DETERMINISTIC RAILS
Проверка строится слоями
FORMAT
schema / lint / parser
SEMANTICS
RUNTIME
HUMAN
diff / assertions / invariants
tests / sandbox / dry run
review / approval / responsibility
Чем дороже ошибка — тем выше должен быть последний слой.
16 / 27

17.

SECURITY / BLAST RADIUS
Permissions важнее интеллекта агента
READ
WRITE
PUBLISH
читать код, тикеты, логи
править локальные
артефакты
PR, комментарии,
deploy — только с
явным разрешением
Автономность не должна автоматически расширять полномочия.
17 / 27

18.

ПРАКТИЧЕСКИЙ ПОРОГ
Когда автоматизировать AI-процесс
01
Повторяемость
задача встречается регулярно
02
Проверяемость
есть наблюдаемый критерий результата
03
Обратимость
ошибку можно безопасно откатить
04
Стоимость
ручной цикл действительно дорог
Нет хотя бы двух пунктов? Оставьте copilot-режим.
18 / 27

19.

SDLC
AI встраивается во весь инженерный
цикл
исследование
проектирование
реализация
review
эксплуатация
На разных этапах меняются tools, источники и цена ошибки — значит,
должен меняться и уровень автономии.
19 / 27

20.

РОЛИ
AI полезен далеко не только разработчикам
01
Разработчик
код, refactoring, migrations, debugging
02
Аналитик
поиск связей, SQL, объяснение данных
03
Product
синтез обратной связи, варианты решений
04
Support / Ops
triage, runbooks, incident context
05
Менеджер
решения, риски, коммуникация
20 / 27

21.

ANTI-PATTERNS
Когда AI лучше вообще не использовать
01
Нет проверки
невозможно понять, правильный ли результат
02
Необратимое действие
ошибка сразу меняет внешнюю систему
03
Нет границы данных
неясно, что разрешено отправлять модели
04
Разовая мелочь
ручное выполнение дешевле настройки и контроля
Иногда лучший AI-workflow — не создавать AI-workflow.
21 / 27

22.

UNIT ECONOMICS
Экономика AI начинается со стоимости
проверки
VALUE = saved work
- verification
- failures
- maintenance
Снижать стоимость можно
четырьмя рычагами:
лучший контекст
узкий scope
дешёвые автоматические
checks
переиспользуемые skills
Быстрая генерация сама по себе не создаёт ROI.
22 / 27

23.

MATURITY LADDER
Зрелость растёт от личного prompt к
платформе
01
Prompt
личная импровизация
02
Template
повторяемый вход и выход
03
Skill
правила и источники
04
Workflow
tools, гейты, state
05
Platform
доступы, evals, наблюдаемость
Не перепрыгивайте уровни: платформа не исправит непроверяемый
prompt.
23 / 27

24.

GOVERNANCE
У каждого AI-workflow должен быть владелец
01
Owner
кто отвечает за результат и правила
02
Sources
откуда берутся факты
03
Permissions
что агент может читать, менять и публиковать
04
Audit
какие действия и доказательства сохраняются
05
Stop
когда workflow обязан остановиться
24 / 27

25.

ОДИН КЕЙС ИЗ МНОГИХ
Автотесты — один пример реализации
01
Coverage
AI для широкого поиска
02
Spec gate
контракт до дорогого действия
03
Author / critic
разделение контекстов
04
Tools
браузер, код, CI и наблюдаемый результат
05
Skills + evals
знание и проверка знания
Те же элементы применимы к migrations, incidents, review и release
workflows.
25 / 27

26.

START SMALL
Что попробовать завтра — без платформы и
бюджета
1
возьмите повторяемую текстово-кодовую задачу
2
опишите источники и запреты
3
добавьте одну детерминированную проверку
4
отделите автора от критика
5
сохраните удачные правила в skill
Автоматизируйте только после того, как научились проверять.
26 / 27

27.

ВЫВОД
AI полезен, когда вы умеете доказать,
что он неправ
Не просите ответ.
Стройте проверяемый цикл.
контекст → tools → артефакт → проверка → критик → обратная связь
27 / 27