45.10K

123_с_путями_улучшения

1.

Что нам важно от бота из ММ?

2.

Первый вопрос
Бот начал работу
Сообщение 2
Сообщение 3
Бот ответил ТОЛЬКО на
первый вопрос и дальше ждет
тгега
Сообщение 4
Сообщение 5
Бота тегнули
Бот ответил на 2-3-4-5
Юзер: @paygate-llm Проверь проблему X
Юзер: Еще важная деталь A
Юзер: Еще важная деталь B
Бот: Ответ ТОЛЬКО на первый запрос
Юзер: Еще сообщение C
Юзер: Еще сообщение D
Юзер: @paygate-llm А теперь что скажешь?
Бот: Ответил на голубое и зеленое
Плюсы:
- Максимально быстрый ответ на изначальный
вопрос, который интересовал пользователя.
- Максимально быстрый ответ на тег от
пользователя, если ему нужна еще помощь.
Минусы:
Бот отвечает только в контексте того, что было
на момент написания топикстартера или на
момент тега в существующем треде. Не
учитывает то, что пишут в треде после того, как
он начал работу над ответом

3.

Первый вопрос
Бот начал работу
Сообщение 2
Юзер: @paygate-llm Проверь проблему X
Юзер: Еще важная деталь A
Юзер: Еще важная деталь B
Юзер: Еще сообщение C
Юзер: Еще сообщение D
Бот: Ответил на желтое, голубое и зеленое
Бот увидел сообщение 2 и начал
работать уже над 1+2
Сообщение 3
Бот увидел сообщение 2 и начал
работать уже над 1+2+3
Бот ответил на 1+2+3
Сообщение 4
Сообщение 5
Плюсы:
- Бот в итоге отвечает с учетом всех постов,
которые прилетели в тред, пока он думал над
ответом на предыдущие посты.
Минусы:
- Ответ может занимать очень много времени.
- Этот ответ уже может быть и не нужен, т.к.
вопрос решили уже и без бота.

4.

Первый вопрос
Бот начал работу
Сообщение 2
Сообщение 3
Бот ответил ТОЛЬКО на первый вопрос и
потом, видит, что есть неотвеченные 2-3,
запускает новый цикл по тем, что не отвечены
Сообщение 4
Юзер: @paygate-llm Проверь проблему X
Юзер: Еще важная деталь A
Юзер: Еще важная деталь B
Бот: Ответ ТОЛЬКО на первый запрос
Юзер: Еще сообщение C
Юзер: Еще сообщение D
Бот: Ответил на голубое
Бот: Ответил на зеленое
Плюсы:
- Максимально быстрый ответ на изначальный
вопрос, который интересовал пользователя.
- Не теряется информация и бот поддерживает
разговор, пока есть не отвеченные посты, пока
он думал над предыдущим ответом
Сообщение 5
Бот ответил на 2-3 и потом, видит, что есть
неотвеченные 4-5, запускает новый цикл
по 4-5
Минусы (а минус ли это?):
Постов бота может быть немало

5.

Чего нет ни в одном из трёх вариантов
Все три обрабатывают входящие одинаково — по факту прихода. Но сообщение в треде бывает четырёх разных типов:
1 · Уточнение того же вопроса
2 · Новый независимый вопрос
Подмешать в контекст / перезапустить ответ
Отвечать отдельным циклом, не смешивать
3 · Человек уже решил проблему
4 · Шум / «спасибо» / болтовня
Промолчать или свернуть ответ (relevance-gate)
Игнорировать, не плодить посты
Отсюда и растут все минусы. Не хватает двух примитивов — и с ними все три варианта становятся лучше:
1. Классификация входящих — уточнение / новый вопрос / решение / шум.
2. Отмена идущей генерации — резать ответ, который вот-вот устареет, не доплачивая за него.

6.

Вариант 4 — гибрид
debounce с cap · отмена устаревшего черновика · relevance-gate · правка ответа на месте
Первый вопрос
Бот начал работу + классификатор
Сообщение 2 · уточнение
Юзер: @paygate-llm Проверь проблему X
Юзер: Ещё важная деталь A
Юзер: Ещё важная деталь B
Бот: отменил черновик → собрал X+A+B → один ответ
Юзер: Спасибо!
Юзер: Уже разобрались, причина в Y
Бот: ставит реакцию, не дублирует ответ
Сообщение 3 · уточнение
Видит материальные уточнения → отменяет текущий
черновик и перезапускается на 1+2+3 (debounce с cap по
времени)
Плюсы:
Сообщение 4 · шум («спасибо»)
— Быстрый первый ответ и полный контекст: устаревший черновик
отменяется, «вечного» ожидания нет.
— Чистый тред: один ответ с правкой на месте вместо пачки постов.
— Молчит, когда ответ уже не нужен, и не реагирует на шум.
Сообщение 5 · человек дал решение
Цена:
Relevance-gate: вопрос уже решён человеком → бот молчит
или ставит краткое подтверждение. Шум игнорируется
— Нужны примитивы: отмена генерации, дешёвый классификатор
входящих, edit + дедуп.
— Классификатор ошибается → нужны порог и фолбэк «ответить как
есть».

7.

Сравнение подходов по осям
В1
Снапшот
В2
Накопление
В3
Дренаж
В4
Гибрид
Время до первого ответа
отлично
плохо
отлично
отлично
Полнота контекста
плохо
отлично
средне
отлично
Свежесть (ответ ещё нужен)
средне
плохо
средне
отлично
Чистота треда (мало постов)
отлично
отлично
плохо
отлично
Стоимость / лишняя работа
дёшево
дорого
средне
средне
Предсказуемость для юзера
высокая
низкая
средняя
средняя
Сложность реализации
низкая
средняя
средняя
высокая
Ось / Подход
Ни один из вариантов 1–3 не доминирует → правильное решение — гибрид (В4): скорость 1/3, полнота 2, без «устаревания» и лишних
постов.
English     Русский Rules