HSE Knowledge Base RAG Final

1.

Q&A-платформа на RetrievalAugmented Generation для
частной базы знаний
Куратор: Прохоров Савелий
Команда №108. Чепиков Иван, Ролик Дмитрий

2.

2
Задача
Разработать закрытую Q&A-платформу на основе RAG (Retrieval-Augmented
Generation) для внутренней базы знаний компании.
Решает проблемы:
-
Проблема фрагментированной и труднодоступной информации
Проблема надежности и контролируемости ответов ИИ
Проблема конфиденциальности данных
Проблема нестандартных и сложных запросов, не решаемых обычным поиском

3.

3
Датасет
● Документация torch
● QA датасет по торчу
● Сгенерированные синтетические данные

4.

4
EDA
Количество файлов
3089
Общий объем
18.49 MB
Средний размер файла
6.13 KB
Медианный размер файла
1.25 KB
Среднее количество слов
452
Среднее количество заголовков
0.7
Среднее количество блоков кода
1.6

5.

5
EDA
Топ 10 разделов по количеству файлов в документации
Топ 10 упоминаний в Q&A

6.

6
EDA
Облако слов по ответам из Q&A датасета
Облако слов по документации
Облако слов по ответам из Q&A датасета

7.

7
EDA
Оценка ответа при отсутствии/наличии примера кода
Зависимость оценки ответы от длины в токенах

8.

8
Ключевая метрика. Ragas
Ragas (Retrieval Augmented Generation Assessment) — это
фреймворк для автоматической оценки качества RAGсистем. Вместо простого сравнения слов он использует LLM
как судью, чтобы анализировать смысл ответов и контекста.

9.

9
Ragas метрики «под капотом»
Faithfulness
Answer Relevance
Context Recall

10.

10
Ключевая метрика. RAG Score

11.

11
Детекция вопросов не по теме
Перед обращением к RAG-пайплайну входящий вопрос проходит
фильтр тематики: One-Class SVM только на вопросах по PyTorch. Это
отсекает бессмысленные запуски retrieval и генерации: система
отвечает «вопрос не по теме базы знаний» вместо галлюцинации по
нерелевантному контексту.

12.

12
LoRA
Через teacher-модель было сгенерировано 19.7
тыс. пар «вопрос–ответ» из чанков документации
PyTorch.
LoRA добавлялась, чтобы поднять faithfulness —
научить генератор держаться retrieved-контекста
вместо ответов из памяти.
К замороженной Qwen2.5-Coder-7B подключены
низкоранговые адаптеры, что удвоило
faithfulness: 0.12 → 0.24.

13.

13
Общая архитектура

14.

14
Мониторинг
Мониторинг самого сервиса:
-
Количество запросов по ендпоинтам
Задержка по ендпоинтам
Процент ошибок

15.

15
Мониторинг
Мониторинг RAG:
-
Время по RAG и по вопросам не по теме
Время RAG по шагам
Количество токенов в секунду от LLM
Метрики времени работы LLM
Количество вопросов по теме и нет

16.

16
Исполнение кода

17.

17
RAG Pipeline

18.

18
Agentic: rewrite + HyDE
Перед поиском система делает два
дополнительных LLM-вызова:
переписывает разговорный вопрос в
насыщенный терминами поисковый
запрос и генерирует гипотетический
ответ из документации, вектор
которого ближе к реальным чанкам,
чем вектор вопроса. Все три
представления — оригинал, rewrite и
HyDE — параллельно ищут
кандидатов в ChromaDB, результаты
объединяются и переранжируются
cross-encoder'ом против исходного
вопроса, что отсекает мусор, если
LLM-трансформации уехали не туда.

19.

19
Загрузка новых источников

20.

21
Спасибо за внимание