Презентация_ВКР

1.

Московский государственный технический университет им. Н.Э. Баумана
Разработка алгоритма вопросно-ответной системы по
курсу высшей математики на базе большой
языковой модели
Выпускная квалификационная работа
Студент группы ФН11-82Б — Очкин Н.В.
Научный руководитель — Зубарев К.М.
Москва · 2026

2.

Актуальность и постановка
задачи
Га л л ю ц и н а ц и и
Устаревание знаний
Правдоподобные, но неверные
определения и выкладки.
Память фиксируется при обучении;
правки курса не видны.
Нет источников
Решение — RAG
Модель не указывает, откуда взято
утверждение.
RAG связывает ответ LLM с
корпусом Nomotex и снимает три
ограничения.

3.

Цель и задачи
ЦЕЛЬ
Разработать алгоритм
вопросно-ответной системы
по высшей математике на
базе LLM с опорой на
учебные материалы
платформы Nomotex.
ОБЪЕКТ И
ПРЕДМЕТ
Объект: вопросно-ответные
системы на базе LLM с
внешней базой знаний.
Предмет: алгоритмы поиска
контекста и генерации для
учебной математики.
ЗАДАЧИ
Анализ области
ETL-конвейер
Эксперименты
обоснование выбора RAG
Унификация двух разнородных источников
Nomotex в JSONL, математически-осознанное
чанкирование и индексация.
Сравнение языковых моделей,
подбор параметров retrieval и
сравнение dual retrieval с
базовой схемой.
ограничения LLM
подходы с внешней базой
знаний
сравнение и выбор
архитектуры
1
3
Теоретические основы
Алгоритм RAG
Архитектура Transformer и
LLM, векторные
представления, методы
поиска контекста, схема RAG
и метрики качества.
Поиск контекста, формирование промпта,
генерация ответа со ссылками на источники и
диалоговая память.
4
2
5

4.

Архитектура
системы
Два слоя: офлайн-ETL
готовит корпус Nomotex,
онлайн-часть отвечает на
запрос. Стек: BGE-M3,
Qdrant, PostgreSQL, OpenAIсовместимый LLM, RAGAS.

5.

ETL-конвейер и
чанкирование
Два источника → единый JSONL → parent/child-чанки
Два источника
1
Внешняя база знаний Nomotex — теория и
практика в несовместимых форматах. ETL
унифицирует оба источника, режет текст на
чанки без разрыва формул и индексирует
их для поиска.
2
Теория — кванты знаний
(PostgreSQL/Django),
практика — .js (GitHub).
разные форматы хранения
Чанкирование
4
extract (staging)
Обогащение чанков
Извлечение из обоих
хранилищ и приведение к
единому виду.
+ URL источника в поле
source
Контекстный заголовок,
перекрытие, префикс
условия задачи.
чанки лучше различимы
при поиске
5
Единый JSONL
3
Текст- и LaTeX-атомы;
формулы не рвутся, условие
связано с решением.
размер считается в токенах
Документ — отдельная
строка; корпус читается
последовательно.
общий формат для теории и
практики
Индексация
6
Qdrant — dense+sparseвекторы; PostgreSQL —
parent-блоки.
parent/child-представление

6.

Retrieval: гибридный поиск
и dual retrieval
Ги б р и д н ы й п о и с к
Dual retrieval
BGE-M3: dense- и sparse-векторы;
выдачи объединяет RRF.
Два поиска: отдельно по теории и
по практике.
Parent/child retrieval
Сборка контекста
Поиск идёт по мелким childчанкам, в контекст подставляется
родительский блок.
Блок ранжируется по лучшему
чанку; представление: full_block →
merged_window → best_chunk.

7.

Ге н е р а ц и я о т в е т а
и память
Контекст и запрос
превращаются в
ответ со ссылками;
диалог держится
на памяти.
Промпт для LLM
Системное: роль тьютора,
правила цитирования
5 XML-блоков: контекст,
запрос, требования
Надёжная генерация
Зацикливание: лёгкая +
тяжёлая проверки
повторов
До 3 повторов: меньше
токенов, выше temperature
Ссылки и память
Метки [TSi]/[PSj] → URL
после генерации
Память: состояние H,
сводка σ, переписывание
q*

8.

Эксперимент 1: сравнение
языковых моделей
ВЫВОД
Качество сопоставимо у моделей 7–12B; gemma-3-12b-it даёт лучший баланс качества и скорости.
qwen3-14b — на порядок медленнее (≈46 с) без выигрыша. Память и переписывание запроса
при оценке отключены.

9.

Эксперимент 2: вклад dual
retrieval
ВЫВОД
Параметры retrieval влияют слабо (победители: бюджет 4096, доля документа 0,35, радиус окна
2). Главный вклад даёт dual retrieval: на картах дельт «вопрос × модель» по Faithfulness и Answer
Relevancy преобладает зелёный — раздельный поиск по теории и практике повышает качество.

10.

Заключение
Ре з ул ьт а ты
Новизна
Ограничения
Цель достигнута
Что нового
Честно о слабых местах
Все задачи решены: разобрана
область, изложена теория,
построены ETL и алгоритм RAG,
проведены эксперименты.
RAG адаптирован к двум
источникам Nomotex;
чанкирование бережёт формулы
и связь «условие–решение»; dual
retrieval подтверждён.
Малая выборка (16 вопросов);
reference-free метрики зависят от
судьи; часть связей выявлена
вручную; это прототип.
Что дальше
Subject-классификатор и LLMреранкер, ускорение (vLLM),
thinking-режим, перенос памяти
в БД, доработка до внедрения.

11.

Живая
демонстрация
Запуск системы в диалоговом
режиме — сразу после доклада.
Интерфейс на Streamlit; память и все модули
включены.
Модели (non-thinking): ответ — Qwen3-235BA22B-Instruct; суммаризация и переписывание
запроса — Qwen3.5.