Презентация_команда 4

1.

ПРОЕКТ № 14 · TEAM-4-EDU-AI
Анализ поведения пользователей и
эмоциональных реакций в образовательных
ИИ-системах
Состав команды:
Ионова Кира Станиславовна
Демидова Полина Ивановна
Неврова Элина Геннадьевна
Шахова Галина Васильевна
Аничкина Валерия Витальевна
Руководитель:
Доронькин Максим Вячеславович
github.com/Neon-Flare/team-4-edu-ai
1

2.

Постановка задачи
Цель проекта:
Анализ
мультимодальных
данных
пользователей
Получение данных
образовательных ИИ-платформ
EDA
Задача проекта:
Провести
анализ
поведения
Проверка гипотез
пользователей
и
их
эмоциональных реакций, чтобы выявить закономерности
Моделирование
между типом взаимодействия, эмоциональным состоянием
и успешностью обучения
Результаты
2

3.

Актуальность исследования
● ИИ всё активнее используется в
образовании
● Ответы ИИ могут вызывать разные
эмоциональные реакции
пользователей
● Негативные или рискованные ответы
способны снижать эффективность
обучения
● Автоматическое выявление таких
ответов позволяет повысить качество
и безопасность образовательных ИИсистем
Пользователь
Ответ ИИ
Эмоциональная реакция
ML-модель
Прогноз эмоций
3

4.

Обзор источников
Основной датасет: LMSYS-Chat-1M
Крупнейший открытый датасет диалогов пользователей с
современными LLM, собранный на платформах Vicuna и Chatbot
ДАТАСЕТ
lmsys/lmsys-chat-1m
Hugging Face Datasets
Arena
СТАТЬЯ
Почему выбран этот датасет?
Реальные диалоги пользователей
Взаимодействие с различными LLM
Информация о модерации и безопасности
Подходит для анализа поведения пользователей и
эмоциональных реакций
arXiv:2309.11998
LMSYS-Chat-1M paper
ОБЪЁМ
~1 000 000
диалогов, 25 моделей
МОДЕЛИ
ChatGPT, Claude, Gemini…
и другие, всего 25 LLM
4

5.

Описание данных
Основные признаки:
Предобработка данных:
conversation_id
идентификатор диалога
Языковой фильтр
model
используемая LLM
Оставлены только диалоги на
английском языке
conversation
текст диалога
Ограничение длины
turn
число ходов
language
язык
openai_moderation
категории модерации
redacted
наличие нежелательного или
удалённого контента
Длина текста от 32 до 1536 символов
412 012 диалогов
≈ 41% исходного датасета
5

6.

Подготовка данных
Эмбеддинги и выделение образовательного контента
Генерация эмбеддингов
Семантическая фильтрация
Модель google/embeddinggemma-300m
Косинусное сходство с опорными фразами.
преобразует диалоги в векторную форму для
Порог отсечения: 0.25
семантического анализа. Реплики каждого
Score-система маркеров: Strong (study, teacher,
диалога объединяются в единую строку, векторы
textbook) и Weak (lesson, practice)
нормализуются
28 810
20 601
11 580
19 655
образовательных
диалогов (7.0%)
Path A — высокий
эмбеддинг
Path B — сильные
ключевые слова
Path C —
комбинированный
6

7.

Обзор источников
Дополнительный датасет: RECIPE4U2 Student–ChatGPT Essay Writing Dataset
ДАТАСЕТ
Образовательный
датасет,
содержащий
реальные
диалоги
студентов с ChatGPT в процессе написания академических эссе
Student–ChatGPT Essay Writing Dataset
GitHub Repository
СТАТЬЯ
Почему выбран этот датасет?
Диалоги в образовательном контексте
Оценки удовлетворенности студентов
Информация о целях обращения к ChatGPT
Возможность анализа вовлеченности и успешности
взаимодействия
RECIPE4U2 Project
Student–ChatGPT Interaction Study
ОБЪЁМ
1 913
диалоговых записей
УЧАСТНИКИ
212 студентов
и другие, всего 25 LLM
7

8.

Описание данных
Предобработка данных:
Основные признаки:
sample_id
уникальный идентификатор
Языковой фильтр
rating
оценка удовлетворенности (1–5)
intent_final
тип запроса студента
Исключены диалоги на
корейском языке
is_essay_edited
были ли внесены правки в эссе
Обработка пропусков
student_id
идентификатор студента
Обработаны пропуски в essay
course
тип курса (IRW, AW, SW)
week
номер недели обучения
idx
номер реплики в сессии
chatgpt_after
ответ ChatGPT
session
номер сессии
user
сообщение студента
essay
текст эссе студента
Новые признаки признаков
Добавлены признаки
user_text_len и rank
1 707 диалогов
≈ 89% исходного объёма
8

9.

Подготовка данных
Эмоциональная разметка пользовательских сообщений
Классификация эмоций
Очистка и фильтрация
● удалены вставки эссе и абзацев (<essay>,
<para>), чтобы сохранить только реальные
сообщения
пользователей
при
взаимодействии с ИИ
● удалены слишком короткие сообщения (<
2 символов) и длинные фрагменты эссе (>
999 символов)
1 707
исходных диалогов
234
длинных текстов
удалено
Модель j-hartmann/ emotion - english - distilroberta
base
анализирует
текстовые
сообщения
пользователей и определяет наиболее вероятную
эмоцию, выраженную в сообщении. Для каждого
текста
рассчитываются
вероятности
принадлежности к 7 эмоциональным категориям,
после чего выбирается доминирующая эмоция с
максимальной уверенностью
1 568
7
сообщений после
очистки
классов эмоций
9

10.

Разведочный анализ данных (EDA)
Выжимка из EDA: ключевые выводы для основного датасета
Характер запросов
Преобладают быстрые и короткие
запросы на английском языке
Выбросы
Длинные диалоги и объёмные тексты ценны для анализа сложных сценариев
10

11.

Разведочный анализ данных (EDA)
Выжимка из EDA: ключевые выводы для основного датасета
Безопасность
Зафиксировано минимальное количество
нарушений модерации
Вариативность
Высокая вариативность сценариев — полезно
для обучения и тестирования моделей
Качество данных
Значительных ошибок не обнаружено. Фокус смещён в сторону
эффективности взаимодействия с ИИ
11

12.

Разведочный анализ данных (EDA)
Выжимка из EDA: ключевые выводы для дополнительного датасета
Характер запросов
Удовлетворённость
Наиболее востребованы языковые и
справочные запросы
Характер запросов
Вовлечённость
ChatGPT используется как помощник по
грамматике, стилю и структуре текста
Качество данных
Студенты в целом положительно оценивают
взаимодействие с моделью
Вовлечённость пользователей зависит от
уровня курса
После очистки данных удалены ошибочные записи и
неанглоязычные диалоги
12

13.

13

14.

Проверка гипотез по основному датасету
Гипотеза 1. Эмоциональный
профиль зависит от модели
H₀: распределение эмоций одинаково для
всех языковых моделей
H₁: эмоциональный профиль диалогов
зависит от используемой модели
Тест: критерий Краскела–Уоллиса
Результат: Для всех 7 эмоций получены
p-value <0.05
Вывод: Нулевая гипотеза отвергается.
Эмоциональный профиль статистически
значимо зависит от используемой модели.
14

15.

Проверка гипотез по основному датасету
Гипотеза 2. Эмоциональные диалоги
длиннее нейтральных
H₀: количество ходов (turn) в эмоциональных и нейтральных
диалогах не различается
H₁: эмоциональные диалоги имеют большее количество
ходов
Тест: Mann–Whitney U
Результат: Полученное значение p-value <0.05
Вывод: Нулевая гипотеза отвергается. Эмоциональные
диалоги статистически значимо длиннее нейтральных
При этом практический эффект небольшой (разница около
0.2 хода)
15

16.

Проверка гипотез по основному датасету
Гипотеза 3. Длинный
первый запрос повышает
вероятность модерации
H₀: связь между длиной первого
сообщения и флагом модерации
отсутствует
H₁: длинные первые сообщения чаще
получают redacted=True
Тест: χ² Пирсона
Результат: χ² = 212.12, p-value <0.05
Вывод: Нулевая гипотеза отвергается.
Длинные первые сообщения
статистически значимо чаще приводят к
срабатыванию модерации
16

17.

Проверка гипотез по основному датасету
Гипотеза 4. Позитивные эмоции
связаны с более высокой
продуктивностью диалога
H₀: успешность диалога не зависит от
эмоционального состояния
H₁: позитивные эмоции положительно связаны с
успешностью, негативные — отрицательно
Тесты: корреляционный анализ, t-тест, линейная
регрессия
Результат: t = 4.79, p < 0.001, R² = 0.0167
Вывод: Нулевая гипотеза отвергается, однако
альтернативная подтверждается лишь
частично. Эмоции объясняют лишь около 1.7%
вариации успешности диалога
17

18.

Проверка гипотез по дополнительному датасету
Гипотеза 1. Эмоциональная
реакция студентов зависит
от типа запроса
H₀: эмоциональная реакция студентов не
связана с типом запроса
(Request/Response)
H₁: эмоциональная реакция студентов
зависит от типа запроса
Тесты: t-тест Уэлча и χ² Пирсона.
Результат: t = −14.06(p-value < 0.001), χ² =
636.27(p-value < 0.001)
Вывод: Нулевая гипотеза отвергается.
Тип запроса статистически значимо связан
с эмоциональной реакцией студентов
18

19.

Проверка гипотез по дополнительному датасету
Гипотеза 2. Эмоции влияют на оценку
удовлетворенности ответом ИИ
H₀: оценка удовлетворённости (rating) не зависит от
эмоции студента
H₁: эмоциональная реакция связана с оценкой
удовлетворённости
Тест: критерий Краскела–Уоллиса
Результат: H = 12.08, p-value < 0.001
Вывод: Нулевая гипотеза отвергается.
Эмоциональная реакция статистически значимо
связана с оценкой работы ChatGPT. Однако размер
эффекта остаётся небольшим, поэтому эмоции
объясняют лишь малую часть вариации оценок
пользователей
19

20.

Проверка гипотез по дополнительному датасету
Гипотеза 3. В процессе общения с ИИтьютором вовлеченность студента
растёт
H₀: эмоциональная вовлечённость студента не
меняется в ходе диалога
H₁: эмоциональная вовлечённость студента возрастает
по мере взаимодействия с ИИ-тьютором
Тесты: ANOVA и χ² Пирсона
Результат: F = 22.24(p-value < 0.001), χ² = 278.95(pvalue < 0.001)
Вывод: Нулевая гипотеза отвергается.
Эмоциональное состояние студентов статистически
значимо меняется в ходе взаимодействия с ИИтьютором
20

21.

Построение и оценка качества моделей
Цель:
Прогнозирование эмоциональной реакции пользователей на
ответы ИИ через показатель нейтральности (neutral)
28 810 наблюдений
Задачи:
● построить регрессионные модели для предсказания
значения neutral
● сравнить модели с бейзлайном
● улучшить качество за счёт более сложных алгоритмов
● решить дополнительную задачу классификации риска
● интерпретировать модель с помощью SHAP
52 признака:
● rank_score
● is_education
● 50 признаков
эмбеддингов
текста
21

22.

Построение и оценка качества моделей
Подготовка признаков
● данные разделены на обучающую (80%) и
тестовую (20%) выборки
● выполнена стандартизация признаков
● использованы семантические эмбеддинги
текстов
Метрики качества регрессии
RMSE
● показывает среднюю величину ошибки;
● сильнее штрафует крупные ошибки.
MAE
● средняя абсолютная ошибка прогноза.
R²
Критерий выбора модели
Максимизация R² при одновременном снижении
RMSE и MAE
● доля объяснённой вариации целевой
переменной;
● чем ближе к 1, тем лучше
22

23.

Сравнение всех экспериментов
Результаты моделей:
Модель
Гиперпараметры
RMSE
MAE
R²
Медиана(бейзлайн)
—
0.3165
0.1992
-0.2302
Linear Regression
стандартные
0.2500
0.1954
0.2324
Random Forest
depth=15, split=5,
trees=100
0.2327
0.1755
0.3351
Gradient Boosting
depth=4, lr=0.1, trees=100
0.2349
0.1773
0.3226
23

24.

Построение и оценка качества модели
Цель:
Автоматическое выявление потенциально рискованных ответов
Модель:
Логистическая регрессия
ИИ
Параметры:
Постановка задачи:
● риск определяется как neutral < 0.3;
● доля рискованных ответов в выборке — 14.5%;
● задача сведена к бинарной классификации: «риск» /
«без риска»
● class_weight = balanced
● max_iter = 1000
Результаты:
Метрики:
● Accuracy = 0.7525
● F1-score = 0.4557
● AUC-ROC = 0.8208
24

25.

Интерпретация модели (SHAP)
SHAP-анализ Random Forest
Наиболее важные признаки:
emb_38
emb_14
emb_18
emb_16
emb_2
Основные выводы
● наибольшее влияние оказывают признаки
эмбеддингов
● модель использует скрытые семантические
характеристики текста
● ручные признаки (rank_score, is_education)
имеют существенно меньший вклад
25

26.

Интерпретация модели (SHAP)
Анализ ключевых эмбеддингов
Эмбеддинг
emb_38
emb_14
emb_18
emb_16
emb_2
Смысловая роль
Высокая нейтральность (≥0.75)
Низкая нейтральность (≤0.20)
Техническая сложность
Простые учебные вопросы,
Узкоспециализированные и научные
запроса
базовая математика, грамматика
темы
Темматика запроса
Технические задачи,
Личные переживания, ролевые
(технические/личные)
запросы кода
вопросы, политические вопросы
Намерение запроса
Стандартные учебные запросы
Технический /
Точные алгоритмические вопросы,
Философские рефлексии, знакомство с
философский
запросы кода
ИИ
Типовые технические вопросы,
Нестандартный язык(китайский)
ролевые задачи
провокационные темы для эссе
Стандартность запроса
Вредоносные запросы,
попытки взлома / манипулирования
26

27.

Дополнительные эксперименты с моделями
Сравнение моделей и отслеживание экспериментов в MLflow:
27

28.

Перспективы развития проекта
Цели проекта для дальнейшего развития:
● Повысить качество прогнозирования за счёт использования современных трансформерных моделей
● Использовать полный набор эмбеддингов и дополнительные текстовые признаки
● Расширить анализ на все эмоции пользователей, а не только показатель нейтральности
● Разработать систему раннего выявления потенциально рискованных ответов ИИ
● Интегрировать модель в образовательную платформу для адаптации контента под эмоциональное
состояние пользователя
● Исследовать мультимодальный подход с использованием текста, поведения пользователя и других
источников данных
Ожидаемый результат: создание интеллектуальной системы мониторинга
эмоциональных реакций пользователей для повышения качества и безопасности образовательных
AI-систем
28

29.

Распределение работы в команде
Номер этапа
Файл результата
Выполнение
Объединяет и публикует
Неврова Элина
Демидова Полина
dataset.md
Этап 1
Шахова Галина
references.md
Ионова Кира
Ионова Кира
Неврова Элина
EDA_1.ipynb
Этап 2
Ионова Кира
Ионова Кира
Демидова Полина
Шахова Галина
Шахова Галина
EDA_2.ipynb
Аничкина Валерия
Неврова Элина
hypotheses_1.ipynb
Этап 3
Ионова Кира
Демидова Полина
Демидова Полина
Шахова Галина
Аничкина Валерия
hypotheses_2.ipynb
Аничкина Валерия
Этап 4
models.ipynb
Ионова Кира
Ионова Кира
key embedding analysis.docx
Аничкина Валерия
Аничкина Валерия
models_experiments.ipynb
Шахова Галина
Шахова Галина
Этап 5
29

30.

Спасибо за внимание!
30