Презентация_по_проекту_Распознавание_эмоций

1. Распознавание эмоций младенцев

Ризаев В.О.
Галактионов
А.И.
Пантелеев
Д.А.

2.

Контекст деятельности
Коллеги из РНИМУ Пирогова оказывают помощь недоношенным детям.
Для подбора лечения состояние новорожденных оценивается по
множеству различных показателей. Один из показателей – это
ощущение боли. Необходимо определять, испытывает ли ребёнок
боль, и, если да, то корректировать терапию.
Проблема
В текущем сценарии
медицинский персонал имеет
единственную возможность
оценить уровень болевых
ощущений у новорождённых:
необходимо физически
находиться рядом с ними и
визуально оценивать уровень
боли (руководствуясь
стандартизированными
критериями)
Цель
Разработать цифровой сервис для
автоматического мониторинга
состояния новорождённых на предмет
наличия болевых ощущений и
оповещения медицинского персонала.
Метрика достижения цели
Сокращение временных затрат
медицинских работников по
выявлению младенца, которому
необходимо оказать помощь (на
которого необходимо обратить
внимание)

3. Образ результата

Функционал IT – решения
1. Обработка поступающего видеопотока с камеры видеонаблюдения
(нарезка на кадры и выявление признаков)
1.1. Сегментирование лица (выделение и опознавание лица в
видеопотоке);
1.2. Кластеризация лица (выделение основных элементов лица,
такие как рот, глаза, нос);
1.3. Выявление признаков боли по мимике лица (зажмуривание,
покраснение, сморщивание);
2. Вывод в виде графических сигналов состояния каждого
младенца.

4. Модель “Чёрный ящик”

• Входная информация –
видеопоток (видео с младенцем
нарезается на кадры и каждый
кадр анализируется).
• Выходная информация –
сигнал в интерфейсе о наличии
проблемной ситуации.
• Источник информации –
камера.
• Потребитель информации –
медсестра.
видеопоток
Сигнал в интерфейсе

5. Основные технологии:

• Фреймворк для Компьютерного Зрения: Ultralytics YOLOv11.
• Язык Программирования: Python — основной язык для работы
с ML-фреймворками.
• Библиотеки для работы с данными: Pandas, NumPy.
• Сервер приложений: FastAPI или Flask.
• Протокол связи: WebSocket.
• Рабочий интерфейс: JS, react, zustand

6. Ближайшие задачи

1. Реализация сегментации лица на видео потоке (может ли
модель различать лицо на видеопотоке)
2. Калибровка и отладка работы модели в видеокамере: более
точно / достоверно определять наличие боли у младенца
(увеличить количество верно классифицированных младенцев
по принципу «х вы указали верно, у мы указали неверно»;
проверить по основным метрикам качества предсказания
accuracy, precision, recall, f1-score)
3. Разработка интерфейса для взаимодействия с пользователем

7. Чего нам не хватает?

1. Технические знания (что лучше
изучить для решения наших задач)
2. Опыт в применении и реализации
3. Составление грамотной архитектуры
проекта