Diplomnyj-proekt

1.

МИНОБРНАУКИ РОССИИ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ
«БЕЛГОРОДСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ им.В.Г.ШУХОВА»
(БГТУ им. В.Г. Шухова)
Дипломный проект
на тему:
Разработка программного обеспечения для выявления тревожного
поведения человека на основе нейросетевого анализа поз
Студент группы ВТ-222:
Кладов Вадим Дмитриевич
Руководитель:
ст. преподаватель Бондаренко Татьяна Владимировна

2.

Актуальность, цель и задачи
Актуальность
Цель
Задачи
Разработка легковесного ПО
Анализ методов и аналогов
традиционных системах
для оперативного обнаружения
Разработка архитектуры ПО
видеонаблюдения (усталость,
тревожного поведения на
Разработка и обучение
субъективность)
основе нейросетевого анализа
нейросетевого
Высокая стоимость
последовательности
классификатора
коммерческих систем
человеческих поз
Человеческий фактор в
Реализация обработки
видеоаналитики
видеопотока в реальном
Открытые решения не
времени
работают в реальном
времени для многолюдных
сцен

3.

Подходы к анализу
Анализ сырых видео (RGB)
Гибридные методы
Скелетный анализ
Обработка каждого кадра как
Объединение информации из RGB-
Извлечение ключевых точек тела
изображения или
кадров и карт движения в одной
человека, анализ
последовательности кадров .
сети
последовательности поз во
Проблемы: большой расход памяти
Проблемы: сохраняется
и времени счёта, зависимость от
чувствительность к условиям
освещения и фона.
съёмки, растут требования к
вычислительным ресурсам.
времени с помощью рекуррентных
сетей, графовых свёрток или
механизмов внимания.
Преимущества: устойчивость к
фону, одежде, освещению; низкая
вычислительная нагрузка.

4.

Обоснование технологического стека
Для реализации данного проекта необходимы следующие компоненты:
Язык программирования - Python 3.11
Фреймворк глубокого обучения - PyTorch 2
Детектор поз - YOLOv8n-pose
Обработка видео - OpenCV 4
Python 3.11
PyTorch 2
YOLOv8n-pose
OpenCV 4
Экосистема
Доминирующее
Одновременное
Функции отрисовки
машинного обучения
положение в
обнаружение
геометрии и текста
Высокая скорость
исследовательском
множества людей в
для визуализации
разработки
сообществе
кадре
скелетов и HUD-
Личное знакомство
с технологией
Формат выхода
совместим с
панели
Стандарт в области
моделью
компьютерного
Оптимальный
зрения
баланс скорости и
точности

5.

Задача и входные данные
Задача заключается в классификации временного окна. Входной тензор имеет вид:
B - размер батча
T - 64 (Длина окна)
P - 10 (Максимум людей в кадре)
F - 55 (Количество признаков на одного человека)
Состав вектора 55 признаков:
34 - координаты X, Y
17 - уверенность детектора для точки
4 - параметры "коробки" (центр, ширина, высота)

6.

Архитектура нейросетевой модели
Архитектура модели состоит из 5 блоков, которые последовательно преобразуют признаки позы в итоговый прогноз класса.
PersonCNN
1
Извлечение признаков позы
2
InteractionAttention
Учет взаимодействий
BiLSTM
3
Моделирование временной динамики
4
TemporalAttention
Взвешивание значимых кадров
ClassifierHead
Итоговая классификация
5

7.

Блок 1: Извлечение признаков позы
Преобразует сырой вектор признаков человека в эмбеддинг-представление.
Вход:
Тензор признаков (B, T, P, 55)
Архитектура блока - 2 полносвязных слоя
В блоке используется функция активации GELU вместо ReLU, так как является более плавной.
Выход:
Тензор признаков (B, T, P, 256)

8.

Блок 2: Анализ взаимодействий
Учёт взаимного расположения и групповых взаимодействий в каждом кадре
Вход:
Тензор признаков (B, T, P, 256)
Используется механизм многоголовог
о самовнимания по оси P - каждый человек "смотрит" на остальных. Для последующей
обработки векторы людей сворачиваются через обучающий запрос.
Выход:
Тензор признаков (B, T, 256)

9.

Блок 3: Моделирование временной
динамики
Анализ эволюции поведения во времени – выявление нарастающих паттернов
Вход:
Тензор признаков (B, T, 256)
Для моделирования временной динамики используется двунаправленная LSTM. В таком случае прямой проход
учитывает прошлое, а обратный - будущий контекст
Выход:
Тензор признаков (B, T, 512)

10.

Блок 4: Выбор значимых моментов
Вход:
Тензор признаков (B, T, 512)
Фокусировка на ключевых кадрах окна, подавление шума и статичных участков
Для этого блока используется механизм адаптивного внимания. Для каждого шага вычисляется оценка важности и
выполняется свертка. На результате - фиксированный вектор описывающий все временное окно.
Вход:
Тензор признаков (B, 512)

11.

Блок 5: Итоговая классификация
Вход:
Тензор признаков (B, 512)
Проекция вектора контекста в пространство классов.
В данном блоке используется двухслойный перцептрон, который уменьшает размерность до числа классов. В
данном блоке используется увеличенный Dropout = 0.4 для принуждения нейросети к обобщению.
Вход:
Тензор признаков (B, С)

12.

Структура программного обеспечения
Система спроектирована по модульной архитектуре:
Модуль предобработки
Превращает видеозаписи в числовые обучающие примеры.
Обучающий модуль
Настраивает веса модели
Модуль нейросети
Описывает архитектуру модели.
Модуль мониторинга
Запускает модель на живом видеопотоке

13.

Процесс обучения и оптимизация
Главная проблема - дисбаланс классов: нормального поведения в данных на порядок больше, чем аномалий. Без специальных приёмов модель
может «зазубрить» норму и пропускать тревожные ситуации.
Три ключевых решения
Focal Loss
AdamW + OneCycleLR
Штрафует за излишнюю
самоуверенность и помогает учиться на
редких и сложных аномалиях.
Сначала плавно разгоняет скорость
обучения, потом замедляет - это
помогает выйти из локальных
минимумов.
Маскирование пустых слотов
(Padding Mask)
Сеть «не видит» фиктивные пустые места
и работает только с реальными людьми в
кадре.
Защита от переобучения
Dropout
Layer Normalization
Early Stopping
Случайно «выключаем» часть нейронов,
чтобы сеть не запоминала шум.
Стабилизирует обучени
Останавливаем обучение, когда ошибка
на проверочных данных перестаёт
снижаться.

14.

Реализация и интерфейс мониторинга
Норма
Нападение
Стрельба

15.

Общие итоги
Теоретическая значимость
Спроектирована иерархическая архитектура
позволяющая гибко настраивать уровни обработки
Практическая значимость

16.

Перспективы развития
Масштабируемость по классам - Добавление новых типов тревожного поведения без изменения архитектуры
Edge-вычисления - Развертывание на аппаратных видеорегистраторах и edge-устройствах
Многокамерная аналитика - Объединение данных с нескольких камер для оценки поведения в большом
пространстве
Интеграция с системами безопасности - Отправка тревог в пультовые, автоматическая запись видео при
тревоге, уведомления на мобильные устройства