ivanov_presentation_remade_by_template

1.

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ
УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ
«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ «МИСИС»
Интегрируемая система
автоматического перевода
русского жестового языка
в текст и аудио
Студент: Иванов Илья Олегович
Группа: БИВТ-22-СП-1
Научный руководитель: Морозова М. В.
Москва, 2026

2.

misis.ru
Цель работы
Разработка прототипа мобильной интегрируемой системы
автоматического перевода русского жестового языка в текстовую и
звуковую форму.
Основа решения: клиент-серверная архитектура и модуль машинного обучения для
распознавания жестов по видеопотоку.
Ключевой результат: полный путь данных от камеры смартфона до текста и аудио.
2

3.

misis.ru
Актуальность работы
Коммуникационный барьер
Доступность смартфона
Сложность жеста
Слышащий собеседник часто не владеет
РЖЯ, а переводчик недоступен в
бытовых и сервисных ситуациях.
Камера, экран, динамик и сеть уже есть
в мобильном устройстве пользователя.
Смысл зависит от движения, темпа,
траектории, корпуса и условий съёмки.
Система должна быть не набором алгоритмов, а понятным пользовательским сценарием: захват
видео → распознавание → текст → озвучивание.
• повышение доступности коммуникации
• отказ от специализированных перчаток и стационарной инфраструктуры
• интеграция с мобильными и внешними клиентами
3

4.

misis.ru
Аналоги и новизна решения
Сенсорные перчатки
Стационарные камеры
Мобильное CV-решение
точные данные о движении, но
требуется отдельное оборудование
мощная обработка, но зависимость от
подготовленной инфраструктуры
использует камеру смартфона и
серверный инференс
Новизна: интегрируемый сервис распознавания, к которому можно подключать
разные клиентские устройства без переработки ML-модуля.
4

5.

misis.ru
Текущее состояние предметной области (AS-IS)
Ключевые проблемы
• коммуникация зависит от переводчика или
письменного общения
• при отсутствии переводчика растёт число повторов и
риск ошибки
• нет массового мобильного инструмента для быстрого
перевода жестов
Вывод: нужно цифровое промежуточное звено между жестовым сообщением и слышащим собеседником.
5

6.

misis.ru
Целевое состояние предметной области (TO-BE)
Шаг 1
смартфон фиксирует жестовый фрагмент
Шаг 2
сервер передаёт видео в модуль распознавания
Шаг 3
клиент получает текст и запускает озвучивание
Целевая модель снижает зависимость от переводчика и позволяет развивать словарь жестов без
перестройки всего приложения.
6

7.

misis.ru
Архитектура системы
Распределение ответственности
Клиент
камера, UI, статус обработки, текст и audio
Сервер
валидация данных, маршрутизация, журналирование
Модель
предобработка, инференс, класс и confidence
Единый API позволяет заменить модель или подключить новый клиент без полной переработки системы.
7

8.

misis.ru
Алгоритм обработки пользовательского запроса
1
Захват
камера
формирует
видеофрагмент
2
Передача
клиент
отправляет
запрос
3
Валидация
сервер
проверяет
формат и
размер
4
Инференс
модель
возвращает
класс и
уверенность
5
Ответ
текст
отображается и
озвучивается
Каждый этап имеет понятный вход и выход. Это упрощает тестирование, замену компонентов и
обработку ошибок сети или модели.
• низкая уверенность → повтор жеста
• ошибка сети → понятное сообщение
• некорректный формат → запрос не передаётся в модель
8

9.

misis.ru
Модель распознавания: MViT V2
Multiscale Vision Transformer
• обрабатывает видео на нескольких масштабах
• учитывает как мелкие движения пальцев, так и
движение всей руки
• постепенно сжимает пространство/время и увеличивает
глубину признаков
• подходит как базовая архитектура для
видеоклассификации жестов
Интуиция: разные масштабы помогают модели одновременно видеть детали жеста и общий контур
движения.
9

10.

misis.ru
Модель распознавания: VideoMAE
Идея masked autoencoder
• видео разбивается на 3D-патчи
• часть патчей маскируется
• encoder строит представление по видимым
фрагментам
• decoder восстанавливает пропущенные части
• эффективно при ограниченных размеченных данных
Для РЖЯ это важно, потому что открытых размеченных данных меньше, чем в крупных задачах
распознавания действий.
10

11.

misis.ru
Foundation models и VLM-подход
Vision-language модели
• сопоставляют видео жеста с текстовым описанием
• позволяют работать с названиями классов и
подсказками
• перспективны для расширения словаря
• требуют адаптации для точного учёта динамики РЖЯ
Качество few-shot/VLM-предсказаний растёт при добавлении примеров, но для стабильного распознавания
жестов нужна доменная адаптация.
11

12.

misis.ru
Математическая модель
1. Входное видео
2. Токены
3. Класс
X = {x₁, x₂, …, xₜ}
кадры приводятся к единому
размеру
zᵢ = E(Pᵢ) + eᵢ
патчи + позиционная информация
p(y=k|X) → ŷ
словарь D(ŷ) даёт текст
Attention(Q,K,V) = softmax((QKᵀ)/√d)V
Правило принятия решения: если pmax ≥ τ — выводится текст; если pmax < τ — система просит
повторить жест.
12

13.

misis.ru
Экспериментальные результаты: точность
Подмножество Slovo-100
76%
68%
стандартные условия
пониженная
освещённость
72%
74%
динамичные жесты
длительная сессия
Вывод: точность подтверждает работоспособность контура, а сложные условия съёмки задают
направления оптимизации.
13

14.

misis.ru
Экспериментальные результаты: время отклика
Средняя задержка: 5–15 секунд
• качество интернет-соединения
• размер передаваемого видеофрагмента
• загрузка сервера
• время инференса модели
Перспективы оптимизации
• on-device inference
• квантование модели
• сжатие видеопотока
• кэширование признаков
14

15.

misis.ru
Интерфейс мобильного приложения
Основной пользовательский
сценарий
• открыть камеру
• запустить распознавание
• дождаться статуса обработки
• получить текстовый результат
• при необходимости озвучить ответ
Интерфейс должен скрывать технические
детали модели и показывать
пользователю понятные состояния
обработки.
15

16.

misis.ru
Заключение
В ходе работы сформирована концепция и архитектура мобильной интегрируемой системы автоматического
перевода РЖЯ в текст и аудио.
Полученные результаты
• описан мобильный пользовательский сценарий
• предложена архитектура «клиент — сервер — модель»
• сформирована математическая модель распознавания
• определены метрики и протокол проверки прототипа
Практическая значимость
• поддержка коммуникации в сервисных и бытовых
ситуациях
• расширение словаря жестов без смены архитектуры
• подключение мобильных, веб- и терминальных клиентов
• перспектива переноса инференса на устройство
Цель работы достигнута: разработаны постановка задачи, архитектурное решение и модель прототипа системы
перевода РЖЯ.
16

17.

Спасибо
за внимание!
Ленинский проспект, д. 4
Москва, 119049
E-mail: m2203343@edu.misis.ru
misis.ru