Umnye-perchatki

1.

«Создание инновационных
Контроллеров
для компьютера и VR/AR»
Научный руководитель:
доцент, кандидат химических наук
Э.О. Иремадзе
Выполнили:
студенты группы ПМИ-41
Н.С. Жолобов
Э.А. Сафин
Б.В. Белявцев

2.

Актуальность и Цель
Проекта
Проблема
Клавиатура и мышь неудобны из-за низкой мобильности. Требуют ровной
поверхности, неудобны в транспортировке и использовании в разных
положениях тела.
Цель
Задачи
Создание перчаток, заменяющих
Создание прототипа с
размеченными зонами
клавиатуру и мышь.
Разработка алгоритма
распознавания нажатий
Создание технической
архитектуры
2
Внедрение ПО в прототип

3.

Команда Проекта
Жолобов Никита
Сафин Эльдар
Материальная часть: прототип
Программный код: связь
перчаток, дизайн продукта,
микроконтроллеров Bluetooth
оптимизация расположения
между собой и с компьютером,
компонентов, пайка и крепление
разработка ПО для приёма данных.
электроники.
Белявцев Борис
Интерфейс программы: дизайн, логика взаимодействия пользователя с
продуктом, нейросетевая коррекция текста.
3

4.

Материалы и
Компоненты
Электроника
Провод AWG30 для
коммуникации
Плоский аккумулятор
(350 мкА/ч)
Микроконтроллер ESP32 C3
Гироскоп-акселерометр
Модуль зарядки TP4056
BMI160
Микропереключатель
Неодимовые магниты 5x1 мм
Датчики Холла TMAG5273
Мультиплексор CJMCU-9548
Модули отслеживания в
пространстве DWM3000TR13
4
Питание и
Конструкция

5.

Код на ESP32
Инициализация BLE
Настройка BLE-сервера и сервиса для передачи данных на
компьютер
Чтение данных
Сбор данных с акселерометра BMI160 и вычисление положения
модуля DWM3000TR13 для определения движения и положения
руки в пространстве
Обработка нажатий
Распознавание символов и действий мыши (ЛКМ, ПКМ, СКМ,
колесико)
Передача данных
Формирование и отправка пакетов данных через BLE
5

6.

Код на Python
Назначение
Python-скрипт принимает данные с ESP32 по BLE, обрабатывает их и
эмулирует действия мыши и клавиатуры на системном уровне.
1
Приём данных
Получение пакетов по BLE с ESP32
2
Обработка
Декодирование и интерпретация данных
3
Эмуляция
Системные действия мыши/клавиатуры
6

7.

Инструменты и Технологии
Инструменты разработки
Figma — для интерактивных прототипов интерфейса.
Python — основной язык разработки интерфейса.
Flet (ft) — фреймворк для кроссплатформенного GUI.
Pickle — для сериализации данных и сохранения настроек.
Multiprocessing — для параллельных вычислений.
Threading — для фоновой обработки задач.
Дополнительные модули — специализированная
логика приложения.
Аппаратное взаимодействие
7
BLEDevice.h — для работы с BLE.
SparkFun_BMI160.h — для работы с акселерометром
dw3000.h — для отслеживания руки в пространстве

8.

Будущее проекта:
эволюция VR-перчаток
1
Быстрый ввод текста
Скорость печати выше, чем «тыканием» виртуальной
клавиатуры контроллером.
2
Повышенная точность передачи движений рук
Отслеживание каждого пальца и естественных микродвижений.
3
Полная замена функционала
VR-контроллеров
Все стандартные действия (выбор, захват, перемещение)
сохраняются.
8