Интеллектуальные оборонные системы. Системы управления РТК

1.

«ИНТЕЛЛЕКТУАЛЬНЫЕ
ОБОРОННЫЕ СИСТЕМЫ»
ГРУППА 2
«СИСТЕМЫ УПРАВЛЕНИЯ РТК»

2.

РАБОТЫ, ВЫПОЛНЕННЫЕ ГРУППОЙ ЗА ВТОРОЙ СЕМЕСТР
1. Разработана общая схема node и подробные схемы node каждого блока
2. Создана базовая виртуальная модель в 3D симуляторе робототехники
3. Разработано базовое программное обеспечение для управления движением РТК
4. Проведен анализ параметров электропитания
5. Разработка алгоритма для автономного управления РТК
6. Обучение модели нейросети для распознавания образов
7. Тестирование лидара цифрового двойника в среде Gazebo
8. Реализация программно-аппаратного комплекса для запуска РТК с бортового компьютера.
Настройка связи между устройствами
9. Удаленное получение и передачи видеоданных с помощью одноплатного компьютера Raspberry Pi 4

3.

ФУНКЦИОНАЛЬНАЯ СХЕМА РОБОТОТЕХНИЧЕСКОГО КОМПЛЕКСА
ДЛЯ ОБЕСПЕЧЕНИЯ
РАЗРАБОТКИ СИСТЕМ
ПО
ФУНКЦИОНАЛЬНОЙ
СХЕМЕ ОПРЕДЕЛЕН
ПЕРЕЧЕНЬ ПОКУПНЫХ
ЭЛЕМЕНТОВ И
ПОДАНЫ ЗАЯВКИ НА
ЗАКУПКУ В 2025 ГОДУ

4.

СТРУКТУРА ВЗАИМОДЕЙСТВИЯ УЗЛОВ ПО РТК
ЭЛЕМЕНТЫ СХЕМЫ
1. Изображение камеры
2. Данные с датчиков
3. GPS, MPU, лидар, УЗ
датчики, лазерные
датчики
4. Изображение камеры и
тепловизора

5.

СХЕМА ПРИНЯТИЯ ДАННЫХ С ДАТЧИКОВ

6.

СХЕМА БЛОКА НАВИГАЦИИ
ЭЛЕМЕНТЫ СХЕМЫ
1. От Node - показатели датчиков (sensor_data)
2. От Node - Пульт (remote_controller)
3. От Node - управление моторами (motor_control)
4. В Node - Управление поведением
(motion_control)

7.

СХЕМА УПРАВЛЕНИЯ ПУЛЬТОМ

8.

СХЕМА УПРАВЛЕНИЯ ГЕЙМПАДОМ

9.

РАЗРАБОТКА ПРОГРАММЫ ДЛЯ ОБРАБОТКИ СИГНАЛОВ С ПУЛЬТА
УПРАВЛЕНИЯ
1. Установлена ОС Raspbian на одноплатный
компьютер Raspberry (C++)
2. Установлена среда ROS2 на одноплатный
компьютер Raspberry
3. Написана программа для обработки сигнала с
джойстика на Raspberry (C++)
4. Написана программа для передачи сигнала с
Raspberry на двигатель (ШИМ)
5. Изучается возможность применения библиотеки
Joystic C++

10.

СОЗДАНИЕ И ЗАПУСК МОДЕЛИ ЦИФРОВОГО
ДВОЙНИКА В GAZEBO
1. Упрощенная 3D-модель разработана в 3D-симуляторе
робототехнике Gazebo в формате данных SDF.
2. Далее необходимо конвертировать модель в среду ROS2 в формате
данных URDF (единый формат описания робота), который подходит
для работы с более сложными моделями.
3. Перед окончательной разработкой конструкции опытного образца
все внутренние компоненты будут размечены в виртуальном
пространстве (положения двигателя, аккумуляторов и датчиков).
4. По результатам испытания опытного образца цифровой двойник
будет доработан и улучшен.
5. После можно проводить разработку систем автоматического
обучения и тестирования.

11.

ТЕСТИРОВАНИЕ ЛИДАРА ЦИФРОВОГО ДВОЙНИКА
Добавлен лидар в цифровую модель
Получение данных от лидара

12.

Преодоление препятствий в Gazebo
После создания SDF-файла, описывающего сцену, включающую модель робототехнического комплекса (РТК) и
препятствий, была разработана программная нода, реализующая алгоритм преодоления препятствий. Основным
препятствием выступает стена, преодоление которой осуществляется с использованием IMU-датчика,
обеспечивающего управление процессом поворота. Лидар измеряет расстояние до препятствия, инициируя
манёвр поворота при приближении к стене на расстояние менее 1,5 метра.
В настоящее время ведётся разработка усовершенствованного лидара с увеличенным числом лучей, что
позволит точно определять границы препятствий. Это даст возможность оптимизировать алгоритм, обеспечивая
выбор направления поворота на основе анализа расстояний до препятствия с различных сторон для построения
оптимального маршрута.
Параллельно разрабатывается алгоритм обработки данных с камеры, направленный на комплексную оценку
сцены и повышение эффективности преодоления препятствий. Однако из-за ограниченного качества моделей
датчиков текущий алгоритм остаётся базовым. Основное внимание на данном этапе уделяется
совершенствованию сенсорных систем, без которых создание полноценного алгоритма преодоления
препятствий не представляется возможным.
Параллельно разрабатывается алгоритм обработки данных с камеры, направленный на комплексную оценку
сцены и повышение эффективности преодоления препятствий. Однако из-за ограниченного качества моделей
датчиков текущий алгоритм остаётся базовым. Основное внимание на данном этапе уделяется
совершенствованию сенсорных систем, без которых создание полноценного алгоритма преодоления
препятствий не представляется возможным.

13.

Реализация
Преодоление препятствия в виде
стены
Управление моделью при помощи
клавиш клавиатуры

14.

Создание датчиков в среде Gazebo
На 3-D модель РТК, программным кодом xaml установлены USB-камера, доработан лидар (добавлена
вертикальная ось ) и imu-датчик. Программа написана таким образом что возможно задавать различные
параметры для датчиков и камеры.
При симуляции движения РТК в среде GAZEBO, камера, лидар и IMU-датчик передают данные с помощью
встроенных участков кода (topic ROS2) для последующей обработки в node.

15.

Сборка пакетов ROS2 для обработки видео с камеры
Написаны node (ноды) на языке С++ для получения и обработки данных с usb-камеры и собраны в
универсальный пакет ROS2.
Проводится работа по настройке связи ROS2 – GAZEBO, а именно моста между ROS2 – topic, для
возможности отработки написанных NODE в 3-d симуляции.

16.

РАЗРАБОТКА АВТОНОМНОЙ СИСТЕМЫ УПРАВЛЕНИЯ
Цели и задачи: Разработка ПО на основе нейронных сетей для автономного управления мобильным
роботом
Работа выполнена в ходе прохождения стажировки в Институте проблем управления им. В.А.
Трапезникова РАН
Этапы:
1. изучение технической документации и специфики проекта;
2. подготовка датасета для обучения нейросети;
3. разработка методических материалов для разметки изображений;
4. расчёт параметров камеры;
5. создание прототипа программы управления роботом.

17.

СБОР И РАЗМЕТКА ДАННЫХ
1. Создание таблицы, описывающей правила съёмки объектов.
2. Сбор изображений для собственного датасета.
3. Разработка методических указаний для разметки изображений.
4. Проведение первичной аннотации изображений с использованием
инструмента LabelMe.

18.

Подготовка датасета
Для подготовки данных к обучению модели YOLOv8 были
разработаны вспомогательные скрипты на Python,
автоматизирующие ключевые этапы обработки:
1. Объединение данных: все изображения и разметки собраны в
одной директории для удобства
2. Конвертация форматов: файлы разметки из JSON переведены в
формат TXT (YOLOv8)
3. Разделение выборки: данные разделены на обучающую и
тестовую в соотношении 80:20 %
4. Проверка разметки: скрипт визуализации позволил убедиться в
корректности координат и классов. Результат совпал с оригиналом —
данные готовы к обучению.
Восстановленный кадр

19.

АНАЛИЗ ПАРАМЕТРОВ КАМЕРЫ РОБОТА
На основе данных с камеры выполнены расчёты ключевых
характеристик:
эффективный размер пикселя;
размытие изображения при движении (смаз);
максимальная угловая скорость, при которой изображение
сохраняет приемлемую чёткость.
Эти данные будут
необходимы для
эффективного решения
задач компьютерного
зрения.

20.

УДАЛЕННОЕ ПОЛУЧЕНИЕ И ПЕРЕДАЧА ВИДЕОДАННЫХ
К устройству подключается видеокамера,
с которой осуществляется захват
видеопотока в реальном времени
Видеопоток отправляется на удалённый
вычислитель по локальной сети
Реализовали удалённый доступ к консоли
Raspberry Pi, где успешно запущен
видеопоток.

21.

АРХИТЕКТУРА НЕЙРОСЕТЕВОГО ОБУЧЕНИЯ
Сбор данных
Объекты
Видеокамера
Оценка решаемой работоспособности модели
Формирование ТЗ
на разметку
Предварительная
обработка данных
Разметка объектов
Обученная нейронноя
модель
Обучаемая нейронноя
модель
Обучающая выборка
Валидационная выборка
Формирование базы
данных для обучения
Тестовая выборка
Уточнение модели
Нейронная модель машинного
обучения

22.

Обучение модели YOLOv8
Для задачи детектирования препятствий была выбрана модель
YOLOv8, в частности, версия YOLOv8n (nano) — самая лёгкая из серии
YOLOv8. Этот выбор обусловлен следующими преимуществами
модели:
1. Высокая скорость работы, что особенно важно при обработке
видеопотока в реальном времени.
2.Поддержка фреймворка PyTorch, позволяющая легко интегрировать
модель в существующее программное обеспечение.
3. Простота использования и обучения, благодаря наличию готовых
инструментов и документации от Ultralytics.
Статистика размеров объектов и их
расположения

23.

Основные параметры обучения
Режим задачи: detect (обнаружение объектов)
Тип обучения: train
Количество эпох: 350
Размер батча: 50
Тип обучения: train
Размер входных изображений: 640x640 пикселей
Матрица ошибок

24.

Тест модели
Успешные детекции:
• Чёткое обнаружение столов,
стульев, людей и других крупных
объектов
• Устойчивость к изменениям
освещённости и ракурса
Неуспешные детекции:
• Пропуск маленьких или
частично закрытых объектов
• Ложные срабатывания на
сложных фоновых текстурах

25.

ПРОЕКТИРОВАНИЕ АРХИТЕКТУРЫ СИСТЕМЫ
Составлена функциональная схема макета роботизированной платформы

26.

Этапы работы системы
1. Получение видеопотока: камера на Raspberry Pi
записывает видео формата 640×480 в 30 FPS
Реализовано в модуле pi_camera_client.py
2. Обработка видеопотока и детектирование объектов:
видео передаётся на ноутбук, где модель YOLOv8
обнаруживает препятствия (Yolo_server.py)
3. Анализ «безопасной зоны»: строится область перед
роботом, попадание в которую считается критическим.
Используется библиотека shapely для анализа
пересечений. Также реализовано в Yolo_server.py
4. Формирование команд управления: на основе
данных от YOLOv8 формируются команды движения
(Yolo_server.py и server.py)
5. Исполнение команд на аппаратном уровне: команды
поступают на Raspberry Pi. Управление двигателями
через GPIO (client.py)
ВИДОС ВСТАВИТЬ КАК
МАШИНКА КАТАЕТСЯ И ЧТО
Н А ЭКРАНЕ

27.

РЕАЛИЗАЦИЯ ПРОГРАММНО-АППАРАТНОГО КОМПЛЕКСА
ДЛЯ УПРАВЛЕНИЯ ДВИГАТЕЛЯМИ РТК С БОРТОВОГО
КОМПЬЮТЕРА
1. Разработка низкоуровневого программного обеспечения:
Совместно с группой приводов создано low-level ПО для управления драйвером двигателя.
2. Создание интерфейса на C++:
Разработан интерфейс на языке C++ для взаимодействия с драйвером.
3. Реализация протоколов связи:
В интерфейсе реализованы протоколы, обеспечивающие связь между high-level и low-level программным
обеспечением.
4. Интеграция с Python:
Обеспечено управление двигателями непосредственно из скриптов на Python через разработанный
интерфейс.

28.

РЕАЛИЗАЦИЯ ПРОГРАММНО-АППАРАТНОГО КОМПЛЕКСА
ДЛЯ УПРАВЛЕНИЯ ДВИГАТЕЛЯМИ РТК С БОРТОВОГО
КОМПЬЮТЕРА

29.

ГЛОБАЛЬНЫЕ ПЛАНЫ ПО УСОВЕРШЕНСТВОВАНИЮ ПРОГРАММНОГО
ОБЕСПЕЧЕНИЯ СИСТЕМ УПРАВЛЕНИЯ РТК
ЭВОЛЮЦИЯ СИСТЕМЫ УПРАВЛЕНИЯ:
РАЗРАБАТЫВАЕМ:
2026 ГОД:
- ПОСТРОЕНИЕ КАРТЫ ОКРУЖЕНИЯ,
БАЗИРУЯСЬ НА ДАННЫХ ЛИДАРА И
СТЕРЕОКАМЕР
Блок управления
робототехническим комплексом
2027-2028 ГОДЫ:
- САМОСТОЯТЕЛЬНОЕ ФОРМИРОВАНИЕ
МАРШРУТА В ЗАДАННУЮ ТОЧКУ;
- программное обеспечение
одноплатного компьютера с
алгоритмами искусственного
интеллекта;
- программное обеспечение
контроллера
- ВЫРАБОТКА АЛГОРИТМА ДОСТИЖЕНИЯ
ПОСТАВЛЕННОЙ ЗАДАЧИ
2029 ГОД:
- УСЛОЖНЕНИЕ ЗАДАЧ ДЛЯ
АВТОМАТИЗИРОАННОГО ИСПОЛНЕНИЯ
Программное обеспечение
блока управления: