Предзащита

1. Разработка программного обеспечения для решения инженерных задач с применением технологий дополненной реальности

Магистерская
диссертация
Разработка программного обеспечения для решения инженерных
задач с применением технологий дополненной реальности
Ягольницкий Сергей Юрьевич, магистрант ДВФУ по научной специальности
M9124-01.04.02 “Прикладная математика и информатика”
Научный руководитель
Старший преподаватель Департамента ПИиИИ
Логачев Е.М.

2. Оглавление

• Актуальность (слайд 3-4)
• Математическая модель обработки VLM (слайд 13)
• Цели и задачи (слайд 5)
• Математическая модель дополненной реальности
• Обзор существующих подходов решения задачи
создания 3D моделей по чертежам(слайд 6)
• Анализ существующих программных решений (слайд 78)
(слайд 14)
• Архитектурно контекстная диаграмма (слайд 15)
• Диаграмма потоков данных (слайд 16)
• Тестирование (слайд 17)
• Информационные объекты (слайд 9)
• Демонстрация работы системы (слайд 18-20)
• Алгоритм распознавания чертежа (слайд 10)
• Заключение (слайд 21)
• Архитектура нейронной сети (слайд 11-12)
• Список литературы (слайд 22)

3. Актуальность

Современные инженерные задачи становятся всё сложнее. Специалисты регулярно сталкиваются с тремя ключевыми
проблемами:
Сложность интерпретации чертежей и проектной документации — работа с 2D чертежами требует высокой
квалификации и значительных временных затрат
Ограниченные возможности визуализации — традиционные инструменты не позволяют в полной мере оценить
будущий объект в реальном пространстве
Высокая стоимость прототипирования — физическое создание макетов и прототипов требует значительных
материальных ресурсов
Дополненная реальность (AR) — перспективное решение этих проблем. AR позволяет накладывать виртуальные объекты
на реальное окружение, открывая принципиально новые возможности для визуализации, проектирования, анализа и
взаимодействия с инженерными системами непосредственно в рабочем пространстве.
Однако внедрение AR в инженерную практику сдерживается рядом факторов:
Ограничения существующих программных систем
Недостаточная проработанность алгоритмов распознавания и обработки данных
Отсутствие универсальных решений, адаптированных под специфику инженерных задач

4.

Актуальность
Объект исследования
Программные системы, реализующие функционал дополненной реальности для решения инженерных задач — как коммерческие
продукты, так и специализированные разработки для конкретных областей инженерии.
Предмет исследования
Алгоритмы и методы, используемые в таких системах для обработки данных, визуализации трёхмерных моделей и интеграции ARрешений в инженерные процессы.
Научная новизна
Разработка подхода к автоматическому распознаванию инженерных чертежей и генерации на их основе трёхмерных моделей — задача,
не имеющая универсального решения в существующих системах.
Практическая значимость
Разработанное программное средство позволяет инженерам:
оперативно визуализировать спроектированные детали в реальном масштабе
работать непосредственно в рабочем пространстве
использовать в качестве входных данных обычную фотографию чертежа
обходиться без специализированного оборудования

5. Цели и задачи

Цель
Целью магистерской диссертации является разработка модели и методов программной системы для создания 3D деталей по чертежам и
визуализации их в дополненной реальности.
Задачи
Задачами магистерской диссертации являются:
1. Подготовить обзор литературы и анализ существующих решений по теме создания 3D моделей по чертежам и их визуализации в
дополненной реальности.
2. Выполнить анализ, построить модель предметной области создания 3D моделей по чертежам и их визуализации в дополненной
реальности.
3. Разработать проект программной системы по созданию 3D моделей по чертежам и их визуализации в дополненной реальности.
4. Реализовать и протестировать программную систему по созданию 3D моделей по чертежам и их визуализации в дополненной
реальности.

6. Обзор существующих подходов решения задачи создания 3D моделей по чертежам

Критерий
Классические методы CV
CNN-based методы
VLM ✓
Размеченные данные
Не нужны
Большой объём
Минимум
Аксонометрические чертежи
Не применимы
Ограниченно
Хорошо
Семантическое понимание
Нет
Частичное
Да
Извлечение размеров
Отдельный OCR
Отдельный OCR
Совмещено
Обобщаемость
Низкая
Низкая
Высокая

7. Анализ существующих программных решений

Рисунок 1 – Приложение Trimble
Connect
Рисунок 2 –Приложение JigSpace

8. Анализ существующих программных решений

Функция
Trimble Connect
Scope AR
JigSpace
Наша система
Без спец. оборудования
Частично
Частично
Да
Да ✓
Безмаркерная AR
Да
Да
Да
Да ✓
Авто-генерация 3D из чертежа
Нет
Нет
Нет
Да ✓
CAD-интеграция
Да
Да
Да
Нет
Интерактивные инструкции
Да
Да
Да
Нет

9.

Информационные объекты
Объект
Параметры
Ограничения
Изображение
Разрешение = (W, H), W ∈ ℕ, H ∈ ℕ,
Формат ∈ {.png, .jpg},
Содержание: img = I(x, y), где x ∈ [0, W-1], y ∈ [0, H-1],
каждый пиксель I(x, y) = (R, G, B), R, G, B ∈ [0, 255] ∩ ℤ
Разрешение ≥ 480×480
Размер файла ≤ 10 МБ
Файл не повреждён
Чертёж
Точки P = {P₁, P₂, .., Pₙ}, где Pᵢ = (x, y), x ∈ [0, W-1], y ∈ [0, H-1], x, y ∈ ℤ,
Рёбра E = {e₁, e₂, .., eₙ}, где eᵢ = (Pⱼ, Pₙ), Pⱼ, Pₙ ∈ P,
Размеры R = {r₁, r₂, .., rₙ}, где rᵢ ∈ ℕ, rᵢ > 0. j ∈ [1,n], k ∈ [1,n]
Все контуры замкнуты: ∀Cᵢ — замкнутый контур ∀eᵢ ∈ E
∃rᵢ ∈ R
Не существует точек без связи «ребро»
3D модель
Вершины V = {P₁³, P₂³, …, Pₙ³}, где Pᵢ³ = (x, y, z), x, y, z ∈ ℝ,
Рёбра E = {(Pᵢ³, Pⱼ³)}, где Pᵢ³, Pⱼ³ ∈ V,
Грани F = {f₁, f₂, …, fₙ}, где