Задача инженерного тура финала НТО по профилю Технологии дополненной реальности

1.

Задача инженерного тура финала НТО
по профилю
ТЕХНОЛОГИИ ДОПОЛНЕННОЙ
РЕАЛЬНОСТИ

2.

AR или AI? Оба!
С распространением искусственного интеллекта у
технологии появились новые точки развития и
применения.
Задания НТО-2025 профиля Дополненной реальности
задействуют целый стек технологий, включая:
3D-моделирование
Чат-боты
Веб-программирование
2

3.

Постановка
.задачи
. Разработать цифрового аватара: виртуальную 3D-модель
реального человека со встроенным ИИ-агентом, настроенным
отвечать на вопросы в рамках темы Люди Байкала .
3

4.

Рекомендуемая разбивка по задачам. День 1
3D-дизайнер
AR-разработчик
Web-разработчик
Специалист по ИИ
Обсуждение идеи, выбор компонентов для визуализации и определение необходимой информации
Изменение аватаров под
личности выбранных
людей
Проработка сценария
взаимодействия пользователя с
приложением
Добавление объектов
одежды и волос
AR-сцена не исчезает, когда
маркер пропадает с камеры
Наложение материалов и
текстур на аватары
Определить формат и содержание ответа от бота
Обработка взаимодействия с
агентом (обработка ошибок)
Формирование базы знаний
Разработка собственного
маркера в тематике команды
Обработка ответа от бота
Построение схемы работы ИИагента (соответствует полному
сценарию взаимодействия)
Создание концепций
предметов
Оптимизация текстового ответа
от бота под пространство сцены
Под каждого пользователя /
сессию создается отдельный
чат
Правильная интерпретация темы /
объекта разговора
Блокинг предметов
Анимирование оверлея
4

5.

Рекомендуемая разбивка по задачам. День 2
AR-разработчик
Доработка предметов
ученых
Интерфейс для ввода вопроса
разными способами
Создание рига ученых
Доработка сценариев взаимодействия с учетом добавления
интерактивности
Запоминание контекста
общения (в рамках одной
сессии)
Создание анимации
ученых
Добавление интерактивности
оверлея (например, нажатия)
Расширение интерфейса
взаимодействия с ARконтентом через
внедрение жестов
Обработка вопросов вне
тематики бота
Экспорт моделей
Тестирование на различных
устройствах и запись демовидео
Создание презентации
Рекомендуемые
вопросы/темы с учетом
истории сообщений
Внедрение 3D-моделей
Web-разработчик
Специалист по ИИ
3D-дизайнер
Разработка концепции внедрения голосовых запросов и
ответов и последующая реализация
5

6.

Критерии оценивания. Задача
90% от общей оценки
Web (25 %)
ИИ (25 %)
3D (25 %)
AR (25 %)
Количество реализованных
моделей (один аватар + до
трех предметов)
Полный и логически верный
сценарий взаимодействия
(схема)
Правильные
трансформации объектов
AR-сцена не исчезает, когда
маркер пропадает с камеры
Передача запроса боту
(+ если настроен
отдельный чат для
каждого пользователя)
Реализация сценария
взаимодействия (полнота,
поддержание разговора)
Сходство с референсом,
единство стиля
Маркер дополненной
реальности
Расширение интерфейса
засчет интерактивности
Рекомендация тем для
общения
UV развертка и текстуры
Корректное отображение
оверлея на сцене
Голосовые запросы и
ответы
Оптимизация под
дополненную реальность
Адаптация ответа и
интерфейса под
пользовательское
устройство
Обработка ошибок
соединения с ботом
База знаний (концепт +
реализация)
6

7.

Критерии оценивания. Презентация
10% от общей оценки
Презентация
Доклад
Презентация имеет брендированный под команду стиль
Соблюден регламент защиты (7 минут презентация + 3 видео)
Представлены схемы (концепция базы знаний, сценарий
пользования) и использованные в проекте ассеты
(модели, изображения, шрифты)
Ответы команды на вопросы
Демо-видео отражает реализованный функционал
Рассказано о вкладе каждого участника в проект
7

8.

Особенности
-
-
Для построения чат-бота необходимо использовать альтернативу платформы Botpress Langflow, установленную локально. Инструкция доступна по ссылке, а также на локальном
сервере.
На локальном сервере будут доступны все необходимые библиотеки и материалы.
8