Обзор применения технологии естественноинтуитивного взаимодействия с компьютером в сферах жизни (Лекция 1)

1.

Естественно-интуитивное
взаимодействие с компьютером
Лекция 1
Обзор применения технологии естественноинтуитивного взаимодействия с компьютером в
сферах жизни, основываясь на исследовании
пользовательского опыта

2.

Пульсометры
Варикард
Айтрекер
Энцифолограф
LeapMotion
Kinect
Intel RealSence

3.

Содержание лекции
Введение
Приложения для медицинских целей
Воспринимающий компьютинг в образовании
Управление встроенными системами и техникой
Естественно-интуитивное управление мультимедиа
Дополненная реальность
Виртуальные музыкальные инструменты
Естественно-интуитивное управление в играх
Заключение

4.

Естественно-интуитивное взаимодействие
с компьютером
Перстами легкими как сон
И горний ангелов полет,
Моих зениц коснулся он.
И гад морских подводный ход,
Отверзлись вещие зеницы,
И дольней лозы прозябанье.
Как у испуганной орлицы.
...
И бога глас ко мне воззвал:
Моих ушей коснулся он, —
«Восстань, пророк, и виждь, и внемли,
И их наполнил шум и звон:
Исполнись волею моей,
И внял я неба содроганье,
И, обходя моря и земли,
Глаголом жги сердца людей»
А.С. Пушкин «Пророк»

5.

Введение
Начиная с интерфейса командной строки (CLI) и перейдя к
графическим пользовательским интерфейсам (GUI), в
данный момент мы находимся на пороге открытия
следующего этапа более естественных интерфейсов, которые
основаны на традиционных парадигмах человеческого
взаимодействия, таких как осязание, зрение, речь и, самое
главное, творчество.

6.

Приложения для медицинских целей (1)
Система GestSure (http://gestsure.com/)
использует усовершенствованные датчики,
которые позволяют хирургу получать
доступ к изображениям с помощью
простых жестов. Находясь рядом с
операционным столом, хирург использует
простой набор команд-жестов, который
позволяет им выполнять все, что и при
работе с обычной мышью.

7.

Приложения для медицинских целей (2)
Jintronix (http://www.jintronix.com/) использует
сенсор глубины Kinect и превращает процесс
реабилитации жертв инсульта в интересный и
менее болезненный процесс. Система отображает
последовательность действий и жестов, которые
должен совершить пациент, отслеживает и
анализирует их, повышая тем самым
выносливость пациента и его мобильность.

8.

Приложения для медицинских целей (3)
В Центре по работе с детьми с аутизмом (штат
Вашингтон, США) используется интерактивные
камеры для лечения нарушения моторики
двигательного аппарата, выработки специальных
навыков и повышения социальной активности
детей.

9.

Приложения для медицинских целей (4)
Небольшое приложение Sit Perfect, присланное в
рамках конкурса Intel Perceptual Challenge,
отслеживает положение человека за
компьютером и сигнализирует о неправильной
осанке и близости нахождения к монитору.
Ссылка на видео: http://youtu.be/WbBASANEYDg

10.

Воспринимающий компьютинг в
образовании (1)
Дистанционное обучение принимает новый вид при использовании
анимированных аватаров. Анимация дистанционного обучения,
совместной работы над проектами и общение между классами с
помощью аватаров превращает обычные видео-звонки в полностью
виртуальную среду.
С другой стороны, применив данную возможность в классе, ученик
теряет страх выступления перед аудиторией, ведь вместо него может
выступать его аватар, а это еще один интересный способ вовлечь ученика
в активное обучение. Ссылка на видео: http://youtu.be/-U-pPJsQiMA

11.

Воспринимающий компьютинг в
образовании (2)
Возможности воспринимающего компьютинга позволяют производить
сегментацию изображения, за счет камеры глубины. Подобная функция
также нашла свое место в дистанционном образовании и онлайн
общении. Программный продукт Nuvixa StagePresence помещает
изображение лектора поверх любого презентуемого материала. Такой
подход к созданию электронных учебных материалов позволит
студентам видеть лектора в процессе дистанционного обучения. Ссылка
на видео: http://youtu.be/BmGtKRve7I8

12.

Воспринимающий компьютинг в
образовании (3)
Функции дополненной реальности реализованы в системе Augmented
Reality Magic Mirror for Medical Data Visualization. Система создает
иллюзию рентгеновского снимка части тела в реальном времени. Такая
система, например, может бы использована для обучения анатомии.
Ссылка на видео: http://youtu.be/Oske0c1sOVE

13.

Управление встроенными системами и
техникой (1)
Управление освещением в помещении, на улице с помощью датчиков,
камер уже стало привычным. Происходит обнаружение присутствия
человека в той или иной части комнаты, участка улицы и в зависимости
от этого включаются или отключаются соответствующие осветительные
приборы. Проект Kilight - ссылка на видео: http://youtu.be/zlChtCHcKJw.

14.

Управление встроенными системами и
техникой (2)
Новая технология интеллектуального управления Samsung Smart
Interaction позволяет управлять работой телевизора без нажатия кнопок
на пульте управления. Используя голосовые команды и жесты,
становится возможным включать или выключать телевизор, переключать
каналы, открывать и закрывать приложения, работать в Интернете.
Интегрированная камера с функцией распознавания лиц запомнит лицо
пользователя и даст возможность зайти на портал Smart Hub (сервис
дополнительных функций) без ввода логина и пароля. Ссылка на видео:
http://youtu.be/M3k7gdsavek

15.

Управление встроенными системами и
техникой (3)
Проект GestureCarAudioController, представленный Казуки Ариматсу в
рамках финального этапа конкурса Intel Perceptual Challenge, позволяет
водителю управлять аудио системой автомобиля без каких-либо
нажатий, только с помощью жестовых команд. Система состоит из
камеры Creative gesture camera и Intel NUC. Жестовый модуль Intel
Perceptual Computing SDK обнаруживает движения рук водителя и
управляет аудио системой автомобиля. Ссылка на видео:
http://youtu.be/oPxn_71SSG0

16.

Управление встроенными системами и
техникой (4)
Роберт Волтер предложил простой подход к превращению любую
плоской поверхности в сенсор, реагирующий на множественные касания.
Рабочая поверхность сенсора касания определяется вручную. Самая
близкая к поверхности точка в пределах заданного порогового значения
считается касанием и может являться курсором. Ссылка на видео:
http://youtu.be/4zXtV66cFDY.

17.

Управление встроенными системами и
техникой (5)
Английские студенты из Школы компьютерных наук и электронной
инженерии Университета Эссекса разработали модель инвалидного
кресла, управляемого движением головы. Программы управляет
электрическим мотором по заранее заданным жестам. Ссылка на видео:
http://youtu.be/sD-bKbDUvik.

18.

Управление встроенными системами и
техникой (6)
В рамках конкурса Intel Perceptual Challenge было разработано
приложение для управления роботом. Управление может работать в
нескольких режимах: голосовое управление – робот реагирует на
простые голосовые команды, может следовать за человеком,
распознавая его присутствие в видеопотоке, объезжать препятствия,
реагировать на жесты и отвечать на несложные вопросы. Для
реализации проекта использовалась Creative Interactive Gesture Camera и
Intel Perceptual Computing SDK. Ссылка на видео:
http://youtu.be/f83ZZ0kfU-Y.

19.

Естественно-интуитивное управление
мультимедиа (1)
Приложение NoTouch Window Control разработано для управлениями
окнами в ОС Windows. С помощью стандартных жестов из Intel Perceptual
Computing SDK, пользователь может перемещать открытые окна, менять
их размер, сворачивать и восстанавливать окна. Также в приложение
реагирует на простые голосовые команды. Ссылка на видео:
http://youtu.be/_vzkS_t75fc в рамках проекта Intel Perceptual Challenge.

20.

Естественно-интуитивное управление
мультимедиа (2)
В рамках конкурса Intel Perceptual Challenge было разработано
приложение Perceptual Helper, которое позволяет назначать жестовые
команды для выполнения действий по управлению мультимедиа в
операционной системе. Разработчики заявляют, что в следующей версии
функционал приложения будет расширен голосовыми и мимическими
командами. Ссылка на видео: http://youtu.be/YWnQppEZSiE
.

21.

Естественно-интуитивное управление
мультимедиа (3)
В рамках конкурса Intel Perceptual Challenge было разработано
приложение Perceptual Gallery для навигации в фотоальбоме
при помощи жестов. С помощью жестовых команд пользователь
может перемещаться между папками с фото, переключать
фотографии, вращать фото и запускать слайд шоу. Ссылка на видео:
http://youtu.be/5bdSKaP0AnM
приложение Google Earth Controller для виртуальных
путешествий в любую точку мира, с помощью него можно просматривать
фотоснимки городов и зданий при помощи жестового управления.
Ссылка на видео: http://youtu.be/QhjbTqc253o
.

22.

Дополненная реальность (1)
Система Beamatron использует интерактивную камеру для отслеживания
объектов в видеопотоке и проектор для создания ощущения
взаимодействия виртуального объекта с реальным миром. В
демонстрации видео (Ссылка на видео: http://youtu.be/L9yccRm3Zu8),
главный научный сотрудник Энди Уилсон показывает, как виртуальная
машинка на пульте дистанционного управления сталкивается с
реальными препятствиями. Расстояние до проектора компенсируется и,
заехав на некоторое возвышение, размеры машинки остаются
неизменными.

23.

Дополненная реальность (2)
TryLive Eyewear от компании Total Immersion, чье программное
обеспечение входит в состав Intel Perceptual Computing SDK, работает как
виртуальная примерочная, позволяя онлайн-покупателям просмотреть
весь ассортимент оправ и в реальном времени подобрать себе
подходящую (http://www.trylive.com/).

24.

Виртуальные музыкальные инструменты (1)
Можно сказать, что мы стоим на пороге революции в области
музыкальной индустрии.
Джонатан Хаммонд из Великобритании работает над диджейской
станцией, где все управление музыкой и звуковыми эффектами
происходит при помощи жестов. В его проекте в качестве технического
обеспечения взята технология захвата движения Leap Motion.
Следующее видео демонстрирует невероятные возможности человекомашинного взаимодействия (http://vimeo.com/76066715).

25.

Виртуальные музыкальные инструменты (2)
Возможности Intel Perceptual Computing SDK демонстрируются в
приложении Digital Piano. Нажатие клавиш виртуальных музыкальных
инструментов происходит за счет отслеживания кончиков пальцев, а
смена музыкального инструмента производиться голосом. Ссылка на
видео: http://youtu.be/yuMeKyhRpio

26.

Естественно-интуитивное управление
в играх (1)
Современный мир невозможно представить без игровой
индустрии. Примерно 30% времени, проведенного за
компьютером, современный человек проводит в играх.
Очевидны возможности применения идей естественноинтуитивного взаимодействия в компьютерных играх.
Напрашивается реализация жестового или голосового
управления действующими игровыми персонажами, а также
возможность манипуляции игровыми объектами с помощью
жестов или голосовых команд.

27.

Естественно-интуитивное управление
в играх (2)
Часто можно наблюдать ребенка, изображающего машину и
управляющего ею с помощью воображаемого руля.
Существуют решения, позволяющие управлять движущимися
на экране объектами с помощью жестов.
Управление автомобилем:
https://www.youtube.com/watch?v=4ODA2uWe7yQ.
Управление самолетом:
https://www.youtube.com/watch?v=KPE332rX5Yc.

28.

Естественно-интуитивное управление
в играх (3)
Часто встречаются игры, в которых реализуется уход и
взаимодействие с виртуальным домашним животным, когдато все начиналось с тамагочи. Пример приложения,
реализующего уход за виртуальным животным с
использованием
идей
естественно-интуитивного
взаимодействия:
https://www.youtube.com/watch?v=71WHObUzRaQ.
Жестовое управление марионеткой:
https://www.youtube.com/watch?v=LCWPv67uhxE.

29.

Естественно-интуитивное управление
в играх (4)
Можно предположить, что использование идей естественноинтуитивного взаимодействия является будущим индустрии
компьютерных игр.
Ссылка на видео:
https://www.youtube.com/watch?v=1edFLuMvyOs

30.

Выводы
Реализация
функций
естественно-интуитивного
взаимодействия в интерактивных приложениях позволит:
•Отражать реальность, а не создавать копию реальности;
•Буквально, а не абстрактно отображать объекты реального
мира;
•Создавать приложения интуитивно понятными;
•Создавать надежные приложения;
•Расширять функционал интерактивных приложений.

31.

Заключение
С развитием технологий обработки речи, изображений и
видео, взаимодействие человека с компьютером выходит на
новый этап. В последние годы человеко-компьютерное
взаимодействие
было
расширено
и
конечной
целью
является то, что связь между людьми и машинами должна
стать похожа на коммуникацию человека с человеком.