Обзор применения технологии естественно-интуитивного взаимодействия с компьютером в сферах жизни, основываясь на исследовании пользовательского опыта

Презентацию к лекции можно скачать здесь.

Начиная с интерфейса командной строки (CLI) и перейдя к графическим пользовательским интерфейсам (GUI), в данный момент мы находимся на пороге открытия следующего этапа более естественных интерфейсов, которые основаны на традиционных парадигмах человеческого взаимодействия, таких как осязание, зрение, речь и, самое главное, творчество. Люди общаются с помощью жестов, эмоций, движений и открывают для себя мир, глядя вокруг и управляя физическими объектами. Ключевым моментом здесь является то, что люди должны иметь возможность взаимодействовать с технологиями, как они привыкли взаимодействовать с реальным миром в повседневной жизни. По мере развития технологии становится невидимыми на перцептивном и когнитивном уровнях. Взаимодействие становится вполне естественным и спонтанным. Таким образом, одной из характеристик успешного интерфейса естественного взаимодействия является снижение когнитивной нагрузки на человека, взаимодействующего с интерфейсом.

Технология воспринимающего компьютинга делает шаг за рамки привычных нам средств управления цифровыми устройствами. Здесь роль контроллера играет человек, совершая привычные для него действия из повседневной жизни.

1.1. Приложения для медицинских целей

Рассмотрим возможности применения воспринимающего компьютинга в сфере медицины.

В операционной хирург опирается на массив изображений, полученных при помощи магнитно-резонансного томографа и компьютерного томографа, как на визуальные ориентиры для выполнения специальных процедур. Однако переключение изображений довольно затруднительно, вследствие того, что клавиатура и мышь не стерильны. Хирургу необходимо покидать стерильное помещение или обращаться за помощью к медсестре, теряя драгоценное время и оставляя пациента под наркозом. Система ) использует усовершенствованные датчики камеры, которые позволяют хирургу получать доступ к изображениям с помощью простых жестов. Находясь рядом с операционным столом, хирург использует простой набор команд-жестов, который позволяет им выполнять все, что и при работе с обычной мышью.

) использует сенсор глубины Kinect и превращает процесс реабилитации жертв инсульта в интересный и менее болезненный процесс. Система отображает последовательность действий и жестов, которые должен совершить пациент, отслеживает и анализирует их, повышая тем самым выносливость пациента и его мобильность. Ссылка на промо-видео: http://youtu.be/gfWK4kauemA

В Центре по работе с детьми с аутизмом (штат Вашингтон, США) используется интерактивные камеры для лечения нарушения моторики двигательного аппарата, выработки специальных навыков и повышения социальной активности детей.

Небольшое приложение .

1.2. Воспринимающий компьютинг в образовании

Наверное, каждый учитель искренне желает, чтобы класс стал местом где ученики принимают активное участие в образовательном процессе, а не поглядывают на часы и ждут заветного звонка. Возможности воспринимающего компьютинга позволяют совершенствовать традиционные подходы к проведению уроков и внешкольных программ, используя техники привлечения внимания, движения тела и жесты, которые помогают ученику усваивать новую информацию в более интересной форме и в тоже время оставаться сфокусированным на определенной задаче.

Подобный подход к проведению занятий с детьми называется активное обучение и уже широко применяется в ряде западных школ. "Когда я использовал камеру Kinect на своем уроке по математике, ученики стали задавать вопросы, выходящие далеко за рамки учебного материала. Это был большой успех, т.к. дети начали задумываться о применении пройденного материала в контексте реального мира" - Джон Хисско, учитель математики в Техасе, США.

В качестве примера интерактивного инструмента для обучения детей можно привести песочницу дополненной реальности, которая позволяет детям создавать своими руками ландшафты из песка, получать при этом горы, ущелья, вулканы, долины и реки. Проект построен с использованием камеры Microsoft Kinect, работающей в связке с топографическим ПО и 3D-проектором. Подробности: http://habrahabr.ru/post/220239/, http://habrahabr.ru/sandbox/81701/. Применение этой технологии можно найти не только в обучении детей, но и в ландшафтном дизайне и проектировании городов.

В процессе обучения очень полезна возможность визуализации сложных объектов. Например, приложение Molecula позволяет, используя жестовое управление, манипулировать молекулой ДНК, изображенной на экране. Манипуляции включают возможность захвата молекулы, поворота и увеличения (https://www.youtube.com/watch?v=EYhZAsKDHb8list=PLT8Rgp51PBmx3reOk8mFnsqUEtdKddRd). Можно пойти дальше и реализовать жестовую сборку сложных объектов в любой области из составных частей.

Интерактивная доска может использоваться в качестве инструмента, значительно ускоряющего доступ к необходимой информации, облегчающего ее восприятие, способствующего формированию творческой атмосферы в коллективе обучающихся. Объединяя интерактивную доску, камеру Creative* Senz3D (или Intel® RealSense™ 3D Camera) и Intel® Perceptual Computing SDK (или Intel® RealSense™ SDK), можно получить крайне интересные решения. В качестве примеров реализации похожих идей можно предложить следующие разработки: https://www.youtube.com/watch?v=WV9K_z4l_J8, https://www.youtube.com/watch?v=aLLv2zHE7qk.

Дистанционное обучение принимает новый вид при использовании анимированных аватаров. Анимация дистанционного обучения, совместной работы над проектами и общение между классами с помощью аватаров превращает обычные видео-звонки в полностью виртуальную среду. Возможности воспринимающего компьютинга позволяют отслеживать движения, распознавать лица, чтобы каждый ученик смог иметь свой собственный аватар и мог в режиме реального времени увидеть на экране виртуального собеседника улыбающимся, кивающим, говорящим и показывающим жесты. С другой стороны, применив данную возможность в классе, ученик теряет страх выступления перед аудиторией, ведь вместо него может выступать его аватар, а это еще один интересный способ вовлечь ученика в активное обучение. Ссылка на видео: http://youtu.be/-U-pPJsQiMA

Возможности воспринимающего компьютинга позволяют производить сегментацию изображения, за счет камеры глубины. Подобная функция также нашла свое место в дистанционном образовании и онлайн общении. Программный продукт

Функции дополненной реальности реализованы в системе

1.3. Управление встроенными системами и техникой

Проект .

Новая технология интеллектуального управления

Проект

Роберт Волтер предложил простой подход к превращению любую плоской поверхности в сенсор, реагирующий на множественные касания. Рабочая поверхность сенсора касания определяется вручную. Самая близкая к поверхности точка в пределах заданного порогового значения считается касанием и может являться курсором. Ссылка на видео: http://youtu.be/4zXtV66cFDY

Английские студенты из Школы компьютерных наук и электронной инженерии Университета Эссекса разработали модель инвалидного кресла, управляемого движением головы. Программы управляет электрическим мотором по заранее заданным жестам. Ссылка на видео: http://youtu.be/sD-bKbDUvik

В рамках конкурса Intel Perceptual Challenge было разработано приложение для управления роботом. Управление может работать в нескольких режимах: голосовое управление - робот реагирует на простые голосовые команды, может следовать за человеком, распознавая его присутствие в видеопотоке, объезжать препятствия, реагировать на жесты и отвечать на несложные вопросы. Для реализации проекта использовалась Creative Interactive Gesture Camera и Intel Perceptual Computing SDK. Ссылка на видео: http://youtu.be/f83ZZ0kfU-Y

1.4. Естественно-интуитивное управление мультимедиа

О возможностях воспринимающего компьютинга для управления мультимедиа контентом уже сказано довольно много. Давайте рассмотрим примеры проектов, присланных в рамках проекта Intel Perceptual Challenge.

Приложение

Приложение

Приложение

1.5. Дополненная реальность

Можно проделывать интересные трюки, совместив камеру с сенсором глубины и проектор. Microsoft Research недавно это продемонстрировали. Последнее творение коллектива разработчиков названо http://youtu.be/L9yccRm3Zu8), главный научный сотрудник Энди Уилсон показывает, как виртуальная машинка на пульте дистанционного управления сталкивается с реальными препятствиями. Расстояние до проектора компенсируется и, заехав на некоторое возвышение, размеры машинки остаются неизменными.

).

1.6. Виртуальные музыкальные инструменты

Можно сказать, что мы стоим на пороге революции в области музыкальной индустрии. Джонатан Хаммонд из Великобритании работает над диджейской станцией, где все управление музыкой и звуковыми эффектами происходит при помощи жестов. В его проекте в качестве технического обеспечения взята технология захвата движения Leap Motion. Следующее видео демонстрирует невероятные возможности человеко-машинного взаимодействия (http://vimeo.com/76066715).

Возможности Intel Perceptual Computing SDK демонстрируются в приложении

Приложение ). Ссылка на видео: https://www.youtube.com/watch?v=veNBKPqJe7Y.

1.7. Естественно-интуитивное управление в играх

Современный мир невозможно представить без игровой индустрии. Примерно 30% времени, проведенного за компьютером, современный человек проводит в играх. Очевидны возможности применения идей естественно-интуитивного взаимодействия в компьютерных играх. Напрашивается реализация жестового или голосового управления действующими игровыми персонажами, а также возможность манипуляции игровыми объектами с помощью жестов или голосовых команд.

Часто можно наблюдать ребенка, изображающего машину и управляющего ею с помощью воображаемого руля. Существуют решения, позволяющие управлять движущимися на экране объектами с помощью жестов. Управление автомобилем: https://www.youtube.com/watch?v=4ODA2uWe7yQ. Управление самолетом: https://www.youtube.com/watch?v=KPE332rX5Yc.

Опять же, если понаблюдать за детьми, часто можно увидеть игры в юных магов и фей при этом обычно выполняются некоторые пассы руками и чтение заклинаний или произнесение магических слов. Все это наталкивает на мысли о реализации жестового и голосового управления магами и волшебниками в соответствующих играх. Примером может служить приложение: https://www.youtube.com/watch?v=V9ut24ua-zs.

Часто встречаются игры, в которых реализуется уход и взаимодействие с виртуальным домашним животным, когда-то все начиналось с тамагочи. Пример приложения, реализующего уход за виртуальным животным с использованием идей естественно-интуитивного взаимодействия: https://www.youtube.com/watch?v=71WHObUzRaQ.

Жестовое управление марионеткой: https://www.youtube.com/watch?v=LCWPv67uhxE.

Можно предположить, что использование идей естественно-интуитивного взаимодействия является будущим индустрии компьютерных игр. Ссылка на видео: https://www.youtube.com/watch?v=1edFLuMvyOs.

Заключение

Реализация функций естественно-интуитивного взаимодействия в интерактивных приложениях позволит:

Отражать реальность, а не создавать копию реальности. Разработка приложений, использующих функции естественно-интуитивного взаимодействия должна вдохновляться реальным миром. Естественно-интуитивное взаимодействие основано на наших природных навыках, используемых в повседневной жизни. Каждый день мы используем наши руки для манипуляции объектами, голос, чтобы общаться. В виртуальной среде все эти естественные человеческие возможности позволят забыть про правила и сделать взаимодействие легче.

Буквально, а не абстрактно отображать объекты реального мира, то есть отображать более привычные элементы управления (переключатели и регуляторы) для манипуляций вместо абстрактных текстово-символьных альтернатив.

Создавать приложения интуитивно понятными, то есть пользователю не придется долго осваивать функции интерактивного приложения.

Создавать надежные приложения, не реагирующие на случайные или ложные действия.

Расширять функционал интерактивных приложений. Функционал Intel Perceptual Computing SDK стремительно расширяется, пополняясь новыми движениями, позами, языками. Уже существующие функции также улучшаются.

С развитием технологий обработки речи, изображений и видео, взаимодействие человека с компьютером выходит на новый этап. В последние годы человеко-компьютерное взаимодействие было расширено и конечной целью является то, что связь между людьми и машинами должна стать похожа на коммуникацию человека с человеком.