Средства программной разработки

В октябре 2012 года компания Intel представила SDK (от англ. software development kit) – комплект разработки для написания программных средств. Полное название комплекта Intel Perceptual Computing SDK. SDK фокусируется на нескольких аспектах естественно-интуитивного взаимодействия человека с компьютером, а именно распознавание лиц, голосовых команд и жестов. Помимо этого, SDK включает в себя учебные пособия, примеры кода, алгоритмы и примеры приложений, что позволяет разработчикам реализовывать функции естественно-интуитивного взаимодействия настолько просто, насколько это возможно.

Области применения и примеры приложений

Первым что приходит на ум, это использование функций естественно-интуитивного взаимодействия в видео играх ( рис. 1.8). К примеру, разработчики могут взять функции, предоставляемые SDK и в сфере видео игр для взаимодействия игрока с трехмерным миром, использовать голос или жесты для манипуляций в игре. Многопользовательские режимы игры получат совершенно другой облик, позволяя участникам игры по-новому взаимодействовать друг с другом.

Рис. 1.8. Фрагмент игры Kung Pow Kevin

Распознавание набора мелкозернистых объектов, таких как десять пальцев на руках ( рис. 1.9), на относительно небольшом расстоянии от компьютера дает возможность моделировать систему захвата какого-либо трехмерного виртуального объекта, перемещать его или указывать на данный объект. Вспомним язык жестов. Распознавание движения рук или жестов может быть интерпретировано компьютером и использовано для взаимодействия. Кроме этого можно реализовать такие жесты как перелистывание в разных направлениях. К примеру, переключать треки в плейлисте или перелистывать страницы книги.

Рис. 1.9. Распознавание рук

Функции распознавания лица и контрольных точек на лице позволят определить, где расположены глаза, нос или рот. Присутствует функция распознания моргания, улыбки, распознавания пола и возрастной группы. Сегодня уже существуют решения простой идентификации личности такие как, например, фейс-логин. Однако комбинация параметров лица, голоса и жестов может быть использована для более точной идентификации. Помимо этого, использование параметров лица позволит реализовать приложения, к примеру, осуществляющие оценку поведения представителей разных возрастных групп (молодежи, взрослых или пожилых людей) или распознать эмоциональные состояний человека (грусть, радость и т.д.).

Рис. 1.10. Распознавание лица

Использование сенсора глубины добавит новые возможности веб конференциям и дистанционному общению. Сегментация, основанная на глубине изображения, позволит разделить передний и задний фон. К примеру, чтобы добавить красок виртуальному общению, задний фон может быть заменен каким-либо изображением, к примеру лунным ландшафтом или пляжем.

Рис. 1.11. Использование сенсора глубины

Возможно распознавание трехмерных объектов реального мира и комбинирование их с интерактивным контентом. Трехмерная камера способна распознать модель реального объекта и добавить виртуальные графические и звуковые спецэффекты. Таким образом, распознав группу объектов, положение отдельных объектов относительно других и их поведение, создается новая модель взаимодействия объектов.

Рис. 1.12. Распознавание трехмерных объектов

Выводы

Реализация функций естественно-интуитивного взаимодействия в интерактивных приложениях позволит:

• Отражать реальность, а не создавать копию реальности. Разработка приложений, использующих функции естественно-интуитивного взаимодействия должна вдохновляться реальным миром. Естественно-интуитивное взаимодействие основано на наших природных навыках, используемых в повседневной жизни. Каждый день мы используем наши руки для манипуляции объектами, голос, чтобы общаться. В виртуальной среде все эти естественные человеческие возможности позволят забыть про правила и сделать взаимодействие легче.
• Буквально, а не абстрактно отображать объекты реального мира, то есть отображать более привычные элементы управления (переключатели и регуляторы) для манипуляций вместо абстрактных текстово-символьных альтернатив.
• Создавать приложения интуитивно понятными, то есть пользователю не придется долго осваивать функции интерактивного приложения.
• Создавать надежные приложения, не реагирующие на случайные или ложные действия.
• Расширять функционал интерактивных приложений. Функционал Intel Perceptual Computing SDK стремительно расширяется, пополняясь новыми движениями, позами, языками. Уже существующие функции также улучшаются.

С развитием технологий обработки речи, изображений и видео, взаимодействие человека с компьютером выходит на новый этап. В последние годы человеко-компьютерное взаимодействие было расширено и конечной целью является то, что связь между людьми и машинами должна стать похожа на коммуникацию человека с человеком.

Контрольные вопросы:

1. Что включает в себя понятие человеко-машинный интерфейс?
2. Перечислите основные средства человеко-машинного интерфейса.
3. Где используются сенсорные дисплеи?
4. Какие виды клавиатур Вы знаете?
5. Перечислите сферы применения трекболов, джойстиков и манипуляторов типа "мышь".
6. В чем состоит принцип работы шлема виртуальной реальности?
7. Имеются ли принципиально новые, прорывные разработки в области создания средств человеко-машинного интерфейса? Охарактеризуйте эти разработки.
8. Существуют ли на сегодняшний день эффективные системы распознавания речи? В чем недостатки систем распознавания речи?