Новые возможности в человеко-машинном интерфейсе

Введение

Презентацию к лекции можно скачать здесь.

Электронно-вычислительные машины заняли место рядом с человеком с середины XX века, и со временем взаимодействие человека и компьютера только увеличивается. Наверно, не осталось сферы человеческой деятельности, где так или иначе не используются вычислительные устройства. И, если на заре развития электронно-вычислительной техники общаться с компьютерами могли только "посвященные", человек был вынужден использовать язык понятный машине, то в современной действительности вычислительные устройства становятся все более дружественными и для взаимодействия с компьютером серьезной подготовки человеку уже не требуется, разумеется, если это взаимодействие не предполагает решения сложных профессиональных задач.

Вполне объяснимо стремление разработчиков сделать взаимодействие с вычислительными устройствами как можно более естественным для человека. Развитие этого направления сдерживалось недостаточным технологическим уровнем. Однако в последнее время в деле гуманизации пользовательских интерфейсов наметились серьезные продвижения. Появление сенсорных экранов и функций множественного касания (multitouch) позволяет взаимодействовать с компьютером на интуитивном уровне, это подтверждается быстрым освоением подобных устройств детьми. Если следовать дальше, было бы логичным ожидать от компьютеров способности понимать словесные команды, реагировать на мимику и жесты людей, анализировать поведение человека и включенность его в окружающую действительность. И, оказывается, эти ожидания не напрасны, современное развитие технологий обработки речи, изображений и видео, выводит взаимодействие человека с компьютером на новый этап.

Появились идеи естественно-интуитивного взаимодействия человека с компьютером (perceptual computing), предполагающие способность вычислительных устройств понимать человека через физический контакт, словесные команды и жесты. Разработчикам программного обеспечения использование новых идей позволит создавать приложения, вносящие ощущение присутствия и погружения. Такого эффекта можно добиться реализацией возможностей отслеживания жестов рук и пальцев, анализа лица (мимики), распознавания голоса (речи), отслеживания перемещений 2D/3D объектов. Умение разрабатывать такие приложения в ближайшем будущем будет востребовано. Данный курс предлагает изучить инструмент Intel Perceptual Computing SDK и научиться с его помощью добавлять элементы естественно-интуитивного взаимодействия в свои приложения. В дополнение к бесплатному комплекту средств разработки Intel разработчикам понадобится интерактивная камера Interactive Gesture Camera производства компании Creative. Эта камера очень похожа на бесконтактный игровой контроллер Kinect от Microsoft, только меньше по размеру. Но главная разница между этими устройствами состоит в том, что интерактивная камера от Creative разработана для работы на более близких дистанциях и поэтому может распознавать движения пальцев. Корпорация Intel использовала возможности этой камеры в своем SDK, позволяющем разработчикам создавать следующее поколение естественного, современного ПО с элементами (эффектом) присутствия.

История развития человеко-компьютерного взаимодействия

Идеи цифровых вычислительных машин начали развиваться еще в XVIII-XIX веках, компьютерные технологии стали доступны в середине XX века. Первые электронно-вычислительные машины были ориентированы, в первую очередь, на выполнение трудоемких расчетов и на взаимодействие со специалистами. Например, для первой электронной машины ENIAC (1943 г.) ввод программы выполнялся с помощью переключателей и гибких кабелей со штекерами, вставляемыми в нужные разъемы.

В ЭВМ Mark I (1945 г.) уже использовались перфоленты с нанесенной на них программой, что несколько облегчило труд оператора. Перфоленты и перфокарты долго оставались носителями информации, которые использовались для хранения программ и ввода их в ЭВМ для исполнения.

В 1960 году Дж.К.Р. Ликлайдер (J.R.Licklider) выдвинул идею "симбиоза человека и компьютера" – объединения человеческого интеллекта и вычислительной техники для управления информацией. Предложил промежуточные цели, достижение которых предполагает реализацию данной идеи.

Ближайшие цели:

Среднесрочные цели:

Долгосрочные цели:

Развитие вычислительной техники, во многом, пошло по пути достижения целей, поставленных Ликлайдером, уже в середине 60-х годов появились вычислительные машины, поддерживающие большое количество пользователей, каждый из которых получал в свое распоряжение выделенный интерфейс к системе (терминал) и мог работать в интерактивном режиме.

В 1963 году Айвен Сазерленд (Ivan Sutherland) разработал SketchPad – графический комплекс, прообраз будущих САПР, оказавший огромное влияние на формирование базовых принципов графических пользовательских интерфейсов. Основные идеи: использование объектно-ориентированной модели, любой нарисованный элемент представлялся n-компонентной структурой, его можно было копировать, перемещать, поворачивать или масштабировать, сохраняя основные свойства. Впервые были реализованы алгоритм прорисовки окон и алгоритм обрезки.

Еще одно важное имя в истории развития вычислительной техники: Дуглас Энгельбарт (Douglas C. Engelbart). В середине 60-х годов командой Дугласа Энгельбарта разработана среда NLS (oN-LineSystem), включающая в себя принципиально новую операционную систему, универсальный язык программирования, электронную почту, разделенные экраны телеконференций, систему контекстной помощи. Представлен прототип т.н. WIMP-интерфейса, т. е. интерфейса, использующего понятия окон (windows), пиктограмм (icons), меню (menus) и указателей (pointers), являющихся ключевыми и для сегодняшних графических пользовательских программ и сред. Среда широкого распространения не получила, но как побочный эффект проекта NLS был изобретен первый манипулятор типа мышь, без которого сложно представить любое взаимодействие с компьютером в современной действительности. К оконной среде NLS существующие манипуляторы (джойстики, световые перья и прочие) категорически не подходили, в этой области было проведено целое исследование, итогом которого и стала мышка.

В конце 60-х годов XX века, технологический уровень позволил задумываться о создании персонального компьютера. В 1969 году американский математик Алан Кей защитил докторскую диссертацию, в которой разработал принципы создания персонального компьютера. С 1971 года Алан Кей занимался теоретической разработкой прототипа персонального компьютера, названного им Dynabook, в исследовательском центре фирмы Xerox в Пало-Альто (Palo Alto Research Center, PARC). Этот компьютер, не превышающий размер блокнота, должен был обладать возможностями для обработки текстов и графической информации, а также служить средством связи с удаленными базами данных. Кроме того, этот компьютер должен был быть недорогим и доступным широкому кругу покупателей.

Концепция Dynabook описывала то, что сейчас известно как ноутбук, или планшетный ПК. Для Dynabook был спроектирован и смоделирован графический интерфейс Star GUI, одним из основных принципов управления новым компьютером должен был стать не ввод команд с клавиатуры, а выбор их с помощью "мыши" из предлагаемого меню. Графический интерфейс Star стал прототипом интерфейса Macintosh.

Несмотря на то, что графический интерфейс был описан еще в начале 70-х годов, а идеи появились еще раньше, в реальности взаимодействие пользователя с ЭВМ обеспечивалось за счет, так называемого, интерфейса командной строки (CLI, Command Line Interface). В процессе взаимодействия человек вводил команды, а компьютер реагировал соответствующим образом, разумеется, ни о каком дружественном интерфейсе речи не шло. Пользователь должен был точно знать, какая команда приведет к выполнению нужных ему действий и правильно ввести ее в командную строку.

К концу 70-х годов не только стало понятно, что при создании персональных компьютеров необходимо учитывать удобство пользователей, но и накопились технологии, позволяющие реализовать, так называемое, эргономическое проектирование вычислительной техники. Стали появляться персональные компьютеры с графическим интерфейсом, спроектированные с учетом удобства пользователя. В связи с этим назрела необходимость изучения человеко-компьютерного взаимодействия в университетах при подготовке специалистов в области компьютерных наук.

Человеко-компьютерное взаимодействие (HCI, Human-Computer Interaction) – это дисциплина, имеющая дело с проектированием, оцениванием и реализацией интерактивных вычислительных систем для использования человеком, а также с изучением основных явлений, связанных с этими вопросами.

Такое определение было сформулировано в отчете группы, ответственной за разработку рекомендаций к образовательной программе в области человеко-компьютерного взаимодействия (август, 1988). Группа была сформирована из членов ассоциации по вычислительной технике (ACM, Association for Computing Machinery). ACM и IEEE Computer Society, крупнейшие научно-профессиональные сообщества специалистов по вычислительной технике, играют ключевую роль в разработке образовательных программ в области компьютерных наук. После этого отчета модуль HCI (человеко-компьютерное взаимодействие) включается как обязательная часть в курс компьютерные науки.

Эволюцию устройств ввода/вывода можно представить следующей таблицей:

Что такое естественно-интуитивное взаимодействие

Естественно-интуитивное взаимодействие это эволюция в области взаимодействии с компьютером через естественные для человека способы и интерфейсы. На сегодняшний момент у нас есть достаточно вычислительных мощностей для того, чтобы объяснить компьютеру то, что хочет от него пользователь, заставить его предугадывать намерения пользователя. Все, что вы пытаетесь решить с помощью компьютера, будет выполнено через распознавание вашего лица, голоса, жестов. Естественно-интуитивное взаимодействие подразумевает использование различных технологий, превращающих взаимодействие с компьютером в насыщенный и интересный процесс.

Представьте себе поиск информации в интернете или обновление статуса в социальной сети без набора текста. Мы просто можем попросить компьютер сделать это за нас. Речь здесь идет не просто о замене ввода с клавиатуры или тачскрина, а о новом опыте во взаимодействии с вычислительной техникой.

Объединив возможности сенсоров, позволяющих компьютеру видеть мир в трехмерном пространстве, как привыкли его видеть мы, добавив функции распознавания голоса и эмоции, разработчики получат абсолютно новый инструмент разработки интерактивных приложений.

Техническое обеспечение

Многие важные инженерные задачи должны быть решены интеграцией новых усовершенствованных датчиков в персональные компьютеры, ультрабуки, планшеты и смартфоны. Для реализации целей естественно-интуитивного взаимодействия устройства должны быть оснащены следующим уровнем "интеллекта" и "способностями".

Камеры, способные оценить глубину, микрофоны, определяющие направленность звука и тачпады, чувствительные к давлению должны быть стандартизированы и миниатюризированы.

Одним из примеров удачного технического решения является камера от компании Creative (рис 1.4), которую сложно назвать просто камерой. Скорее это набор сенсоров. В ее состав входят два микрофона, позволяющих значительно улучшить качество распознавания речи, встроенная RGB и инфракрасная камеры (датчик глубины) для распознавания жестов на небольшом расстоянии.

Характеристики камеры CREATIVE Interactive Gesture Camera™

Другой пример это бесконтактный контроллер Kinect, разработанный фирмой Microsoft. Kinect позволяет пользователю взаимодействовать с приставкой Xbox или ПК под ОС Windows без помощи контактного игрового контроллера через устные команды, позы тела и показываемые объекты или рисунки. Данное устройство состоит из двух сенсоров глубины, цветной видеокамеры и микрофонной решетки.

Характеристики камеры Kinect:

Сравнение современных камер

Сравним характеристики камеры CREATIVE Interactive Gesture Camera™ и камеры Kinect.

С первого взгляда может показаться, что эти два устройства имеют схожие технические характеристики и функционал, но если копнуть немного глубже, то станет понятным, что это совсем не так.

Во-первых, это размеры камеры. CREATIVE Interactive Gesture Camera имеет небольшие размеры, что делает возможным устанавливать ее непосредственно на ноутбук или монитор. В свою очередь камера Kinect больше подходит для установки на большие экраны.

Вторым существенным различием этих двух камер является разница в дистанциях. Функционал камеры Kinect направлен на работу на больших дистанциях (от 1,2 до 3 м). В свою очередь CREATIVE Interactive Gesture Camera работает на близких расстояниях (от 15 см до 1 м). Отсюда различается основное применение камер. CREATIVE Interactive Gesture Camera больше подходит для распознавания жестов, идентификации и трэкинга объектов, рук, лица, их синтеза, распознавания голоса. Функционал Kinect направлен на идентификацию и распознавание жестов и тела человека, чтобы выделять его в окружающей среде дома. Система слежения за скелетом может одновременно наблюдать за 6 людьми, но лишь за двумя активными игроками. Kinect следит за 20 точками каждого активного игрока и может применять к ним образы пользователей (Live-аватары).

Технические характеристики этих камер также различны, не смотря на то, что CREATIVE Interactive Gesture Camera рассчитана на короткие дистанции, вертикальный и горизонтальный углы обзора больше, чем у камеры Kinect.

Так же следует отметить разницу в источниках электропитания. Для работы с камерой Kinect требуется USB подключение и дополнительный источник энергии от сети. CREATIVE Interactive Gesture Camera требуется меньше мощности (< 2.5 Ватт) и она работает только от USB 2.0.

Средства программной разработки

В октябре 2012 года компания Intel представила SDK (от англ. software development kit) – комплект разработки для написания программных средств. Полное название комплекта Intel Perceptual Computing SDK. SDK фокусируется на нескольких аспектах естественно-интуитивного взаимодействия человека с компьютером, а именно распознавание лиц, голосовых команд и жестов. Помимо этого, SDK включает в себя учебные пособия, примеры кода, алгоритмы и примеры приложений, что позволяет разработчикам реализовывать функции естественно-интуитивного взаимодействия настолько просто, насколько это возможно.

Области применения и примеры приложений

Первым что приходит на ум, это использование функций естественно-интуитивного взаимодействия в видео играх (рис 1.8). К примеру, разработчики могут взять функции, предоставляемые SDK и в сфере видео игр для взаимодействия игрока с трехмерным миром, использовать голос или жесты для манипуляций в игре. Многопользовательские режимы игры получат совершенно другой облик, позволяя участникам игры по-новому взаимодействовать друг с другом.

Распознавание набора мелкозернистых объектов, таких как десять пальцев на руках (рис 1.9), на относительно небольшом расстоянии от компьютера дает возможность моделировать систему захвата какого-либо трехмерного виртуального объекта, перемещать его или указывать на данный объект. Вспомним язык жестов. Распознавание движения рук или жестов может быть интерпретировано компьютером и использовано для взаимодействия. Кроме этого можно реализовать такие жесты как перелистывание в разных направлениях. К примеру, переключать треки в плейлисте или перелистывать страницы книги.

Функции распознавания лица и контрольных точек на лице позволят определить, где расположены глаза, нос или рот. Присутствует функция распознания моргания, улыбки, распознавания пола и возрастной группы. Сегодня уже существуют решения простой идентификации личности такие как, например, фейс-логин. Однако комбинация параметров лица, голоса и жестов может быть использована для более точной идентификации. Помимо этого, использование параметров лица позволит реализовать приложения, к примеру, осуществляющие оценку поведения представителей разных возрастных групп (молодежи, взрослых или пожилых людей) или распознать эмоциональные состояний человека (грусть, радость и т.д.).

Использование сенсора глубины добавит новые возможности веб конференциям и дистанционному общению. Сегментация, основанная на глубине изображения, позволит разделить передний и задний фон. К примеру, чтобы добавить красок виртуальному общению, задний фон может быть заменен каким-либо изображением, к примеру лунным ландшафтом или пляжем.

Возможно распознавание трехмерных объектов реального мира и комбинирование их с интерактивным контентом. Трехмерная камера способна распознать модель реального объекта и добавить виртуальные графические и звуковые спецэффекты. Таким образом, распознав группу объектов, положение отдельных объектов относительно других и их поведение, создается новая модель взаимодействия объектов.

Выводы

Реализация функций естественно-интуитивного взаимодействия в интерактивных приложениях позволит:

С развитием технологий обработки речи, изображений и видео, взаимодействие человека с компьютером выходит на новый этап. В последние годы человеко-компьютерное взаимодействие было расширено и конечной целью является то, что связь между людьми и машинами должна стать похожа на коммуникацию человека с человеком.

Контрольные вопросы: