Решение образовательных задач с применением Intel Perceptual Computing SDK

Дополнительные материалы к работе можно скачать здесь.

Цель данной практической работы заключается в использовании возможностей Intel Perceptual Computing SDK для разработки интерактивных приложений, носящих образовательный характер.

В данной работе будет рассмотрено применение возможностей SDK по распознаванию физических объектов для написания интерактивного приложения "Geo quiz".

Приложение "Geo quiz"

Спектр форм применения возможностей SDK по распознаванию физических объектов довольно широк, однако, в данной практической работе мы рассмотрим процесс написания образовательного приложения, затрагивающего вопросы повышения знаний в области географии.

Приложение "Geo quiz" позволит школьникам средних классов более эффективно и в ненавязчивой манере изучить географические факты и флаги различных государств.

Сценарий работы приложения

Приложение включает в себя некоторую базу данных фактов о том или ином государстве и изображения флагов этих государств. На экран выводится вопрос о государстве и для ответа на него пользователю необходимо показать карточку с флагом этого государства. За правильные ответы присуждаются баллы.

Реализация

D'Fusion Studio CV

Для реализации функционала приложения мы будем использовать инструмент D'Fusion Studio Computer Vision (иначе D'FusionCV), входящий в состав Intel Perceptual Computing SDK. Напомним, что D'FusionCV представляет собой пакет программного обеспечения для получения "естественной" информации, предоставляемой различными реальными объектами, распознанными в изображении или видео потоке. Собрав данные, объект может быть идентифицирован и отслежен через последовательные изображения из видео потока в режиме реального времени.

Пакет D'FusionCV по умолчанию устанавливается на компьютер совместно с Intel Perceptual Computing SDK. Запустить пакет можно из "Intel Perceptual Computing SDK 2013 -> Tools -> D'Fusion Studio CV - Intel PCSDK". (или C:\Program Files (x86)\Intel\PCSDK\contrib\Total Immersion\StudioCV)

Создание сценария

Для того чтобы использовать функционал отслеживания объектов, необходимо сперва создать и настроить свой сценарий, используя D'Fusion Studio CV. В большинстве случаев сценарий предполагает создание следующих элементов:

В данной лабораторной работе мы создадим отдельный сценарий. Кратко напомним процесс создания сценария отслеживания объекта.

Запустите D'Fusion Studio Computer Vision и на вкладке Video Manager нажмите кнопку Open для начала захвата изображения с камеры.

На вкладке Scenario Manager создайте несколько отслеживаемых объектов (карточек с флагами государств), задав им соответствующие имена. Также создайте ключевой кадр для каждого объекта.

На вкладке Tracking Manager проверьте результат работы вашего сценария.

Сохраните сценарий, оставив имена файлов, предложенные по умолчанию.

Интеграция D'Fusion CV с Intel Perceptual Computing SDK

#include "pxcsession.h"
#include "pxccapture.h"
#include "pxcsmartptr.h"
#include "util_render.h"
#include "util_capture.h"
#include "util_cmdline.h"

#include "pxcdcvtracker.h"
#include "dcvRender.h"
      

const pxcCHAR* trackerPath = L"../scen/tracker.xml";
      

bool computeModuleDirectory(void* iModule, pxcCHAR* oPath, DWORD pathLen)
{
	if (!::GetModuleFileNameW((HMODULE)iModule,oPath,pathLen)) {
		return false;
	}

	pxcCHAR* tmp = wcsrchr(oPath,L'\\');
	if (tmp==0) {
		return false;
	}
	*(tmp+1) = L'\0';
	return true;
}
      

PXCSmartPtr<PXCSession> session;
    pxcStatus sts=PXCSession_Create(session);
      

session->LoadImplFromFile(TEXT("dfusion4PCSDK.dll"));
      

renderer=new dcvRender(L"D'Fusion CV Detection Sample");
renderer->addData(tracker);
      

for (int fnum=0;fnum<cmdl.m_nframes;fnum++) 
	{
		PXCSmartArray<PXCImage> images;
		PXCSmartSP sp1, sp2;

		/* Выполнение чтения и обработки кадров */
		sts=capture.ReadStreamAsync(images, sp1);
		if (sts<PXC_STATUS_NO_ERROR) break;
		sts=tracker->ProcessImageAsync(images, sp2);
		if (sts<PXC_STATUS_NO_ERROR) break;
		

		if(sp2) 
			sp2->Synchronize();

		if (!renderer->RenderFrame(images[0])) 
			break;
	}
      

session->UnloadImplFromFile(TEXT("dfusion4PCSDK.dll"));
      

Добавленный к нашему проекту файл dcvRender.cpp содержит код, позволяющий определить имя и позицию только одного объекта из сценария. В случае нескольких объектов в одном сценарии, будет отображено имя последнего объекта из списка.

В данной практической работе нас интересует только имя объекта

Для отображения информации обо всех объектах сценария изменим код файла dcvRender.cpp, добавив цикл.

for (int tt = 0; tt < 3; tt++)
   {
  PXCDCVTracker::TrackingStatus status = m_tracker->GetTargetStatus(tt);
  pxcI32 index = m_tracker->GetTrackedKeyFrameIndex(0);

  if((status == PXCDCVTracker::STATUS_TRACKING) || (index != -1))
  {
   int targetTracked = m_tracker->GetTrackedKeyFrameIndex(tt);
	}
	}
    

Для выполнения каких-либо действий при появлении объекта в видео потоке с камеры нам необходимо получить имя объекта. Для этого добавим следующий код:

wstring atr;
const pxcCHAR* label = m_tracker->GetTargetName(tt);//
	atr = label;
	wprintf(L"%s\n",label);
    

Перейдем в Project.cpp.

Добавим extern wstring atr для передачи имени объекта в текущий модуль.

Теперь, получая имя объекта, добавим действия. В нашем случае, приложение будет задавать вопросы о государствах мира, а в качестве ответов будет получать карточки с флагами.

Добавим вопрос:

wprintf(L"The only country in the world washed by 12 seas\n");
int f = 0;
    

Добавим соответствующий ответ на этот вопрос:

if ((atr == L"Russia")  (f == 0))
		{wprintf(L"Right\n");
		 f=1;}
    

Таким образом, в результате мы получаем консольное окно для отображения вопросов и ответов и рендер.

Дополнительное задание