Детектирование пешеходов

2.3. Метод бегущего окна и HOG-детектор

В данном разделе рассматривается использование HOG-признаков для детектирования объектов на изображении. Однако сначала рассмотрим, каким образом можно решить задачу классификации изображений при помощи HOG-дескриптора. Пусть нам требуется определить, является ли заданное изображение изображением пешехода или нет. Другими словами, мы хотим классифицировать изображения на те, которые содержат искомый объект (пешехода), и не содержат его. Для этого, мы можем поставить в соответствие изображению его признаковое описание, полученное с помощью HOG, а затем использовать алгоритмы машинного обучения, для непосредственного осуществления классификации. Поскольку большинство алгоритмов обучения с учителем работают в пространстве признаков фиксированной размерности, вектора HOG-признаков для различных изображений должны быть одинаковой длины, а, следовательно, классифицируемые изображения должны быть одинакового размера. Более того, для обеспечения приемлемого качества решения данной задачи предполагается, что данные изображения содержат объекты одинаковых (близких) размеров, которые занимают одну и ту же область изображения.

Теперь перейдем непосредственно к решению задачи детектирования. В том случае, если выполнены изложенные выше предположения относительно размеров и расположения объектов, то данная задача эквивалентна задаче классификации и, следовательно, может быть решена описанным методом. Однако, как правило, это не так. Для обобщения на такие случаи может использоваться метод бегущего окна, который сводится к рассмотрению задачи детектирования как множества задач классификации. Пусть мы хотим осуществить поиск на изображении всех объектов заданного размера $$w \times h$$. Для этого с некоторым шагом по вертикали $$dy$$ и по горизонтали $$dx$$ рассмотрим прямоугольные области изображения размера $$w \times h$$ с верхним левым углом с координатами $$(i \cdot dx, j \cdot dy),i=\overline{0,n},j=\overline{0,m}$$ и для каждого из них произведем классификацию. Таким образом, по изображению как бы "бежит" окно размера $$w \times h$$ . Дальнейшее обобщение метода на случай поиска объектов разного размера возможно за счет многократного масштабирования изображения и осуществления детектирования описанным выше методом.

Рассмотрим функционал библиотеки OpenCV для вычисления HOG-признаков и детектирования методом бегущего окна. Метод compute класса HOGDescriptor позволяет извлекать признаки всех или некоторых окон детектирования для заданного изображения:

void compute(const Mat img, 
     vector<float> descriptors, 
     Size winStride=Size(), 
     Size padding=Size(), 
     const vector<Point>amp; locations=vector<Point>()) const; 
     

Рассмотрим параметры данного метода.

В OpenCV реализован HOG-детектор, использующий в качестве классификатора машину опорных векторов с линейным ядром. Обученный линейный SVM-классификатор представляется вектором коэффициентов уравнения разделяющей гиперплоскости в пространстве признаков. Перед тем, как осуществлять детектирование необходимо с помощью метода setSVMDetector задать используемую модель классификатора:

void setSVMDetector(InputArray svmdetector); 

Библиотека OpenCV содержит обученные для решения задачи детектирования пешеходов линейные SVM-модели, которые можно получить с помощью методов getDefaultPeopleDetector (обучена на базе INRIA [4, 9], размер окна детектирования 64x128) и getDaimlerPeopleDetector (обучена на базе Daimler [5, 10], размер окна детектирования 48x96).

Для непосредственного детектирования объектов фиксированного размера (т.е. без использования масштабирования изображения) служит метод detect:

void detect(const Mat img, 
      vector<Point> foundLocations, 
      vector<double> weights, 
      double hitThreshold=0, 
      Size winStride=Size(), 
      Size padding=Size(), 
      const vector<Point> searchLocations=vector<Point>() 
     ) const; 

Для детектирования объектов различного размера (путем масштабирования изображения) предназначен метод detectMultiScale :

void detectMultiScale(const Mat img, 
                    vector<Rect> foundLocations, 
                    vector<double> foundWeights, 
                    double hitThreshold=0, 
                    Size winStride=Size(), 
                    Size padding=Size(), 
                    double scale=1.05, 
                    double finalThreshold=2.0, 
                    bool useMeanshiftGrouping=false) const; 
                

Параметры img, foundLocations, foundWeights, hitThreshold, winStride, padding по смыслу совпадают с аналогичными параметрами метода detect . Рассмотрим оставшиеся параметры:

Перейдем к рассмотрению примера использования HOG-детектора.

#include <assert.h> 
#include "opencv2/core/core.hpp" 
#include "opencv2/highgui/highgui.hpp" 
#include "opencv2/objdetect/objdetect.hpp" 
#include "opencv2/imgproc/imgproc.hpp" 
 
using namespace cv; 
 
int main() 
{ 
    // загружаем тестовое изображение 
    Mat img = imread("testimg.jpg"); 
 
    // увеличиваем начальный масштаб изображения для 
    // поиска мелких объектов 
    resize(img, img, Size(2 * img.cols, 2 * img.rows)); 
 
    // параметры HOG-дескриптора и детектора 
    int nbins = 9; 
    Size cellSize(8, 8); 
    Size blockSize(16, 16); 
    Size blockStride(8, 8); 
    Size winSize(64, 128);     Size winStride(4, 4); 
 
    // создаем HOG-дескриптор/детектор 
    HOGDescriptor hog(winSize, blockSize, 
                      blockStride, cellSize, nbins); 
 
    // устанавливаем в качестве модели 
    // линейную машину опорных векторов, 
    // соответствующую размеру окна детектирования 64x128. 
    hog.setSVMDetector( 
                HOGDescriptor::getDefaultPeopleDetector()); 
 
    // проверяем соответствие количества коэффициентов 
    // гиперплоскости SVM и размера HOG-дескриптора 
    // одного окна детектирования 
    assert(hog.checkDetectorSize()); 
 
    // производим детектирование 
    vector<Rect> locations; 
    vector<double> weights; 
    hog.detectMultiScale(img, locations, weights, 
                         0.0, winStride, Size(), 
                         1.05, 2., true); 
 
    // уменьшаем изображение до начальных размеров 
    resize(img, img, Size(img.cols / 2, img.rows / 2)); 
 
    // отрисовываем срабатывания детектора на изображении 
    for (size_t i = 0; i < locations.size(); ++i) 
    { 
        Rect detection = locations[i]; 
        detection.x /= 2; 
        detection.y /= 2; 
        detection.width /= 2; 
        detection.height /= 2; 
        rectangle(img, detection, Scalar(0, 0, 255), 2); 
    } 
 
    // отображаем результат 
    namedWindow("detections"); 
    imshow("detections", img); 
    waitKey(); 
 
    destroyAllWindows(); 
    return 0; 
} 

Результат работы данного приложения на тестовом изображении из базы CalTech [6] приведен на рис. 15.1.

2.4. Обучение классификатора

Выше была рассмотрена схема детектирования пешеходов на изображении с использованием имеющихся в библиотеке OpenCV обученных классификаторов (линейных SVM). Однако библиотека не предоставляет функционал для непосредственного обучения классификатора. Данный раздел посвящен описанию популярного алгоритма обучения собственных моделей. Для обучения классификатора требуется сформировать обучающую выборку, содержащую признаковые описания изображений с объектом и без него. Так как источником таких изображений, как правило, являются фотографии, большую часть которых занимает фон, а не сам объект, большинство окон детектирования не будут содержать объект. В связи с этим, требуется аккуратная балансировка прецедентов различных классов в обучающей выборке. Одним из подходов к обучению классификатора является итерационный алгоритм добавления признаковых описаний изображений фона. На нулевой итерации в обучающую выборку добавляются признаковые описания всех изображений с объектом, приведенных к нужному размеру, и выбранные случайным образом области изображений с фоном. С использованием полученной выборки осуществляется обучение классификатора, после чего выполняется детектирование объектов на изображениях фона, и выборка дополняется признаковыми описаниями ложных срабатываний детектора. Классификатор обучается на измененной выборке заново. Данный процесс повторяется несколько раз. Подобная процедура позволяет автоматически отрегулировать количество прецедентов в обучающей выборке, соответствующих изображениям без искомого объекта и, тем самым, уменьшить количество ложных срабатываний полученного детектора.

Следует отметить, что в качестве классификатора не обязательно использовать линейную машину опорных векторов, однако, в данном случае функцию HOG-детектора, аналогичную методу detectMultiScale, требуется реализовывать самостоятельно.

2.5. Детектор LatentSVM

Библиотека OpenCV содержит не только реализацию HOG-детектора, способного решать задачу детектирования пешеходов, но также и других алгоритмов детектирования объектов. Таким примером может служить алгоритм LatentSVM [7, 8], предназначенный для детектирования объектов различных классов, среди которых есть и пешеходы. Общая схема работы LatentSVM-детектора описывается в соответствующей лабораторной работе курса. В данной работе рассматривается использование программной реализации алгоритма LatentSVM из библиотеки OpenCV для детектирования пешеходов.

Функционал по использованию LatentSVM-детектора в библиотеке OpenCV сосредоточен в классе LatentSvmDetector. Перед выполнением детектирования требуется создать объект данного класса и загрузить модели объектов. Это может быть сделано путем использования конструктора

LatentSvmDetector(const vector<string> filenames, 
        const vector<string> classNames=vector<string>()); 

или конструктора по умолчанию с последующим вызовом функции

bool load(const vector<string> filenames, 
        const vector<string> classNames=vector<string>()); 

Параметрами данных методов являются:

Для того чтобы в дальнейшем узнать количество загруженных моделей и назначенные им имена используются методы getClassCount и getClassNames соответственно:

size_t getClassCount() const; const vector<string> getClassNames() const;

Для сброса загруженных моделей и их имен предназначен метод clear:

void clear(); 

Детектирование с помощью загруженных моделей осуществляется с использованием метода detect:

void detect(const Mat image, 
            vector<ObjectDetection> objectDetections, 
            float overlapThreshold=0.5f, 
            int numThreads=-1); 

Рассмотрим параметры метода:

В составе библиотеке OpenCV предоставляются модели объектов различных классов [11]. Файл person.xml содержит модель для детектирования пешеходов. Рассмотрим пример программы для детектирования алгоритмом LatentSVM.

#include <assert.h> 
#include "opencv2/core/core.hpp" 
#include "opencv2/highgui/highgui.hpp" 
#include "opencv2/objdetect/objdetect.hpp" 
#include "opencv2/imgproc/imgproc.hpp" 

using namespace cv;  
int main() 
{ 
    // загружаем тестовое изображение 
    Mat img = imread("testimg.jpg"); 
 
    // увеличиваем начальный масштаб изображения 
    // для лучшего поиска мелких объектов 
    resize(img, img, Size(2 * img.cols, 2 * img.rows)); 
 
    // создаем объект класса LatentSvmDetector 
    // и загружаем модель для детектирвоания пешеходов 
    LatentSvmDetector lsvm; 
    vector<string> modelFiles; 
    modelFiles.push_back("person.xml"); 
    vector<string> modelNames; 
    modelNames.push_back("pedestrian"); 
    lsvm.load(modelFiles, modelNames); 
    assert(lsvm.getClassCount() > 0); 
 
    // запускаем LatentSVM-детектор в два потока 
    vector<LatentSvmDetector::ObjectDetection> detections; 
    lsvm.detect(img, detections, 0.5f, 2); 
 
    // уменьшаем изображение до начальных размеров 
    resize(img, img, Size(img.cols / 2, img.rows / 2)); 
 
    // устанавливаем порог весов срабатываний 
    float threshold = -.1f; 
 
    // отрисовываем срабатывания детектора на изображении 
    for (size_t i = 0; i < detections.size(); ++i) 
    { 
        LatentSvmDetector::ObjectDetection detection = 
                                             detections[i]; 
        if (detection.score < threshold) 
        { 
            continue; 
        } 
        Rect detectionRect = detection.rect; 
        detectionRect.x /= 2; 
        detectionRect.y /= 2; 
        detectionRect.width /= 2; 
        detectionRect.height /= 2; 
        rectangle(img, detectionRect, 
                  Scalar(0, 0, 255), 2); 
    } 
 
    // отображаем результат 
    namedWindow("detections");     imshow("detections", img); 
    waitKey(); 
 
    destroyAllWindows(); 
    return 0; 
} 

Результат работы данной программы на тестовом изображении приведен на рис. 15.2.

3. Программная реализация

3.1. Разработка приложения для детектирования пешеходов

3.1.1. Требования к приложению

В рамках данной лабораторной работы предлагается разработать приложение для детектирования пешеходов на изображениях с использованием рассмотренных алгоритмов. К приложению предъявляются следующие требования:

3.1.2. Структура приложения

Разрабатываемое приложение должно осуществлять последовательную загрузку указанных (например, всех в заданной директории) изображений. Осуществлять на них детектирование выбранным алгоритмом с заданными параметрами и выводить результат в виде отрисованных на исходном изображении срабатываний детектора. Предлагается проследить, как влияет изменение тех, или иных параметров на получаемый результат.

Следует отметить, что существуют и более объективные методы оценивания качества детектирования, нежели визуальное: построение графика зависимости процента правильно детектированных объектов от среднего числа ложных срабатываний детектора, подсчет средней точности (average precision) и т.д. Однако данные подходы обладают множеством нюансов и рекомендуется использовать уже готовые решения, например, [12].

4. Контрольные вопросы

5. Дополнительные задания