OpenCV2学习笔记（十）：特征点检测之Harris法

在计算机视觉中，特征点的概念被大量用于解决物体识别、图像匹配、视觉跟踪、三维重建等问题，比如图像中物体的角点，它们是在图像中可被轻易而精确地定位的二维特征。顾名思义，特征点检测的思想是无需观察整幅图像，而是通过选择某些特殊点，然后对它们执行局部分析。如果能检测到足够多的这种点，同时它们的区分度很高，并且可以精确定位稳定的特征，那么这个方法就很有效。这里主要使用Harris特征检测器检测图像角点。使用的开发平台为Qt5.3.2+OpenCV2.4.9。

Harris角点的理论部分可见这篇blog：http://blog.csdn.net/lu597203933/article/details/15088485。 下面记录一下harris角点检测的几种方案。

在此之前，先给出OpenCV中cv::cornerHarris函数的调用方式：

    cv::cornerHarris(image, // 输入图像
                     cornerStrength, // 输出为表示角点强度的32位浮点图像
                     3, // 导数平滑的相邻像素的尺寸
                     3, // 梯度计算的滤波器孔径大小
                     0.01); // Harris参数

一、基本的Harris角点检测实现

#include <QCoreApplication>
#include <opencv2/core/core.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/highgui/highgui.hpp>

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);
    // Harris法的简单实现
    cv::Mat image = cv::imread("c:/031.jpg", 0);
    cv::Mat cornerStrength;
    cv::cornerHarris(image,
                     cornerStrength, // 输出为表示角点强度的32位浮点图像
                     3, // 导数平滑的相邻像素的尺寸
                     3, // 梯度计算的滤波器孔径大小
                     0.01); // Harris的相关参数

    // 要在窗口输出，需要转化为CV_8U格式，阈值化即可
    // 角点强度的阈值
    cv::Mat harrisCorner;
    double threshold = 0.0001;
    cv::threshold(cornerStrength,
                  harrisCorner,
                  threshold,
                  255,
                  cv::THRESH_BINARY_INV); // 输出为翻转的二值图像

    cv::namedWindow("Original Image");
    cv::imshow("Original Image", image);
    cv::namedWindow("Harris Corner");
    cv::imshow("Harris Corner", harrisCorner);

    return a.exec();
}

得到的结果为二值图像，可以看到图像中角点的位置包含许多圆圈，这与精确定位特征点的目标相悖：

二、改进的Harris角点检测实现

这里通过封装自定义类来改进角点检测的效果。定义一个类HarrisDetector（其中已封装了Harris参数和相关函数）：

#ifndef HARRISDETECTOR_H
#define HARRISDETECTOR_H
#include <opencv2/core/core.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/highgui/highgui.hpp>

class HarrisDetector
{
private:
    // 表示图像角点强度的32位浮点图像
    cv::Mat cornerStrength;
    // 将输出图像阈值化后的32位浮点图像
    cv::Mat cornerThreshold;
    // 局部极大值图像
    cv::Mat localMax;

    // 以下三个为cornerHarris函数的必要参数
    // 导数平滑的相邻像素的尺寸
    int neighbourhoodPixelSize;
    // 滤波器的孔径大小
    int aperture;
    // Harris参数
    double k;

    // 阈值计算的最大强度
    double maxStrength;
    // 计算得到的阈值
    double threshold;
    // 非极大值抑制的相邻像素的尺寸
    int noneighbourhoodPixelSize;
    // 非极大值抑制的核
    cv::Mat kernel;

public:
    // 初始化参数
    HarrisDetector():neighbourhoodPixelSize(3),
                     aperture(3),
                     k(0.01),
                     maxStrength(0.0),
                     threshold(0.01),
                     noneighbourhoodPixelSize(3)
    {
        setLocalMaxWindowSize(noneighbourhoodPixelSize);
    }

    // 创建非极大值抑制的核
    void setLocalMaxWindowSize(int size);

    // 计算Harris角点
    void detect(const cv::Mat &image);

    // 由Harris的值获取角点图
    cv::Mat getCornerMap(double qualityLevel);

    // 由Harris的值获取特征点
    void getCorners(std::vector<cv::Point> &points, double qualityLevel);

    // 由角点图获取特征点
    void getCorners(std::vector<cv::Point> &points, const cv::Mat& cornerMap);

    // 在特征点的位置绘制图
    void drawOnImage(cv::Mat &image,
                     const std::vector<cv::Point> &points,
                     cv::Scalar color = cv::Scalar(255, 255, 255),
                     int radius = 4, int thickness = 2);
};


#endif // HARRISDETECTOR_H

接着，在harrisdetector.cpp中定义各个函数和初始化的参数：

#include "harrisdetector.h"

// 创建非极大值抑制的核
void HarrisDetector::setLocalMaxWindowSize(int size)
{
    noneighbourhoodPixelSize = size;
    kernel.create(noneighbourhoodPixelSize, noneighbourhoodPixelSize, CV_8U);
}

// 计算Harris角点
void HarrisDetector::detect(const cv::Mat &image)
{
    // Harris计算
    cv::cornerHarris(image,cornerStrength,
                     neighbourhoodPixelSize,
                     aperture,
                     k);
    // 内部阈值计算
    double minStrength; // 未使用
    cv::minMaxLoc(cornerStrength,
                  &minStrength,
                  &maxStrength);
    // 局部极大值检测
    cv::Mat dilate; // 临时图像
    cv::dilate(cornerStrength, dilate, cv::Mat());
    cv::compare(cornerStrength, dilate, localMax, cv::CMP_EQ);
}

// 由Harris的值获取角点图
cv::Mat HarrisDetector::getCornerMap(double qualityLevel)
{
    cv::Mat cornerMap;
    // 对角点图像进行阈值化
    threshold = qualityLevel * maxStrength;
    cv::threshold(cornerStrength, cornerThreshold,
                  threshold,255,cv::THRESH_BINARY);
    // 转换为8位图像
    cornerThreshold.convertTo(cornerMap, CV_8U);
    // 非极大值抑制
    cv::bitwise_and(cornerMap, localMax, cornerMap);
    return cornerMap;
}

// 由Harris的值获取特征点
void HarrisDetector::getCorners(std::vector<cv::Point> &points, double qualityLevel)
{
    // 得到角点图
    cv::Mat cornerMap = getCornerMap(qualityLevel);
    getCorners(points, cornerMap);
}

// 由角点图获取特征点
void HarrisDetector::getCorners(std::vector<cv::Point> &points, const cv::Mat& cornerMap)
{
    // 遍历像素得到所有特征
    for( int y = 0; y < cornerMap.rows; y++ )
    {
        const uchar* rowPtr = cornerMap.ptr<uchar>(y);
        for( int x = 0; x < cornerMap.cols; x++ )
        {
            // 如果是特征点
            if (rowPtr[x])
            {
                points.push_back(cv::Point(x,y));
            }
        }
    }
}

// 在特征点的位置绘制图
void HarrisDetector::drawOnImage(cv::Mat &image,
                 const std::vector<cv::Point> &points,
                 cv::Scalar color,
                 int radius, int thickness)
{
    std::vector<cv::Point>::const_iterator it = points.begin();
    // 对于所有角点，绘制白色圆圈
    while(it != points.end())
    {
        cv::circle(image, *it, radius, color, thickness);
        ++ it;
    }
}

最后，使用该类的步骤如下，直接修改main函数：

#include <QCoreApplication>
#include <opencv2/core/core.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <QDebug>
#include "harrisdetector.h"

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);

    cv::Mat image = cv::imread("c:/031.jpg", 0);
    // 创建Harris对象
    HarrisDetector harris;
    // 计算Harris的值
    harris.detect(image);
    // 检测Harris的角点
    std::vector<cv::Point>pts;
    harris.getCorners(pts, 0.1);
    // 绘制角点图
    harris.drawOnImage(image, pts);
    cv::namedWindow("Harris Corners Final");

    return a.exec();
}

生成的图像：

这里为了改进特征点检测结果，添加了额外的非极大值抑制步骤，目的是移除彼此相邻的Harris角点。这就要求Harris角点不只需要得分高于给定阈值，它还必须是局部极大值。在检测中使用了一个技巧，即将Harris得分的图像进行膨胀：

cv::dilate(cornerStrength, dilate, cv::Mat());

这是由于膨胀运算替换每个像素值为相邻范围内的最大值，因此只有局部极大值的点才会保留原样，并通过以下函数进行测试：

cv::compare(cornerStrength, dilate, localMax, cv::CMP_EQ);

其中，localMax矩阵仅在局部极大值的位置为真，因此又可以在getCornerMap函数中用它来抑制所有非极大值的特征（基于cv::bitwise_and函数）。

三、引入适合跟踪的优质特征的Harris检测实现

在浮点处理器的帮助下，为了避免特征值分解而引入的数学上的简化变得微不足道，因此Harris检测可以基于计算而得的特征值。原则上这个修改不会显著影响检测的结果，但是能够避免使用任意的k参数。

以上第二中方法引入了局部极大值的条件，改善了部分效果。然而，特征点倾向于图像中不均匀分布、普遍集中在纹理丰富的部分。这里记录一种新的解决方案：

该方案利用两个特征点之间的最小距离，从Harris得分最高的点开始，仅接受离开有效特征点距离大于特定值的那些点。在OpenCV中提供cv::goodFeaturesToTrack实现这一方法，它检测到的特征能用于视觉跟踪应用中的优质特征集合。其调用方式如下：

    // 计算适合跟踪的优质特征
    std::vector<cv::Point2f> corners;
    cv::goodFeaturesToTrack(image,corners,
        250,    // 返回的最大特征点的数目
        0.01,   // 质量等级
        8); // 两点之间的最小允许距离

除了质量等级阈值、特征点之间的最小允许距离，该函数还需要指定返回的最大特征点数目，这是因为特征点是按照强度进行排序的。以下给出该方法的实现代码，直接在main函数中添加：

    // 输入图像
    cv::Mat image= cv::imread("c:/031.jpg",0);

    // 计算适合跟踪的优质特征
    std::vector<cv::Point2f> corners;
    cv::goodFeaturesToTrack(image,corners,
        250,    // 返回的最大特征点的数目
        0.01,   // 质量等级
        8); // 两点之间的最小允许距离

    // 遍历所有特征点并画圆圈
    std::vector<cv::Point2f>::const_iterator it= corners.begin();
    while (it!=corners.end())
    {
        cv::circle(image, *it, 3, cv::Scalar(255,255,255), 2);
        ++it;
    }

    // 显示输出结果
    cv::namedWindow("Good Features to Track");
    cv::imshow("Good Features to Track",image);

返回生成的结果：

可以看到，该方法显著改进了特征点的分布情况，但是这样也增加了检测的复杂度，因为要求特征点要安装Harris的得分进行排序。该函数也可以指定一个可选的参数，使得按照经典的焦点分数定义进行计算。

关于Harris的理论研究有待更新……