opencv角点检测学习总结
生活随笔
收集整理的這篇文章主要介紹了
opencv角点检测学习总结
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
學習opencv 角點檢測
如果一個點在兩個正交方向上都有明顯的導數，則我們認為此點更傾向于是獨一無二的，所以許多可跟蹤的特征點都是角點。一下為角點檢測中用到的一些函數
cvGoodFeaturesToTrack先計算二階導數，再計算特征值，它返回滿足易于跟蹤的定義的一系列點。
? ? ? ? ? ? ? ?const CvArr* image,
? ? ? ? ? ? ? ? CvArr* eig_image,?
? ? ? ? ? ? ? ?CvArr* temp_image,
? ? ? ? ? ? ? ?CvPoint2D32f* corners,
? ? ? ? ? ? ? ?int* corner_count,
? ? ? ? ? ? ? ?double quality_level,
? ? ? ? ? ? ? ?double min_distance,
? ? ? ? ? ? ? ?const CvArr* mask=NULL
? ? ? ? ? ? ? ?int block_size ? =3,
? ? ? ? ? ? ? ?int use_harris =0,
? ? ? ? ? ? ? ?double k = 0.4
?);
image
輸入圖像必須為8位或32位單通道圖像
eig_image
當做臨時變量使用，計算后eig_image 中的內容是有效的，其中每個元素包含了輸入圖像中對應點的最小特征值
temp_image
另外一個臨時圖像，格式與尺寸與 eig_image 一致
corners
是函數的輸出，為檢測到的32位的角點數組，在調用函數之前需要為它分配空間
corner_count
函數調用完成后，該值表示實際檢測到的角點數目
quality_level
表示一點被認為是角點的可接受的最小特征值。
min_distance
檢測完角點之后還要剔除一些距離比較近的角點，min_distance保證返回的角點之間的距離不小于min_distance.
mask
可選參數，一幅像素值為bool類型的圖像，用于指定輸入圖像中參與角點計算的像素點。如果mask為NULL，則選擇整個圖像。
block_size
計算導數的自相關矩陣時指定的鄰域。
use_harris ?
如果use_harris為0，則使用Shi-Tomasi定義，非零則使用Harris的角點定義
void cvCvtColor( const CvArr* src, CvArr* dst, int code );
該函數是opencv中的顏色空間轉換函數
src
輸入的 8-bit,16-bit或 32-bit單倍精度浮點數圖像。
dst
輸出的8-bit, 16-bit或 32-bit單倍精度浮點數圖像。
code
色彩空間轉換的模式，該code來實現不同類型的顏色空間轉換。
void cvCircle(CvArr* img, CvPoint center, int radius, CvScalar color, int thickness=1, int lineType=8, int shift=0) img – 要畫圓的圖像
center – 圓心坐標
radius – 半徑
color – 顏色
thickness – 線寬
lineType – Type of the circle boundary, see Line description shift –圓心坐標和和半徑的小數點的數目?
#include "StdAfx.h" #include "cv.h" #include "cxcore.h" #include "highgui.h" #include<opencv.hpp> #include<iostream> using namespace std; using namespace cv; const int max_corners=100; const char* filename = "JINGLONGLONG.jpg"; int main() {int cornerCount =max_corners;//角點的最大數目//用于保存角點的坐標CvPoint2D32f corners[max_corners];IplImage* sourceImage=0,*grayImage=0,*corners1=0,*corners2=0;cvNamedWindow("IMAGE",CV_WINDOW_AUTOSIZE); //讀入圖像，檢測sourceImage=cvLoadImage(filename,1);grayImage=cvCreateImage(cvGetSize(sourceImage),IPL_DEPTH_8U,1);cvCvtColor(sourceImage,grayImage,CV_RGB2GRAY);corners1=cvCreateImage(cvGetSize(sourceImage),IPL_DEPTH_32F,1);corners2=cvCreateImage(cvGetSize(sourceImage),IPL_DEPTH_32F,1);cvGoodFeaturesToTrack(grayImage,corners1,corners2,corners,&cornerCount,0.05,5,0,3,0,0.4);if(cornerCount){int i=0;CvScalar color=CV_RGB(0,0,255);for(i;i<cornerCount;i++)cvCircle(sourceImage, //要畫圓的圖像cvPoint((int)(corners[i].x),(int)(corners[i].y)), //圓心6, //半徑color,//顏色2, //貌似是線寬CV_AA,//線型0 //圓心坐標和和半徑的小數點的數目);}cvShowImage("IMAGE",sourceImage);cvWaitKey(0); //釋放資源cvReleaseImage(&sourceImage);cvReleaseImage(&corners1);cvReleaseImage(&corners2);cvReleaseImage(&grayImage);cvDestroyWindow("IMAGE");return 0; }
運行結果：
不知道是不是格式的問題，，，，這個程序還有點問題，，，待考試完了再處理一下..
Reference《學習opencv》
========
OpenCV入門教程之 OpenCV角點檢測之Harris角點檢測
http://blog.csdn.net/poem_qianmo/article/details/29356187寫作當前博文時配套使用的OpenCV版本： 2.4.9
?
本篇文章中，我們一起探討了OpenCV中Harris角點檢測相關的知識點，學習了OpenCV中實現Harris角點檢測的cornerHarris函數的使用方法。此博文一共有兩個配套的麻雀雖小但五臟俱全的示例程序，其經過淺墨詳細注釋過的代碼都在文中貼出，且文章最后提供了綜合示例程序的下載。
依然是先看看程序運行截圖：
一、引言：關于興趣點（interest points）
?
在圖像處理和與計算機視覺領域，興趣點（interest points），或稱作關鍵點（keypoints）、特征點（feature points） 被大量用于解決物體識別，圖像識別、圖像匹配、視覺跟蹤、三維重建等一系列的問題。我們不再觀察整幅圖，而是選擇某些特殊的點，然后對他們進行局部有的放矢的分析。如果能檢測到足夠多的這種點，同時他們的區分度很高，并且可以精確定位穩定的特征，那么這個方法就有使用價值。
圖像特征類型可以被分為如下三種：
<1>邊緣<2>角點 (感興趣關鍵點)<3>斑點(Blobs)(感興趣區域)
?其中，角點是個很特殊的存在。他們在圖像中可以輕易地定位，同時，他們在人造物體場景，比如門、窗、桌等出隨處可見。因為角點位于兩條邊緣的交點處，代表了兩個邊緣變化的方向上的點,，所以他們是可以精確定位的二維特征，甚至可以達到亞像素的精度。且其圖像梯度有很高的變化，這種變化是可以用來幫助檢測角點的。需要注意的是，角點與位于相同強度區域上的點不同，與物體輪廓上的點也不同，因為輪廓點難以在相同的其他物體上精確定位。
二、角點檢測算法的分類
在當前的圖像處理領域，角點檢測算法可歸納為三類：
<1>基于灰度圖像的角點檢測<2>基于二值圖像的角點檢測<3>基于輪廓曲線的角點檢測
而基于灰度圖像的角點檢測又可分為基于梯度、基于模板和基于模板梯度組合三類方法，其中基于模板的方法主要考慮像素領域點的灰度變化，即圖像亮度的變化，將與鄰點亮度對比足夠大的點定義為角點。常見的基于模板的角點檢測算法有Kitchen-Rosenfeld角點檢測算法，Harris角點檢測算法、KLT角點檢測算法及SUSAN角點檢測算法。和其他角點檢測算法相比，SUSAN角點檢測算法具有算法簡單、位置準確、抗噪聲能力強等特點。
三、角點的定義
?
“如果某一點在任意方向的一個微小變動都會引起灰度很大的變化，那么我們就把它稱之為角點”
角點檢測(Corner Detection)是計算機視覺系統中用來獲得圖像特征的一種方法，廣泛應用于運動檢測、圖像匹配、視頻跟蹤、三維建模和目標識別等領域中。也稱為特征點檢測。
角點通常被定義為兩條邊的交點，更嚴格的說，角點的局部鄰域應該具有兩個不同區域的不同方向的邊界。而實際應用中，大多數所謂的角點檢測方法檢測的是擁有特定特征的圖像點，而不僅僅是“角點”。這些特征點在圖像中有具體的坐標，并具有某些數學特征，如局部最大或最小灰度、某些梯度特征等。
現有的角點檢測算法并不是都十分的健壯。很多方法都要求有大量的訓練集和冗余數據來防止或減少錯誤特征的出現。另外，角點檢測方法的一個很重要的評價標準是其對多幅圖像中相同或相似特征的檢測能力，并且能夠應對光照變化、圖像旋轉等圖像變化。
在我們解決問題時，往往希望找到特征點，“特征”顧名思義，指能描述物體本質的東西，還有一種解釋就是這個特征微小的變化都會對物體的某一屬性產生重大的影響。而角點就是這樣的特征。
觀察日常生活中的“角落”就會發現，“角落”可以視為所有平面的交匯處，或者說是所有表面的發起處。假設我們要改變一個墻角的位置，那么由它而出發的平面勢必都要有很大的變化。所以，這就引出了圖像角點的定義。
我們知道，特征檢測與匹配是計算機視覺應用中非常重要的一部分，這需要尋找圖像之間的特征建立對應關系。圖像中的點作為圖像的特殊位置，是很常用的一類特征，點的局部特征也可以叫做“關鍵特征點”(keypoint feature)，或“興趣點”(interest point)，或“角點”(conrner)。
另外，關于角點的具體描述可以有幾種：
一階導數(即灰度的梯度)的局部最大所對應的像素點；兩條及兩條以上邊緣的交點；圖像中梯度值和梯度方向的變化速率都很高的點；角點處的一階導數最大，二階導數為零，指示物體邊緣變化不連續的方向。
四、cornerHarris函數詳解
cornerHarris 函數用于在OpenCV中運行Harris角點檢測算子處理圖像。和cornerMinEigenVal( )以及cornerEigenValsAndVecs( )函數類似，cornerHarris 函數對于每一個像素(x,y)在鄰域內，計算2x2梯度的協方差矩陣，接著它計算如下式子：
即可以找出輸出圖中的局部最大值，即找出了角點。
其函數原型和參數解析：
C++: void cornerHarris(InputArray src,OutputArray dst, int blockSize, int ksize, double k, intborderType=BORDER_DEFAULT )
第一個參數，InputArray類型的src，輸入圖像，即源圖像，填Mat類的對象即可，且需為單通道8位或者浮點型圖像。第二個參數，OutputArray類型的dst，函數調用后的運算結果存在這里，即這個參數用于存放Harris角點檢測的輸出結果，和源圖片有一樣的尺寸和類型。第三個參數，int類型的blockSize，表示鄰域的大小，更多的詳細信息在cornerEigenValsAndVecs（）中有講到。第四個參數，int類型的ksize，表示Sobel()算子的孔徑大小。第五個參數，double類型的k，Harris參數。第六個參數，int類型的borderType，圖像像素的邊界模式，注意它有默認值BORDER_DEFAULT。更詳細的解釋，參考borderInterpolate( )函數。
?
接著我們一起過一遍稍后需要用到的Threshold函數的解析，然后看一個以cornerHarris為核心的示例程序。
五、Threshold函數詳解
?
函數Threshold( ) 對單通道數組應用固定閾值操作。該函數的典型應用是對灰度圖像進行閾值操作得到二值圖像。(另外，compare( )函數也可以達到此目的) 或者是去掉噪聲，例如過濾很小或很大象素值的圖像點。
C++: double threshold(InputArray src,OutputArray dst, double thresh, double maxval, int type)
?
第一個參數，InputArray類型的src，輸入數組，填單通道 , 8或32位浮點類型的Mat即可。第二個參數，OutputArray類型的dst，函數調用后的運算結果存在這里，即這個參數用于存放輸出結果，且和第一個參數中的Mat變量有一樣的尺寸和類型。第三個參數，double類型的thresh，閾值的具體值。第四個參數，double類型的maxval，當第五個參數閾值類型type取 CV_THRESH_BINARY 或CV_THRESH_BINARY_INV 閾值類型時的最大值.第五個參數，int類型的type，閾值類型,。threshold( )函數支持的對圖像取閾值的方法由其確定，具體用法如下圖：
?
而圖形化的閾值描述如下圖：
講解完這兩個函數，讓我們看一個調用示例程序：
#include <opencv2/opencv.hpp>?
#include <opencv2/imgproc/imgproc.hpp>?
using namespace cv;?
{?
//以灰度模式載入圖像并顯示
Mat srcImage = imread("1.jpg", 0);?
imshow("原始圖", srcImage);?
//進行Harris角點檢測找出角點
Mat cornerStrength;?
cornerHarris(srcImage, cornerStrength, 2, 3, 0.01);
//對灰度圖進行閾值操作，得到二值圖并顯示?
Mat harrisCorner;?
threshold(cornerStrength, harrisCorner, 0.00001, 255, THRESH_BINARY);?
imshow("角點檢測后的二值效果圖", harrisCorner);?
waitKey(0);?
return 0;?
}
?
運行截圖：
六、本文相關核心函數在OpenCV中的實現源代碼
?這個部分貼出OpenCV中本文相關函數的源碼實現細節，來給想了解實現細節的小伙伴們參考。
6.1 OpenCV2.X中cornerHarris函數源代碼
源碼路徑： …opencvsourcesmodulesimgprocsrccorner.cpp
void cv::cornerHarris( InputArray _src,OutputArray _dst, int blockSize, int ksize, double k, int borderType )
{
Mat src = _src.getMat();
_dst.create( src.size(), CV_32F );
Mat dst = _dst.getMat();
cornerEigenValsVecs( src, dst, blockSize, ksize, HARRIS, k, borderType);
}
可見cornerHarris內部其實是調用了cornerEigenValsVecs函數，我們看看其實現源碼：
static void
cornerEigenValsVecs( const Mat& src,Mat& eigenv, int block_size,
int aperture_size, intop_type, double k=0.,
intborderType=BORDER_DEFAULT )
{
#ifdef HAVE_TEGRA_OPTIMIZATION
if (tegra::cornerEigenValsVecs(src, eigenv, block_size, aperture_size,op_type, k, borderType))
return;
#endif
int depth = src.depth();
double scale = (double)(1 << ((aperture_size > 0 ?aperture_size : 3) - 1)) * block_size;
if( aperture_size < 0 )
scale *= 2.;
if( depth == CV_8U )
scale *= 255.;
scale = 1./scale;
?
CV_Assert( src.type() == CV_8UC1 || src.type() == CV_32FC1 );
?
Mat Dx, Dy;
if( aperture_size > 0 )
{
Sobel( src, Dx, CV_32F, 1, 0, aperture_size, scale, 0, borderType );
Sobel( src, Dy, CV_32F, 0, 1, aperture_size, scale, 0, borderType );
}
else
{
Scharr( src, Dx, CV_32F, 1, 0, scale, 0, borderType );
Scharr( src, Dy, CV_32F, 0, 1, scale, 0, borderType );
}
?
Size size = src.size();
Mat cov( size, CV_32FC3 );
int i, j;
?
for( i = 0; i < size.height; i++ )
{
float* cov_data = (float*)(cov.data + i*cov.step);
const float* dxdata = (const float*)(Dx.data + i*Dx.step);
const float* dydata = (const float*)(Dy.data + i*Dy.step);
?
for( j = 0; j < size.width; j++ )
{
float dx = dxdata[j];
float dy = dydata[j];
?
cov_data[j*3] = dx*dx;
cov_data[j*3+1] = dx*dy;
cov_data[j*3+2] = dy*dy;
}
}
?
boxFilter(cov, cov, cov.depth(), Size(block_size, block_size),
Point(-1,-1), false, borderType );
if( op_type == MINEIGENVAL )
calcMinEigenVal( cov, eigenv );
else if( op_type == HARRIS )
calcHarris( cov, eigenv, k );
else if( op_type == EIGENVALSVECS )
calcEigenValsVecs( cov, eigenv );
}
}
?
6.1 OpenCV2.X中Threshold函數源代碼
路徑：…opencvsourcesmodulesimgprocsrc hresh.cpp
double cv::threshold( InputArray _src,OutputArray _dst, double thresh, double maxval, int type )
02.
{
03.
Mat src = _src.getMat();
04.
bool use_otsu = (type & THRESH_OTSU) != 0;
05.
type &= THRESH_MASK;
06.
?
07.
if( use_otsu )
08.
{
09.
CV_Assert( src.type() == CV_8UC1 );
10.
thresh = getThreshVal_Otsu_8u(src);
11.
}
12.
?
13.
_dst.create( src.size(), src.type() );
14.
Mat dst = _dst.getMat();
15.
?
16.
if( src.depth() == CV_8U )
17.
{
18.
int ithresh = cvFloor(thresh);
19.
thresh = ithresh;
20.
int imaxval = cvRound(maxval);
21.
if( type == THRESH_TRUNC )
22.
imaxval = ithresh;
23.
imaxval = saturate_cast<uchar>(imaxval);
24.
?
25.
if( ithresh < 0 || ithresh >= 255 )
26.
{
27.
if( type == THRESH_BINARY || type == THRESH_BINARY_INV ||
28.
((type == THRESH_TRUNC || type== THRESH_TOZERO_INV) && ithresh < 0) ||
29.
(type == THRESH_TOZERO&& ithresh >= 255) )
30.
{
31.
int v = type ==THRESH_BINARY ? (ithresh >= 255 ? 0 : imaxval) :
32.
type ==THRESH_BINARY_INV ? (ithresh >= 255 ? imaxval : 0) :
33.
/*type == THRESH_TRUNC? imaxval :*/ 0;
34.
dst.setTo(v);
35.
}
36.
else
37.
src.copyTo(dst);
38.
return thresh;
39.
}
40.
thresh = ithresh;
41.
maxval = imaxval;
42.
}
43.
else if( src.depth() == CV_16S )
44.
{
45.
int ithresh = cvFloor(thresh);
46.
thresh = ithresh;
47.
int imaxval = cvRound(maxval);
48.
if( type == THRESH_TRUNC )
49.
imaxval = ithresh;
50.
imaxval = saturate_cast<short>(imaxval);
51.
?
52.
if( ithresh < SHRT_MIN || ithresh >= SHRT_MAX )
53.
{
54.
if( type == THRESH_BINARY || type == THRESH_BINARY_INV ||
55.
((type == THRESH_TRUNC || type== THRESH_TOZERO_INV) && ithresh < SHRT_MIN) ||
56.
(type == THRESH_TOZERO&& ithresh >= SHRT_MAX) )
57.
{
58.
int v = type == THRESH_BINARY ?(ithresh >= SHRT_MAX ? 0 : imaxval) :
59.
type == THRESH_BINARY_INV ?(ithresh >= SHRT_MAX ? imaxval : 0) :
60.
/*type == THRESH_TRUNC ?imaxval :*/ 0;
61.
dst.setTo(v);
62.
}
63.
else
64.
src.copyTo(dst);
65.
return thresh;
66.
}
67.
thresh = ithresh;
68.
maxval = imaxval;
69.
}
70.
else if( src.depth() == CV_32F )
71.
;
72.
else
73.
CV_Error( CV_StsUnsupportedFormat, "" );
74.
?
75.
parallel_for_(Range(0, dst.rows),
76.
ThresholdRunner(src, dst,thresh, maxval, type),
77.
dst.total()/(double)(1<<16));
78.
return thresh;
79.
}
另外在貼上與之相關的自適應閾值操作函數的源碼adaptiveThreshold：
void cv::adaptiveThreshold( InputArray_src, OutputArray _dst, double maxValue,
02.
int method, inttype, int blockSize, double delta )
03.
{
04.
Mat src = _src.getMat();
05.
CV_Assert( src.type() == CV_8UC1 );
06.
CV_Assert( blockSize % 2 == 1 && blockSize > 1 );
07.
Size size = src.size();
08.
?
09.
_dst.create( size, src.type() );
10.
Mat dst = _dst.getMat();
11.
?
12.
if( maxValue < 0 )
13.
{
14.
dst = Scalar(0);
15.
return;
16.
}
17.
?
18.
Mat mean;
19.
?
20.
if( src.data != dst.data )
21.
mean = dst;
22.
?
23.
if( method == ADAPTIVE_THRESH_MEAN_C )
24.
boxFilter( src, mean, src.type(), Size(blockSize, blockSize),
25.
Point(-1,-1), true,BORDER_REPLICATE );
26.
else if( method == ADAPTIVE_THRESH_GAUSSIAN_C )
27.
GaussianBlur( src, mean, Size(blockSize, blockSize), 0, 0,BORDER_REPLICATE );
28.
else
29.
CV_Error( CV_StsBadFlag, "Unknown/unsupported adaptive thresholdmethod" );
30.
?
31.
int i, j;
32.
uchar imaxval = saturate_cast<uchar>(maxValue);
33.
int idelta = type == THRESH_BINARY ? cvCeil(delta) : cvFloor(delta);
34.
uchar tab[768];
35.
?
36.
if( type == CV_THRESH_BINARY )
37.
for( i = 0; i < 768; i++ )
38.
tab[i] = (uchar)(i - 255 > -idelta ? imaxval : 0);
39.
else if( type == CV_THRESH_BINARY_INV )
40.
for( i = 0; i < 768; i++ )
41.
tab[i] = (uchar)(i - 255 <= -idelta ? imaxval : 0);
42.
else
43.
CV_Error( CV_StsBadFlag, "Unknown/unsupported threshold type");
44.
?
45.
if( src.isContinuous() && mean.isContinuous() &&dst.isContinuous() )
46.
{
47.
size.width *= size.height;
48.
size.height = 1;
49.
}
50.
?
51.
for( i = 0; i < size.height; i++ )
52.
{
53.
const uchar* sdata = src.data + src.step*i;
54.
const uchar* mdata = mean.data + mean.step*i;
55.
uchar* ddata = dst.data + dst.step*i;
56.
?
57.
for( j = 0; j < size.width; j++ )
58.
ddata[j] = tab[sdata[j] - mdata[j] + 255];
59.
}
60.
}
?
七、綜合示例部分
?
本次綜合示例為調節滾動條來控制閾值，以控制的harris檢測角點的數量。一共有三個圖片窗口，分別為顯示原始圖的窗口，包含滾動條的彩色效果圖窗口，以及灰度圖效果圖窗口。
廢話不多說，讓我們一起來欣賞詳細注釋過后的完整源代碼：
view sourceprint?
001.
//-----------------------------------【程序說明】----------------------------------------------
002.
// ? ? ?程序名稱:：《【OpenCV入門教程之十六】OpenCV角點檢測之Harris角點檢測》 博文配套源碼
003.
// ? ? ?開發所用IDE版本：Visual Studio 2010
004.
// ? ? ?開發所用OpenCV版本： ? 2.4.9
009.
//----------------------------------------------------------------------------------------------
010.
?
#include <opencv2/opencv.hpp>
015.
#include "opencv2/highgui/highgui.hpp"
016.
#include "opencv2/imgproc/imgproc.hpp"
017.
?
using namespace cv;
022.
using namespace std;
023.
?
// ?描述：定義一些輔助宏?
026.
//------------------------------------------------------------------------------------------------?
027.
#define WINDOW_NAME1 "【程序窗口1】" ? ? ? ?//為窗口標題定義的宏?
028.
#define WINDOW_NAME2 "【程序窗口2】" ? ? ? ?//為窗口標題定義的宏?
029.
?
031.
// ? ? ?描述：全局變量聲明
032.
//-----------------------------------------------------------------------------------------------
033.
Mat g_srcImage, g_srcImage1,g_grayImage;
034.
int thresh = 30; //當前閾值
035.
int max_thresh = 175; //最大閾值
036.
?
037.
?
// ? ? ?描述：全局函數聲明
040.
//-----------------------------------------------------------------------------------------------
041.
void on_CornerHarris( int, void* );//回調函數
042.
static void ShowHelpText();
043.
?
// ? ? ?描述：控制臺應用程序的入口函數，我們的程序從這里開始執行
046.
//-----------------------------------------------------------------------------------------------
047.
int main( int argc, char** argv )
048.
{
049.
//【0】改變console字體顏色
050.
system("color 3F");?
051.
?
052.
//【0】顯示幫助文字
053.
ShowHelpText();
054.
?
055.
//【1】載入原始圖并進行克隆保存
056.
g_srcImage = imread( "1.jpg", 1 );
057.
if(!g_srcImage.data ) { printf("讀取圖片錯誤，請確定目錄下是否有imread函數指定的圖片存在~！
058.
"); return false; }?
059.
imshow("原始圖",g_srcImage);
060.
g_srcImage1=g_srcImage.clone( );
061.
?
062.
//【2】存留一張灰度圖
063.
cvtColor( g_srcImage1, g_grayImage, CV_BGR2GRAY );
064.
?
065.
//【3】創建窗口和滾動條
066.
namedWindow( WINDOW_NAME1, CV_WINDOW_AUTOSIZE );
067.
createTrackbar( "閾值: ", WINDOW_NAME1, &thresh, max_thresh, on_CornerHarris );
068.
?
069.
//【4】調用一次回調函數，進行初始化
070.
on_CornerHarris( 0, 0 );
071.
?
072.
waitKey(0);
073.
return(0);
074.
}
075.
?
076.
//-----------------------------------【on_HoughLines( )函數】--------------------------------
077.
// ? ? ?描述：回調函數
078.
//----------------------------------------------------------------------------------------------
079.
?
080.
void on_CornerHarris( int, void* )
081.
{
082.
//---------------------------【1】定義一些局部變量-----------------------------
083.
Mat dstImage;//目標圖
084.
Mat normImage;//歸一化后的圖
085.
Mat scaledImage;//線性變換后的八位無符號整型的圖
086.
?
087.
//---------------------------【2】初始化---------------------------------------
088.
//置零當前需要顯示的兩幅圖，即清除上一次調用此函數時他們的值
089.
dstImage = Mat::zeros( g_srcImage.size(), CV_32FC1 );
090.
g_srcImage1=g_srcImage.clone( );
091.
?
092.
//---------------------------【3】正式檢測-------------------------------------
093.
//進行角點檢測
094.
cornerHarris( g_grayImage, dstImage, 2, 3, 0.04, BORDER_DEFAULT );
095.
?
096.
// 歸一化與轉換
097.
normalize( dstImage, normImage, 0, 255, NORM_MINMAX, CV_32FC1, Mat() );
098.
convertScaleAbs( normImage, scaledImage );//將歸一化后的圖線性變換成8位無符號整型
099.
?
100.
//---------------------------【4】進行繪制-------------------------------------
101.
// 將檢測到的，且符合閾值條件的角點繪制出來
102.
for( int j = 0; j < normImage.rows ; j++ )
103.
{ for( int i = 0; i < normImage.cols; i++ )
104.
{
105.
if( (int) normImage.at<float>(j,i) > thresh+80 )
106.
{
107.
circle( g_srcImage1, Point( i, j ), 5, ?Scalar(10,10,255), 2, 8, 0 );
108.
circle( scaledImage, Point( i, j ), 5, ?Scalar(0,10,255), 2, 8, 0 );
109.
}
110.
}
111.
}
112.
//---------------------------【4】顯示最終效果---------------------------------
113.
imshow( WINDOW_NAME1, g_srcImage1 );
114.
imshow( WINDOW_NAME2, scaledImage );
115.
?
116.
}
117.
?
118.
//-----------------------------------【ShowHelpText( )函數】----------------------------------
119.
// ? ? ?描述：輸出一些幫助信息
120.
//----------------------------------------------------------------------------------------------
121.
static void ShowHelpText()
122.
{
123.
//輸出一些幫助信息
124.
printf("
125.
?
126.
?
127.
【歡迎來到Harris角點檢測示例程序~】
128.
?
129.
");?
130.
printf("
131.
?
132.
?
133.
請調整滾動條觀察圖像效果~
134.
?
135.
");
136.
printf("
137.
?
138.
by淺墨"
139.
);
140.
}
放出一些運行效果圖。
首先是原始圖，非常美麗的異域建筑群：
第一組閾值效果圖：
第二組閾值效果圖：
第三組閾值效果圖：
第四組閾值效果圖：
========
OpenCV角點檢測：Harris角點及Shi-Tomasi角點檢測
目錄(?)[-]角點
Harris角點檢測
相關代碼
Shi-Tomasi 算法
相關代碼
實踐
轉載請注明出處httpblogcsdnnetxiaowei_cquarticledetails7805206
源碼及資料下載 httpdownloadcsdnnetdetailxiaowei_cqu4466627
參考資料
角點
特征檢測與匹配是Computer Vision 應用總重要的一部分，這需要尋找圖像之間的特征建立對應關系。點，也就是圖像中的特殊位置，是很常用的一類特征，點的局部特征也可以叫做“關鍵特征點”(keypoint feature)，或“興趣點”(interest point)，或“角點”(conrner)。
關于角點的具體描述可以有幾種：
一階導數(即灰度的梯度)的局部最大所對應的像素點；
兩條及兩條以上邊緣的交點；
圖像中梯度值和梯度方向的變化速率都很高的點；
角點處的一階導數最大，二階導數為零，指示物體邊緣變化不連續的方向。
?
Harris角點檢測
當一個窗口在圖像上移動，在平滑區域如圖(a)，窗口在各個方向上沒有變化。在邊緣上如圖(b)，窗口在邊緣的方向上沒有變化。在角點處如圖(c)，窗口在各個方向上具有變化。Harris角點檢測正是利用了這個直觀的物理現象，通過窗口在各個方向上的變化程度，決定是否為角點。
將圖像窗口平移[u,v]產生灰度變化E(u,v)
由：， 得到：
對于局部微小的移動量 [u,v]，近似表達為：
其中M是 2*2 矩陣，可由圖像的導數求得：
E(u,v)的橢圓形式如下圖：
定義角點響應函數 R 為：
Harris角點檢測算法就是對角點響應函數R進行閾值處理：R > threshold，即提取R的局部極大值。
OpenCV中定義了 cornerHarris 函數：
[cpp] view plain copy
void cornerHarris( InputArray src, OutputArray dst, int blockSize, ?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? int ksize, double k, ?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? int borderType=BORDER_DEFAULT ); ?
可以結合 convertScaleAbs 函數，通過閾值取角點：
[cpp] view plain copy
void cornerHarris_demo( int, void* ) ?
{ ?
? Mat dst, dst_norm; ?
? dst = Mat::zeros( src.size(), CV_32FC1 ); ?
? /// Detector parameters ?
? int blockSize = 2; ?
? int apertureSize = 3; ?
? double k = 0.04; ?
? /// Detecting corners ?
? cornerHarris( src_gray, dst, blockSize, apertureSize, k, BORDER_DEFAULT ); ?
? /// Normalizing ?
? normalize( dst, dst_norm, 0, 255, NORM_MINMAX, CV_32FC1, Mat() ); ?
? convertScaleAbs( dst_norm, dst_norm_scaled ); ??
? /// Drawing a circle around corners ?
? for( int j = 0; j < dst_norm.rows ; j++ ) ?
? ? ?{ for( int i = 0; i < dst_norm.cols; i++ ) ?
? ? ? ? ? { ?
? ? ? ? ? ? if( (int) dst_norm.at<float>(j,i) > thresh ) ?
? ? ? ? ? ? ? { ??
? ? ? ? ? ? ? ? circle( dst_norm_scaled, Point( i, j ), 5, ?Scalar(0), 2, 8, 0 ); ??
? ? ? ? ? ? ? ? circle(src,Point( i, j ), 5, ?Scalar(255,0,0), -1, 8, 0 ); ?
? ? ? ? ? ? ? } ?
? ? ? ? ? } ??
? ? ?} ? ? ?
? /// Showing the result ?
? imshow( corners_window, dst_norm_scaled ); ?
? imshow( source_window, src ); ? ?
} ?
Shi-Tomasi 算法
Shi-Tomasi 算法是Harris 算法的改進。Harris 算法最原始的定義是將矩陣 M 的行列式值與 M 的跡相減，再將差值同預先給定的閾值進行比較。后來Shi 和Tomasi 提出改進的方法，若兩個特征值中較小的一個大于最小閾值，則會得到強角點。
如上面第二幅圖中，對自相關矩陣 M 進行特征值分析，產生兩個特征值和兩個特征方向向量。因為較大的不確定度取決于較小的特征值，也就是，所以通過尋找最小特征值的最大值來尋找好的特征點也就解釋的通了。
Shi 和Tomasi 的方法比較充分，并且在很多情況下可以得到比使用Harris 算法更好的結果。
由于這種Shi-Tomasi算子與1994年在文章 Good Features to Track [1]中提出，OpenCV 實現的算法的函數名定義為 goodFeaturesToTrack：
[cpp] view plain copy
void goodFeaturesToTrack( InputArray image, OutputArray corners, ?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?int maxCorners, double qualityLevel, double minDistance, ?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?InputArray mask=noArray(), int blockSize=3, ?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?bool useHarrisDetector=false, double k=0.04 ); ?
自定義使用函數（以方便createTrackbar的響應）如下：
[cpp] view plain copy
void cornerShiTomasi_demo( int, void* ) ?
{ ?
? if( maxCorners < 1 ) { maxCorners = 1; } ?
? /// Parameters for Shi-Tomasi algorithm ?
? vector<Point2f> corners; ?
? double qualityLevel = 0.01; ?
? double minDistance = 10; ?
? int blockSize = 3; ?
? bool useHarrisDetector = false; ?
? double k = 0.04; ?
? /// Copy the source image ?
? Mat cormat; ?
? /// Apply corner detection :Determines strong corners on an image. ?
? goodFeaturesToTrack( src_gray, ??
? ? ? ? ? ? ? ?corners, ?
? ? ? ? ? ? ? ?maxCorners, ?
? ? ? ? ? ? ? ?qualityLevel, ?
? ? ? ? ? ? ? ?minDistance, ?
? ? ? ? ? ? ? ?Mat(), ?
? ? ? ? ? ? ? ?blockSize, ?
? ? ? ? ? ? ? ?useHarrisDetector, ?
? ? ? ? ? ? ? ?k ); ?
? /// Draw corners detected ?
? for( int i = 0; i < corners.size(); i++ ){ ??
? ? ? circle( dst_norm_scaled, ?corners[i], 5, ?Scalar(255), 2, 8, 0 ); ??
? ? ? circle( src, corners[i], 4, Scalar(0,255,0), 2, 8, 0 ); ??
? } ?
??
? /// Show what you got ?
? imshow( corners_window, dst_norm_scaled ); ?
? imshow( source_window, src ); ? ?
} ?
?
實踐
在主函數中定義兩個進度條方便調整閾值：
[cpp] view plain copy
namedWindow( source_window, CV_WINDOW_AUTOSIZE ); ?
createTrackbar( "Threshold: ", source_window, &thresh, max_thresh, cornerHarris_demo ); ?
createTrackbar( "Max ?corners:", source_window, &maxCorners, maxTrackbar, cornerShiTomasi_demo ); ? ?
??
namedWindow( corners_window, CV_WINDOW_AUTOSIZE ); ?
namedWindow( source_window, CV_WINDOW_AUTOSIZE ); ?
imshow( source_window, src ); ? ?
??
cornerHarris_demo( 0, 0 ); ?
cornerShiTomasi_demo( 0, 0 ); ?
這里還需要說的是OpenCV 2.4.2中給的角點檢測跟蹤的示例代碼有些問題，是應為SURF等不再定義在 feature2d模塊中，而是legacy和nonfree，所以需要加入引用：
[cpp] view plain copy
#include "opencv2/legacy/legacy.hpp" ?
#include "opencv2/nonfree/nonfree.hpp" ?
?
角點檢測結果：
藍色實心點為Harris檢測結果，綠色空心圈為goodFeaturetoTrack檢測結果。
M特征值分解后每個像素點相減的圖（也就是Harris閾值判斷的圖）如下：
黑色實心點為Harris閾值檢測結果，白色空心圈為閾值為27時Shi-Tomasi檢測結果。
轉載請注明出處：http://blog.csdn.net/xiaowei_cqu/article/details/7805206
源碼及資料下載： http://download.csdn.net/detail/xiaowei_cqu/4466627
========
學習OpenCV范例（二十）——角點檢測算法
原文 ?http://blog.csdn.net/chenjiazhou12/article/details/22683049本次范例講的都是檢測角點的算法，在這里我們會講到，harris角點檢測，Shi-Tomasi角點檢測，FAST角點檢測，尺度不變surf檢測，尺度不變sift檢測，特征點的描述。由于是算法問題，相對來說會比較復雜，而且都是一些比較經典的算法，如果只是純粹的想要用算法來實現一些功能，那么只要調用OpenCV幾個簡單的函數就可以了，但是如果想學習一下理論知識，為以后自己的研究有所幫助，而且想理解函數的參數如何改變，那么還是得硬著頭皮去看看原理吧，本人也是看了挺久的算法原理，但是還是沒有完全理解透，所以在這里只是貼出我看過的比較有用的博客，還有一些自己編譯的代碼和實現結果，記錄一下這個過程，方便以后可以進一步的研究。
1、原理
Harris： Opencv學習筆記（五）Harris角點檢測 ?
Shi-Tomasi： 【OpenCV】角點檢測：Harris角點及Shi-Tomasi角點檢測
FAST： OpenCV學習筆記（四十六）——FAST特征點檢測features2D
SIFT： 【OpenCV】SIFT原理與源碼分析
? ? ? ? ? ? ? 特征點檢測學習_1(sift算法)?
SURF: ? 特征點檢測學習_2(surf算法)
2、代碼實現
由于代碼量較大，所以只是貼出代碼的一部分，如果想要整體代碼，可以從下面的鏈接中找到
http://download.csdn.net/detail/chenjiazhou12/7129327?
①、harris角點檢測
? ?//計算角點響應函數以及非最大值抑制
? ? void detect(const Mat &image){
? //opencv自帶的角點響應函數計算函數
? cornerHarris (image,cornerStrength,neighbourhood,aperture,k);
? double minStrength;
? //計算最大最小響應值
? minMaxLoc (cornerStrength,&minStrength,&maxStrength);
? Mat dilated;
? //默認3*3核膨脹，膨脹之后，除了局部最大值點和原來相同，其它非局部最大值點被
? //3*3鄰域內的最大值點取代
? dilate (cornerStrength,dilated,cv::Mat());
? //與原圖相比，只剩下和原圖值相同的點，這些點都是局部最大值點，保存到localMax
? compare(cornerStrength,dilated,localMax,cv::CMP_EQ);
? ? }
cornerHarris?
功能：Harris角點檢測
結構：
?void cornerHarris(InputArray src, OutputArray dst, int blockSize, int apertureSize, double k, int borderType=BORDER_DEFAULT )
src ：8位或者32位浮點數單通道圖像?
dst：保存Harris檢測結果的圖像，32位單通道，和src有同樣的size ?
blockSize ：鄰域大小，相鄰像素的尺寸（見關于 cornerEigenValsAndVecs() 的討論）?
apertureSize ：濾波器的孔徑大小?
k ：harris 檢測器的自由參數?
boderType ：插值類型?
compare?
功能：兩個數組之間或者一個數組和一個常數之間的比較
結構：
void compare(InputArray src1, InputArray src2, OutputArray dst, int cmpop)
src1 ：第一個數組或者標量，如果是數組，必須是單通道數組。?
src2 ：第二個數組或者標量，如果是數組，必須是單通道數組。?
dst ：輸出數組，和輸入數組有同樣的size和type=CV_8UC1?
cmpop ：
標志指明了元素之間的對比關系?
CMP_EQ src1 相等 src2.
CMP_GT src1 大于 src2.?
CMP_GE src1 大于或等于 src2.?
CMP_LT src1 小于 src2.?
CMP_LE src1 小于或等于 src2.?
CMP_NE src1 不等于 src2.?
如果對比結果為true，那么輸出數組對應元素的值為255，否則為0
? ? //獲取角點圖
? ? Mat getCornerMap(double qualityLevel) {
? ? ? Mat cornerMap;
? ? ? // 根據角點響應最大值計算閾值
? ? ? thresholdvalue= qualityLevel*maxStrength;
? ? ? threshold(cornerStrength,cornerTh,
? ? ? thresholdvalue,255,cv::THRESH_BINARY);
? ? ? // 轉為8-bit圖
? ? ? cornerTh.convertTo(cornerMap,CV_8U);
? ? ? // 和局部最大值圖與，剩下角點局部最大值圖，即：完成非最大值抑制
? ? ? bitwise_and(cornerMap,localMax,cornerMap);
? ? ? return cornerMap;
? ? }
bitwise_and?
功能：計算兩個數組或數組和常量之間與的關系
結構：
void bitwise_and(InputArray src1, InputArray src2, OutputArray dst, InputArray mask=noArray())
src1 ：第一個輸入的數組或常量?
src2 ：第二個輸入的數組或常量?
dst ：輸出數組，和輸入數組有同樣的size和type?
mask ：可選擇的操作掩碼，為8位單通道數組，指定了輸出數組哪些元素可以被改變，哪些不可以?
操作過程為：
?\texttt{dst} (I) = ?\texttt{src1} (I) ?\wedge \texttt{src2} (I) \quad \texttt{if mask} (I) \ne0
?\texttt{dst} (I) = ?\texttt{src1} (I) ?\wedge \texttt{src2} \quad \texttt{if mask} (I) \ne0
?\texttt{dst} (I) = ?\texttt{src1} ?\wedge \texttt{src2} (I) \quad \texttt{if mask} (I) \ne0
如果為多通道數組，每個通道單獨處理
②、Shi-Tomasi檢測
void goodFeaturesDetect()
{
? // 改進的harris角點檢測方法
? vector<Point> corners;
? goodFeaturesToTrack(image,corners,
? ? 200,
? ? //角點最大數目
? ? 0.01,
? ? // 質量等級，這里是0.01*max（min（e1，e2）），e1，e2是harris矩陣的特征值
? ? 10);
? // 兩個角點之間的距離容忍度
? harris().drawOnImage(image,corners);//標記角點
? ? imshow (winname,image);
??
}
goodFeaturesToTrack?
功能：確定圖像的強角點
結構：
void goodFeaturesToTrack(InputArray image, OutputArray corners, int maxCorners, double qualityLevel, double minDistance, InputArray mask=noArray(), int blockSize=3, bool useHarrisDetector=false, double k=0.04 )
image ：輸入8位或32為單通道圖像?
corners ：輸出檢測到的角點?
maxCorners ：返回的角點的最大值，如果設置的值比檢測到的值大，那就全部返回?
qualityLevel ：最大最小特征值的乘法因子。定義可接受圖像角點的最小質量因子?
minDistance ：限制因子，兩個角點之間的最小距離，使用 Euclidian 距離?
mask ：ROI:感興趣區域。函數在ROI中計算角點，如果 mask 為 NULL，則選擇整個圖像。 必須為單通道的灰度圖，大小與輸入圖像相同。mask對應的點不為0，表示計算該點。?
blockSize ：鄰域大小，相鄰像素的尺寸（見關于 cornerEigenValsAndVecs() 的討論）?
useHarrisDetector ：是否使用Harris檢測器 (見關于 cornerHarris() 或 cornerMinEigenVal()的討論）.?
k ：Harris檢測器的自由參數?
1、該函數在原圖像的每一個像素點使用cornerMinEigenVal()或者cornerHarris()來計算角點?
2、對檢測到的角點進行非極大值抑制（在3*3的領域內極大值被保留）?
3、對檢測到的角點進行閾值處理，小于閾值，則被刪除?
4、對最終得到的角點進行降序排序?
5、刪除離強角點距離比minDistance近的角點?
③、FAST檢測
void fastDetect()
{
? //快速角點檢測
? vector<KeyPoint> keypoints;
? FastFeatureDetector fast(40,true);
? fast.detect (image,keypoints);
? drawKeypoints (image,keypoints,image,Scalar::all(255),DrawMatchesFlags::DRAW_OVER_OUTIMG);
? imshow (winname,image);
}
FastFeatureDetector 類?
這個類是FeatureDetector類繼承過來的
構造函數
FastFeatureDetector( int threshold=1, bool nonmaxSuppression=true );
threshold：檢測閾值
nonmaxSuppression：非極大值抑制
void FeatureDetector::detect(const Mat& image, vector<KeyPoint>& keypoints, const Mat& mask=Mat() ) const
void FeatureDetector::detect(const vector<Mat>& images, vector<vector<KeyPoint>>& keypoints, const vector<Mat>& masks=vector<Mat>() ) const
image ：輸入圖片?
images ：輸入圖片組?
keypoints ：第一個為檢測到的keypoints，第二個為檢測到的keypoints組?
mask ：可選的操作掩碼，指定哪些keypoints，必須是8位二值化有非零元素的感興趣區域?
masks ：多個操作掩碼，masks[i]對應images[i]?
drawKeypoints?
功能：繪制特征關鍵點.
結構：
?void drawKeypoints(const Mat& image, const vector<KeyPoint>& keypoints, Mat& outImg, const Scalar& color=Scalar::all(-1), int flags=DrawMatchesFlags::DEFAULT )
image ：原圖片?
keypoints ：得到的keypoints?
outImg ：輸出圖片，它的內容依賴于flags的值?
color ：keypoints的顏色?
flags ：標志畫在輸出圖像的特征，flags是由DrawMatchesFlags定義的?
?struct DrawMatchesFlags
{
? ? enum
? ? {
? ? ? ? DEFAULT = 0, // 會創建一個輸出矩陣,兩張源文件，匹配結果，
? ? ? ? ? // 和keypoints將會被繪制在輸出圖像中
? ? ? ? ? // 對于每一個keypoints點，只有中心被繪制，
? ? ? ? ? // 不繪制半徑和方向
? ? ? ? DRAW_OVER_OUTIMG = 1, // 不創建輸出圖像，匹配結構繪制在已經存在的輸出圖像中
? ? ? ? NOT_DRAW_SINGLE_POINTS = 2, // 單獨的keypoints點不被繪制
? ? ? ? DRAW_RICH_KEYPOINTS = 4 // 對于每一個keypoints點，半徑和方向都被繪制
? ? };
};
④、SIFT檢測
void siftDetect()
{
? vector<KeyPoint> keypoints;
? SiftFeatureDetector sift(0.03,10);
? sift.detect(image,keypoints);
? drawKeypoints(image,keypoints,image,Scalar(255,255,255),DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
? imshow (winname,image);
}
SiftFeatureDetector
結構：
? ?SiftFeatureDetector( double threshold, double edgeThreshold,
? ? ? ? ? ? ? ? ? ? ? ? ?int nOctaves=SIFT::CommonParams::DEFAULT_NOCTAVES,
? ? ? ? ? ? ? ? ? ? ? ? ?int nOctaveLayers=SIFT::CommonParams::DEFAULT_NOCTAVE_LAYERS,
? ? ? ? ? ? ? ? ? ? ? ? ?int firstOctave=SIFT::CommonParams::DEFAULT_FIRST_OCTAVE,
? ? ? ? ? ? ? ? ? ? ? ? ?int angleMode=SIFT::CommonParams::FIRST_ANGLE );
threshold：過濾掉較差的特征點的對閾值。threshold越大，返回的特征點越少。
edgeThreshold：過濾掉邊緣效應的閾值。edgeThreshold越大，特征點越多
⑤、SURF檢測
void surfDetect()
{
? vector<KeyPoint> keypoints_1, keypoints_2;
? ?Mat descriptors_1, descriptors_2;
? ?//-- Step 1: Detect the keypoints using SURF Detector
? SurfFeatureDetector surf(2500);
? surf.detect(image,keypoints_1);
? surf.detect(image2,keypoints_2);
? //-- Step 2: Calculate descriptors (feature vectors)
? SurfDescriptorExtractor extractor;
? extractor.compute( image, keypoints_1, descriptors_1 );
? extractor.compute( image2, keypoints_2, descriptors_2 );
? //-- Step 3: Matching descriptor vectors with a brute force matcher
? BruteForceMatcher< L2<float> > matcher;
? std::vector< DMatch > matches;
? matcher.match( descriptors_1, descriptors_2, matches );
? nth_element(matches.begin(),matches.begin()+24,matches.end());
? matches.erase(matches.begin()+25,matches.end());
? //-- Draw matches
? Mat img_matches;
? drawMatches( image, keypoints_1, image2, keypoints_2, matches, img_matches,Scalar(255,255,255) );
? drawKeypoints(image,keypoints_1,image,Scalar(255,255,255),DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
? //-- Show detected matches
? imshow("Matches", img_matches );
? imshow (winname,image);
}
SurfFeatureDetector?
構造函數
SurfFeatureDetector( double hessianThreshold = 400., int octaves = 3,
? ? ? ? ? ? ? ? ? ? ? ? ?int octaveLayers = 4 );
hessianThreshold：閾值
octaves：金字塔組數
octaveLayers:金字塔中每組的層數
SurfDescriptorExtractor?
功能：來封裝的用于計算特征描述子的類，構造SURE描述子提取器?
compute?
功能：根據檢測到的圖像（第一種情況）或者圖像集合（第二種情況）中的關鍵點(檢測子)計算描述子.
void DescriptorExtractor::compute(const Mat& image, vector<KeyPoint>& keypoints, Mat& descriptors) const
void DescriptorExtractor::compute(const vector<Mat>& images, vector<vector<KeyPoint>>& keypoints, vector<Mat>& descriptors) const
image :輸入圖像.?
images ：輸入圖像集.?
keypoints:輸入的特征關鍵點. ?
descriptors：計算特征描述子
BruteForceMatcher< L2<float> >?
功能：暴力搜索特征點匹配. 對于第一集合中的特征描述子, 這個匹配尋找了在第二個集合中最近的特征描述子. 這種特征描述子匹配支持 masking permissible特征描述子集合匹配.?
它是一個模板類，<>中的參數表示匹配的方式
DMatch?
功能：用于匹配特征關鍵點的特征描述子的類：查詢特征描述子索引, 特征描述子索引, 訓練圖像索引, 以及不同特征描述子之間的距離.?
match?
功能：給定查詢集合中的每個特征描述子，尋找最佳匹配.
結構：
?void DescriptorMatcher::match(const Mat& queryDescriptors, const Mat& trainDescriptors, vector<DMatch>& matches, const Mat& mask=Mat() ) const
?void DescriptorMatcher::match(const Mat& queryDescriptors, vector<DMatch>& matches, const vector<Mat>& masks=vector<Mat>() )
queryDescriptors ：特征描述子查詢集.?
trainDescriptors ：待訓練的特征描述子集.?
matches ：匹配特征描述子類?
mask – 特定的在輸入查詢和訓練特征描述子集之間的可允許掩碼匹配，指定哪些可以被匹配?
masks – masks集. 每個 masks[i] 特定標記出了在輸入查詢特征描述子和存儲的從第i個圖像中提取的特征描述子集?
第二個方法的trainDesctiptors由DescriptorMatcher::add給出。
nth_element?
功能：nth_element作用為求第n小的元素，并把它放在第n位置上，下標是從0開始計數的，也就是說求第0小的元素就是最小的數。?
erase?
功能：移除參數1和參數2之間的元素，返回下一個元素
drawMatches?
功能：給定兩幅圖像，繪制尋找到的特征關鍵點及其匹配
結構：
void drawMatches(const Mat& img1, const vector<KeyPoint>& keypoints1, const Mat& img2, const vector<KeyPoint>& keypoints2, const vector<DMatch>& matches1to2, Mat& outImg, const Scalar& matchColor=Scalar::all(-1), const Scalar& singlePointColor=Scalar::all(-1), const vector<char>& matchesMask=vector<char>(), int flags=DrawMatchesFlags::DEFAULT )
img1 ：第一張原圖片?
keypoints1 ：第一張得到的關鍵點?
img2 ：第二張圖片?
keypoints2 ：第二張得到的關鍵點?
matches ：匹配點?
outImg ：輸出圖片，它的內容依賴于flags的值?
matchColor ：匹配線的顏色，如果為-1，則顏色隨機分配?
singlePointColor ：單獨點，沒有匹配到的點的顏色，如果為-1，則顏色隨機分配?
matchesMask ：掩碼，表示哪些匹配值被繪制出來，如果為空，表示所有匹配點都繪制出來?
flags ：和上面drawkeypoints中的flags一樣?
3、運行結果
? ??
? ? ? ? ? ? ? ? ? ? 圖1、Harris ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖2、Shi-Tomasi
? ??
? ? ? ? ? ? ? ? ?圖3、FAST ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖4、SIFT
?
? ? ? ? ? ? ? ? 圖5、SURF
?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖6、匹配結果
源代碼下載地址：
http://download.csdn.net/detail/chenjiazhou12/7129327
本次范例講的都是檢測角點的算法，在這里我們會講到，harris角點檢測，Shi-Tomasi角點檢測，FAST角點檢測，尺度不變surf檢測，尺度不變sift檢測，特征點的描述。由于是算法問題，相對來說會比較復雜，而且都是一些比較經典的算法，如果只是純粹的想要用算法來實現一些功能，那么只要調用OpenCV幾個簡單的函數就可以了，但是如果想學習一下理論知識，為以后自己的研究有所幫助，而且想理解函數的參數如何改變，那么還是得硬著頭皮去看看原理吧，本人也是看了挺久的算法原理，但是還是沒有完全理解透，所以在這里只是貼出我看過的比較有用的博客，還有一些自己編譯的代碼和實現結果，記錄一下這個過程，方便以后可以進一步的研究。
1、原理
Harris： Opencv學習筆記（五）Harris角點檢測 ?
Shi-Tomasi： 【OpenCV】角點檢測：Harris角點及Shi-Tomasi角點檢測
FAST： OpenCV學習筆記（四十六）——FAST特征點檢測features2D
SIFT： 【OpenCV】SIFT原理與源碼分析
? ? ? ? ? ? ? 特征點檢測學習_1(sift算法)?
SURF: ? 特征點檢測學習_2(surf算法)
2、代碼實現
由于代碼量較大，所以只是貼出代碼的一部分，如果想要整體代碼，可以從下面的鏈接中找到
http://download.csdn.net/detail/chenjiazhou12/7129327?
①、harris角點檢測
? ?//計算角點響應函數以及非最大值抑制
? ? void detect(const Mat &image){
? //opencv自帶的角點響應函數計算函數
? cornerHarris (image,cornerStrength,neighbourhood,aperture,k);
? double minStrength;
? //計算最大最小響應值
? minMaxLoc (cornerStrength,&minStrength,&maxStrength);
? Mat dilated;
? //默認3*3核膨脹，膨脹之后，除了局部最大值點和原來相同，其它非局部最大值點被
? //3*3鄰域內的最大值點取代
? dilate (cornerStrength,dilated,cv::Mat());
? //與原圖相比，只剩下和原圖值相同的點，這些點都是局部最大值點，保存到localMax
? compare(cornerStrength,dilated,localMax,cv::CMP_EQ);
? ? }
cornerHarris?
功能：Harris角點檢測
結構：
?void cornerHarris(InputArray src, OutputArray dst, int blockSize, int apertureSize, double k, int borderType=BORDER_DEFAULT )
src ：8位或者32位浮點數單通道圖像?
dst：保存Harris檢測結果的圖像，32位單通道，和src有同樣的size ?
blockSize ：鄰域大小，相鄰像素的尺寸（見關于 cornerEigenValsAndVecs() 的討論）?
apertureSize ：濾波器的孔徑大小?
k ：harris 檢測器的自由參數?
boderType ：插值類型?
compare?
功能：兩個數組之間或者一個數組和一個常數之間的比較
結構：
void compare(InputArray src1, InputArray src2, OutputArray dst, int cmpop)
src1 ：第一個數組或者標量，如果是數組，必須是單通道數組。?
src2 ：第二個數組或者標量，如果是數組，必須是單通道數組。?
dst ：輸出數組，和輸入數組有同樣的size和type=CV_8UC1?
cmpop ：
標志指明了元素之間的對比關系?
CMP_EQ src1 相等 src2.
CMP_GT src1 大于 src2.?
CMP_GE src1 大于或等于 src2.?
CMP_LT src1 小于 src2.?
CMP_LE src1 小于或等于 src2.?
CMP_NE src1 不等于 src2.?
如果對比結果為true，那么輸出數組對應元素的值為255，否則為0
? ? //獲取角點圖
? ? Mat getCornerMap(double qualityLevel) {
? ? ? Mat cornerMap;
? ? ? // 根據角點響應最大值計算閾值
? ? ? thresholdvalue= qualityLevel*maxStrength;
? ? ? threshold(cornerStrength,cornerTh,
? ? ? thresholdvalue,255,cv::THRESH_BINARY);
? ? ? // 轉為8-bit圖
? ? ? cornerTh.convertTo(cornerMap,CV_8U);
? ? ? // 和局部最大值圖與，剩下角點局部最大值圖，即：完成非最大值抑制
? ? ? bitwise_and(cornerMap,localMax,cornerMap);
? ? ? return cornerMap;
? ? }
bitwise_and?
功能：計算兩個數組或數組和常量之間與的關系
結構：
void bitwise_and(InputArray src1, InputArray src2, OutputArray dst, InputArray mask=noArray())
src1 ：第一個輸入的數組或常量?
src2 ：第二個輸入的數組或常量?
dst ：輸出數組，和輸入數組有同樣的size和type?
mask ：可選擇的操作掩碼，為8位單通道數組，指定了輸出數組哪些元素可以被改變，哪些不可以?
操作過程為：
?\texttt{dst} (I) = ?\texttt{src1} (I) ?\wedge \texttt{src2} (I) \quad \texttt{if mask} (I) \ne0
?\texttt{dst} (I) = ?\texttt{src1} (I) ?\wedge \texttt{src2} \quad \texttt{if mask} (I) \ne0
?\texttt{dst} (I) = ?\texttt{src1} ?\wedge \texttt{src2} (I) \quad \texttt{if mask} (I) \ne0
如果為多通道數組，每個通道單獨處理
②、Shi-Tomasi檢測
void goodFeaturesDetect()
{
? // 改進的harris角點檢測方法
? vector<Point> corners;
? goodFeaturesToTrack(image,corners,
? ? 200,
? ? //角點最大數目
? ? 0.01,
? ? // 質量等級，這里是0.01*max（min（e1，e2）），e1，e2是harris矩陣的特征值
? ? 10);
? // 兩個角點之間的距離容忍度
? harris().drawOnImage(image,corners);//標記角點
? ? imshow (winname,image);
??
}
goodFeaturesToTrack?
功能：確定圖像的強角點
結構：
void goodFeaturesToTrack(InputArray image, OutputArray corners, int maxCorners, double qualityLevel, double minDistance, InputArray mask=noArray(), int blockSize=3, bool useHarrisDetector=false, double k=0.04 )
image ：輸入8位或32為單通道圖像?
corners ：輸出檢測到的角點?
maxCorners ：返回的角點的最大值，如果設置的值比檢測到的值大，那就全部返回?
qualityLevel ：最大最小特征值的乘法因子。定義可接受圖像角點的最小質量因子?
minDistance ：限制因子，兩個角點之間的最小距離，使用 Euclidian 距離?
mask ：ROI:感興趣區域。函數在ROI中計算角點，如果 mask 為 NULL，則選擇整個圖像。 必須為單通道的灰度圖，大小與輸入圖像相同。mask對應的點不為0，表示計算該點。?
blockSize ：鄰域大小，相鄰像素的尺寸（見關于 cornerEigenValsAndVecs() 的討論）?
useHarrisDetector ：是否使用Harris檢測器 (見關于 cornerHarris() 或 cornerMinEigenVal()的討論）.?
k ：Harris檢測器的自由參數?
1、該函數在原圖像的每一個像素點使用cornerMinEigenVal()或者cornerHarris()來計算角點?
2、對檢測到的角點進行非極大值抑制（在3*3的領域內極大值被保留）?
3、對檢測到的角點進行閾值處理，小于閾值，則被刪除?
4、對最終得到的角點進行降序排序?
5、刪除離強角點距離比minDistance近的角點?
③、FAST檢測
void fastDetect()
{
? //快速角點檢測
? vector<KeyPoint> keypoints;
? FastFeatureDetector fast(40,true);
? fast.detect (image,keypoints);
? drawKeypoints (image,keypoints,image,Scalar::all(255),DrawMatchesFlags::DRAW_OVER_OUTIMG);
? imshow (winname,image);
}
FastFeatureDetector 類?
這個類是FeatureDetector類繼承過來的
構造函數
FastFeatureDetector( int threshold=1, bool nonmaxSuppression=true );
threshold：檢測閾值
nonmaxSuppression：非極大值抑制
void FeatureDetector::detect(const Mat& image, vector<KeyPoint>& keypoints, const Mat& mask=Mat() ) const
void FeatureDetector::detect(const vector<Mat>& images, vector<vector<KeyPoint>>& keypoints, const vector<Mat>& masks=vector<Mat>() ) const
image ：輸入圖片?
images ：輸入圖片組?
keypoints ：第一個為檢測到的keypoints，第二個為檢測到的keypoints組?
mask ：可選的操作掩碼，指定哪些keypoints，必須是8位二值化有非零元素的感興趣區域?
masks ：多個操作掩碼，masks[i]對應images[i]?
drawKeypoints?
功能：繪制特征關鍵點.
結構：
?void drawKeypoints(const Mat& image, const vector<KeyPoint>& keypoints, Mat& outImg, const Scalar& color=Scalar::all(-1), int flags=DrawMatchesFlags::DEFAULT )
image ：原圖片?
keypoints ：得到的keypoints?
outImg ：輸出圖片，它的內容依賴于flags的值?
color ：keypoints的顏色?
flags ：標志畫在輸出圖像的特征，flags是由DrawMatchesFlags定義的?
?struct DrawMatchesFlags
{
? ? enum
? ? {
? ? ? ? DEFAULT = 0, // 會創建一個輸出矩陣,兩張源文件，匹配結果，
? ? ? ? ? // 和keypoints將會被繪制在輸出圖像中
? ? ? ? ? // 對于每一個keypoints點，只有中心被繪制，
? ? ? ? ? // 不繪制半徑和方向
? ? ? ? DRAW_OVER_OUTIMG = 1, // 不創建輸出圖像，匹配結構繪制在已經存在的輸出圖像中
? ? ? ? NOT_DRAW_SINGLE_POINTS = 2, // 單獨的keypoints點不被繪制
? ? ? ? DRAW_RICH_KEYPOINTS = 4 // 對于每一個keypoints點，半徑和方向都被繪制
? ? };
};
④、SIFT檢測
void siftDetect()
{
? vector<KeyPoint> keypoints;
? SiftFeatureDetector sift(0.03,10);
? sift.detect(image,keypoints);
? drawKeypoints(image,keypoints,image,Scalar(255,255,255),DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
? imshow (winname,image);
}
SiftFeatureDetector
結構：
SiftFeatureDetector( double threshold, double edgeThreshold,
? ? ? ? ? ? ? ? ? ? ? ? ?int nOctaves=SIFT::CommonParams::DEFAULT_NOCTAVES,
? ? ? ? ? ? ? ? ? ? ? ? ?int nOctaveLayers=SIFT::CommonParams::DEFAULT_NOCTAVE_LAYERS,
? ? ? ? ? ? ? ? ? ? ? ? ?int firstOctave=SIFT::CommonParams::DEFAULT_FIRST_OCTAVE,
? ? ? ? ? ? ? ? ? ? ? ? ?int angleMode=SIFT::CommonParams::FIRST_ANGLE );
threshold：過濾掉較差的特征點的對閾值。threshold越大，返回的特征點越少。
edgeThreshold：過濾掉邊緣效應的閾值。edgeThreshold越大，特征點越多
⑤、SURF檢測
void surfDetect()
{
? vector<KeyPoint> keypoints_1, keypoints_2;
? ?Mat descriptors_1, descriptors_2;
? ?//-- Step 1: Detect the keypoints using SURF Detector
? SurfFeatureDetector surf(2500);
? surf.detect(image,keypoints_1);
? surf.detect(image2,keypoints_2);
? //-- Step 2: Calculate descriptors (feature vectors)
? SurfDescriptorExtractor extractor;
? extractor.compute( image, keypoints_1, descriptors_1 );
? extractor.compute( image2, keypoints_2, descriptors_2 );
? //-- Step 3: Matching descriptor vectors with a brute force matcher
? BruteForceMatcher< L2<float> > matcher;
? std::vector< DMatch > matches;
? matcher.match( descriptors_1, descriptors_2, matches );
? nth_element(matches.begin(),matches.begin()+24,matches.end());
? matches.erase(matches.begin()+25,matches.end());
? //-- Draw matches
? Mat img_matches;
? drawMatches( image, keypoints_1, image2, keypoints_2, matches, img_matches,Scalar(255,255,255) );
? drawKeypoints(image,keypoints_1,image,Scalar(255,255,255),DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
? //-- Show detected matches
? imshow("Matches", img_matches );
? imshow (winname,image);
}
SurfFeatureDetector?
構造函數
SurfFeatureDetector( double hessianThreshold = 400., int octaves = 3,
? ? ? ? ? ? ? ? ? ? ? ? ?int octaveLayers = 4 );
hessianThreshold：閾值
octaves：金字塔組數
octaveLayers:金字塔中每組的層數
SurfDescriptorExtractor?
功能：來封裝的用于計算特征描述子的類，構造SURE描述子提取器?
compute?
功能：根據檢測到的圖像（第一種情況）或者圖像集合（第二種情況）中的關鍵點(檢測子)計算描述子.
void DescriptorExtractor::compute(const Mat& image, vector<KeyPoint>& keypoints, Mat& descriptors) const
void DescriptorExtractor::compute(const vector<Mat>& images, vector<vector<KeyPoint>>& keypoints, vector<Mat>& descriptors) const
image :輸入圖像.?
images ：輸入圖像集.?
keypoints:輸入的特征關鍵點. ?
descriptors：計算特征描述子
BruteForceMatcher< L2<float> >?
功能：暴力搜索特征點匹配. 對于第一集合中的特征描述子, 這個匹配尋找了在第二個集合中最近的特征描述子. 這種特征描述子匹配支持 masking permissible特征描述子集合匹配.?
它是一個模板類，<>中的參數表示匹配的方式
DMatch?
功能：用于匹配特征關鍵點的特征描述子的類：查詢特征描述子索引, 特征描述子索引, 訓練圖像索引, 以及不同特征描述子之間的距離.?
match?
功能：給定查詢集合中的每個特征描述子，尋找最佳匹配.
結構：
void DescriptorMatcher::match(const Mat& queryDescriptors, const Mat& trainDescriptors, vector<DMatch>& matches, const Mat& mask=Mat() ) const
?void DescriptorMatcher::match(const Mat& queryDescriptors, vector<DMatch>& matches, const vector<Mat>& masks=vector<Mat>() )
queryDescriptors ：特征描述子查詢集.?
trainDescriptors ：待訓練的特征描述子集.?
matches ：匹配特征描述子類?
mask – 特定的在輸入查詢和訓練特征描述子集之間的可允許掩碼匹配，指定哪些可以被匹配?
masks – masks集. 每個 masks[i] 特定標記出了在輸入查詢特征描述子和存儲的從第i個圖像中提取的特征描述子集?
第二個方法的trainDesctiptors由DescriptorMatcher::add給出。
nth_element?
功能：nth_element作用為求第n小的元素，并把它放在第n位置上，下標是從0開始計數的，也就是說求第0小的元素就是最小的數。?
erase?
功能：移除參數1和參數2之間的元素，返回下一個元素
drawMatches?
功能：給定兩幅圖像，繪制尋找到的特征關鍵點及其匹配
結構：
void drawMatches(const Mat& img1, const vector<KeyPoint>& keypoints1, const Mat& img2, const vector<KeyPoint>& keypoints2, const vector<DMatch>& matches1to2, Mat& outImg, const Scalar& matchColor=Scalar::all(-1), const Scalar& singlePointColor=Scalar::all(-1), const vector<char>& matchesMask=vector<char>(), int flags=DrawMatchesFlags::DEFAULT )
img1 ：第一張原圖片?
keypoints1 ：第一張得到的關鍵點?
img2 ：第二張圖片?
keypoints2 ：第二張得到的關鍵點?
matches ：匹配點?
outImg ：輸出圖片，它的內容依賴于flags的值?
matchColor ：匹配線的顏色，如果為-1，則顏色隨機分配?
singlePointColor ：單獨點，沒有匹配到的點的顏色，如果為-1，則顏色隨機分配?
matchesMask ：掩碼，表示哪些匹配值被繪制出來，如果為空，表示所有匹配點都繪制出來?
flags ：和上面drawkeypoints中的flags一樣?
3、運行結果
? ??
? ? ? ? ? ? ? ? ? ? 圖1、Harris ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖2、Shi-Tomasi
? ??
? ? ? ? ? ? ? ? ?圖3、FAST ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖4、SIFT
?
? ? ? ? ? ? ? ? 圖5、SURF
?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖6、匹配結果
源代碼下載地址：
http://download.csdn.net/detail/chenjiazhou12/7129327
========
什么是角點檢測，角點檢測能做什么？opencv的
目前的角點檢測算法可歸納為3類：基于灰度圖像的角點檢測、基于二值圖像的角點檢測、基于輪廓曲線的角點檢測。基于灰度圖像的角點檢測又可分為基于梯度、基于模板和基于模板梯度組合3類方法，其中基于模板的方法主要考慮像素領域點的灰度變化，即圖像亮度的變化，將與鄰點亮度對比足夠大的點定義為角點。常見的基于模板的角點檢測算法有Kitchen-Rosenfeld角點檢測算法，Harris角點檢測算法、KLT角點檢測算法及SUSAN角點檢測算法。和其他角點檢測算法相比，SUSAN角點檢測算法具有算法簡單、位置準確、抗噪聲能力強等特點。
========
opencv harris角點檢測
#include "cv.h"
#include "highgui.h"
#include<iostream>
int main(int argc,char** argv)
{
? ? ?IplImage* pImg;
? ? ?IplImage* pHarrisImg;
? ? ?IplImage* grayImage;
? ? ?IplImage* dst8;
? ? double minVal=0.0, maxVal=0.0;
? ? ?double scale, shift;
? ? ?double min=0, max=255;
? ? ?if((pImg=cvLoadImage("/home/dz/study/7class/a.jpg",1))!=NULL)
? ? ?{
? ? ? ? ?cvNamedWindow("source",1);
? ? ? ? ?cvShowImage("source",pImg);
? ? ? ? ?pHarrisImg=cvCreateImage(cvGetSize(pImg),IPL_DEPTH_32F,1);
? ? ? ? ?//there we should define IPL_DEPTH_32F rather than IPL_DEPTH_8U
? ? ? ? ?grayImage=cvCreateImage(cvGetSize(pImg),IPL_DEPTH_8U,1);
? ? ? ? ?dst8=cvCreateImage(cvGetSize(pImg),IPL_DEPTH_8U,1);//this is for the result image
? ? ? ? ?grayImage->origin=pImg->origin; ?//there make sure the same ?origin between grayImage and pImg
? ? ? ? ?cvCvtColor(pImg,grayImage,CV_BGR2GRAY);//cause harris need gray scale image,we should convert RGB 2 gray
? ? ? ? ?int block_size=7;
? ? ? ? ?//do harris algorithm
? ? ? ? ?cvCornerHarris(grayImage,pHarrisImg,block_size,3,0.04);
? ? ? ? ?//convert scale so that we see the clear image
? ? ? ? ?cvMinMaxLoc(pHarrisImg,&minVal,&maxVal,NULL,NULL,0);
? ? ? ? ? std::cout<<minVal<<std::endl;
? ? ? ? ? std::cout<<maxVal<<std::endl;
? ? ? ? ?scale=(max-min)/(maxVal-minVal);
? ? ? ? ?shift=-minVal*scale+min;
? ? ? ? ?cvConvertScale(pHarrisImg,dst8,scale,shift);
? ? ? ? ?cvNamedWindow("Harris",1);
? ? ? ? ?cvShowImage("Harris",dst8);
? ? ? ? ?cvWaitKey(0);
? ? ? ? ?cvDestroyWindow("source");
? ? ? ? ?cvDestroyWindow("Harris");
? ? ? ? ?cvReleaseImage(&dst8);
? ? ? ? ?cvReleaseImage(&pHarrisImg);
? ? ? ? ?return 0;
? ? ?}
? ? ?return 1;
}
========
opencv學習 trajkovic 角點檢測
目錄(?)[-]
來源httpblogcsdnnetsongziteaarticledetails13614977
背景引言
基本理論
角點量的計算方法
多格算法Multigrid Algorithm
算法流程
來源:http://blog.csdn.net/songzitea/article/details/13614977
背景引言
本節主要內容來源于是由 Miroslav Trajkovic和Mark Hedley[1]在1998年提出Trajkovic算子，其論文為FastCorner Detection.和Trajkovic Operator (4-Neighbours)[3](注：本節圖片主要是來源于此)。Trajkovic算子角點提取方法存在價值是在角點提取的效果上，它優于同時期的其他角點(如Moravec角點，Harris角點)提取方法，同時，從算法的運行速度角度而言，它比同是期的其他角點提取方法要快很多。
基本理論
作者對角點的定義，與Moravec角點、 Harris 角點的定義是一樣的：圖像灰度值在各個方向變化都比較大的點，即認為是角點。角點量的定義也類似于Moravec,即角點量的是在各個方向上灰度變化的最小值（當在某個方向上，灰度值的變化最小，并且這個最小值也大于某某個設定的閾值，那么認為這個點就是一個角點）。與Moravec 相比 ，Trajkovic 的性能更好，因為Trajkovic通過使用像素插值的方法比較每一個方向上的灰度值變化程度，而moravec只有限個方向的比較，與harris相比，兩都效果差不多，但是Trajkovic的速度遠快于haris.
Trajkovic在速度方面的表現于決定它能夠應用對實時要求比較高的系統中。但是Trajkovic也有缺點是它不具備旋轉不變性，對噪聲比較敏感，對對角點的響應值比較大等。對于這些缺點也會有相應的方法，但不能完全的解決這些缺點。Trajkovic算子計算角點量是在一個小的圓形窗口內，并且考慮了所有通過圓心的直線，即計算了每一個可能的方向上的灰度值變化程度）。假設用C表示圓的圓心，那么通過圓心C的任意一條直線會與圓在兩個交點，如圖1所示：
Figure 1: Notation for Trajkovic Operator
那么，Trajkovic對角點量的定義是
C(x,y)表示的是圖像I上，任意一點(x,y)處的角點量。這個公式能斷出是否是角點。點(x,y)在圖像目的位置有四種情況。如下圖所示：
第一情況：點(x,y)在內部區域：此時經點(x,y)位中心的圓形窗中完全在一個比較平坦的區域，或者大部分的圓形窗口是在這個平坦區域的（如上圖A所示）。這種情況下，至少存大一條直線過中心點C的直線使得Ic約等于Ip和Ic約等于Ip‘,根據角點量計算公式，計算出的C(x,y)一定是一個很小的值，那么就可以排除點(x,y)不是角點。并且，大多數的情況下，會有多個這樣的點P存大，使得對噪聲一定的承受能力。
第二情況：點(x,y)在邊緣上：此時圓形窗口的中心點(x,y)剛好落在邊緣上（如上圖B所示）。僅存在一個點對P,P'使得Ic約等于Ip和Ic約等于Ip‘。在理想狀況下，根據角點量的公式計算出來的角點量C(x,y)是比較小的。但是由于只存在一個條這樣直線，所以容易受到噪聲的干擾。
第三情況：點(x,y)在角點上：當圓窗口的中心(x, y)位于角點上時（如上圖C 所示）。任意一條通過點(x,y)與圓相交的交點P、P', P、P' 中至少有一個點的灰度值與中心的點的灰度值差別比較大。所以計算出來的角點量也比較大（大于設定的閾值，所以會被認為是角點）。
第四情況：點(x,y)在一個孤立點上：如果在孤立點上（如上圖D所示），對于每一個直線上的Ip, Ip’,都分與Ic的值相差比較大，此時計算出的角點量也比較大。此時這個點是噪聲,但是由于角點量比較大，會被認為是角點。為了削除這種噪聲的影響，可以先使用高斯平滑進行去噪。
根據上面的分析，Trajkovic 受噪聲的影響比較大，所以，可以先實現高斯平滑去噪再使用Trajkovic算子進行角點檢測。
角點量的計算方法
目前，關于Trajkovic計算角點量的并未具體介紹如何時計算。首先，如下圖2所示，水平方向的灰度值變化量rA,垂直方向的灰度值變化量rB很容易計算。
如何計算任意一個方向上灰度值的變化程度呢？首先，我們角點量就取其最小值即可：
Figure 2: Interpixel positions ? ? ? ? ? ? ? Figure3: Interpixel approximation for a 3x3 window using 4-neighbours
現在，我們可將問題可以轉換為，任意一條通過點C 的直線與圓的交點是P，P',Q,Q'即可：
把公式(2)代入公式(1) 中即可：
那么，最小值是即可結論是
多格算法（Multigrid Algorithm）
角點可以分為兩類：幾何角點和紋理角點。幾何角點是由圖像中物體邊緣的相交。而紋理角點有由物體表面的紋理產生的角點（如：草地，衣服的紋理等）。通常情況下，一幅圖像中的幾何角點的數量要遠少于紋理角點。多格算法的目的是希望能多檢測到幾何角點，少檢測到紋理點。因Trajkovic 認為幾何角點比紋理角點更加的穩定。所以，從實踐使用來看，減少紋理角點是合理的。
經過觀察發現，紋理角點一般都是非常的密集，并且是在一個很小區域內灰度值發生變化，所以，采用把原圖縮小以后，再來提取角點，通過縮小圖像，可以消除區域內灰度值的變換。縮小圖像的方法不是使用插值法，而是使用平均法。如下圖所示：
Trajkovic角點檢測，首先使用多格法對原如圖像進行縮小，這樣不僅能夠減少檢測到紋理角點數目，而且加快了Trajkovic角點檢測的速度，在Trajkovic角點檢測縮小版的圖像上，使用角為簡單的角點量計算公式初步判斷是不是侯選角點。如果是，再到原始圖像上進一步判定。
Figure 4: Corner points detected at different image resolutions
如圖4所示，原始的大小是256*256,圖像中有一片草地，而草地上的角點，對于我們進行角點匹配時，是沒有什么意義。當把圖像縮小到128*128時，草地上的角點已經消除了。當然，圖像也不能縮小太多，否則，幾何角點也會消失，當縮小到64*64時，部分幾何角點也消失了。
算法流程
#include <iostream> ?
#include "cv.h" ?
#include "highgui.h" ?
#include "cxcore.h" ?
using namespace std; ?
??
void getTrajkovic4NCorner(IplImage* src,IplImage* srcResize , float T1 , float T2 ,CvSeq* corners,int maximumSize) ?
{ ?
? ? int x,y,maxChar=255,scaleX = src->width/srcResize->width,scaleY = src->height/srcResize->height; ?
? ? ??
? ? ??
? ? IplImage* srcResizeMap ,*srcMap; ?
? ? ??
? ? srcResizeMap = cvCreateImage(cvGetSize(srcResize),8,1); ? ? // 用來保存縮小圖像的角點量 ?
? ? srcMap = cvCreateImage(cvGetSize(src),32,1); ? ? ? ? ? ? ? ?// 用來保存源圖像計算得到的角點量 ?
? ? ??
? ? cvZero(srcMap); ?
? ? cvZero(srcResizeMap); ?
??
? ? for( y=1;y<srcResize->height-1;y++) ?
? ? { ?
? ? ? ? uchar* preRow = (uchar*)(srcResize->imageData + (y-1)*srcResize->widthStep); ?
? ? ? ? uchar* curRow = (uchar*)(srcResize->imageData + y*srcResize->widthStep); ?
? ? ? ? uchar* nextRow = (uchar*)(srcResize->imageData + (y+1)*srcResize->widthStep); ?
? ? ? ? ??
? ? ? ? uchar* MapData = (uchar*)(srcResizeMap->imageData + y*srcResizeMap->widthStep); ?
? ? ??
? ? ? ? for(x=1;x<srcResize->width-1;x++) ?
? ? ? ? { ?
? ? ? ? ? ? ??
? ? ? ? ? ? int IC,IA,IB,IAA,IBB; ?
? ? ? ? ? ? int rA,rB,C_Simple; ?
? ? ? ? ? ? ??
? ? ? ? ? ? // curRow[x]是uchar型,而IC是int型,如果直接賦值int類型的其它三個字節可能會產生隨機值 ?
? ? ? ? ? ? IC = curRow[x]&maxChar; ?
? ? ? ? ? ? ??
? ? ? ? ? ? IA = curRow[x+1]&maxChar; ?
? ? ? ? ? ? IAA = curRow[x-1]&maxChar; ?
??
? ? ? ? ? ? IB = preRow[x]&maxChar; ?
? ? ? ? ? ? IBB = nextRow[x]&maxChar; ?
? ? ? ? ? ? ??
? ? ? ? ? ? rA = (IA-IC)*(IA-IC) + (IAA-IC)*(IAA-IC); ?
? ? ? ? ? ? rB = (IB-IC)*(IB-IC) + (IBB-IC)*(IBB-IC); ?
? ? ? ? ? ? ??
? ? ? ? ? ? C_Simple = rA < rB ? rA : rB; ?
? ? ? ? ??
? ? ? ? ? ? if(C_Simple > T1) ?
? ? ? ? ? ? { ?
? ? ? ? ? ? ? ? MapData[x]=1; ?
? ? ? ? ? ? } ?
? ? ? ? } ?
? ? ??
? ? } ?
??
? ? for( y=1;y<srcResize->height-1;y++) ?
? ? { ?
? ? ? ? ??
? ? ? ? uchar* srcResizeMapData = (uchar*)(srcResizeMap->imageData + y*srcResizeMap->widthStep); ?
? ? ? ? //uchar* srcMapData = (uchar*)(srcMap->imageData + y*srcMap->widthStep); ?
??
? ? ? ? for(x=1;x<srcResize->width-1;x++) ?
? ? ? ? { ?
? ? ? ? ? ? ??
? ? ? ? ? ? if(srcResizeMapData[x]==0) ?
? ? ? ? ? ? { ?
? ? ? ? ? ? ? ? continue; ?
? ? ? ? ? ? } ?
? ? ? ? ? ? ??
? ? ? ? ? ? int originX,originY,IC,IA,IB,IAA,IBB; ?
? ? ? ? ? ? int rA,rB,C_Simple; ?
? ? ? ? ? ? ??
? ? ? ? ? ? originX = x*scaleX; ?
? ? ? ? ? ? originY = y*scaleY; ?
? ? ? ? ? ? ??
? ? ? ? ? ? uchar* srcPreRow = (uchar*)(src->imageData + (originY-1)*src->widthStep); ?
? ? ? ? ? ? uchar* srcCurRow = (uchar*)(src->imageData + originY*src->widthStep); ?
? ? ? ? ? ? uchar* srcNextRow = (uchar*)(src->imageData + (originY+1)*src->widthStep); ?
? ? ? ? ? ? ??
? ? ? ? ? ? IC = srcCurRow[originX]&maxChar; ?
? ? ? ? ? ? ??
? ? ? ? ? ? IA = srcCurRow[originX+1]&maxChar; ?
? ? ? ? ? ? IAA = srcCurRow[originX-1]&maxChar; ?
??
? ? ? ? ? ? IB = srcPreRow[x]&maxChar; ?
? ? ? ? ? ? IBB = srcNextRow[x]&maxChar; ?
??
? ? ? ? ? ? rA = (IA-IC)*(IA-IC) + (IAA-IC)*(IAA-IC); ?
? ? ? ? ? ? rB = (IB-IC)*(IB-IC) + (IBB-IC)*(IBB-IC); ?
? ? ? ? ? ? ??
? ? ? ? ? ? C_Simple = rA < rB ? rA : rB; ?
? ? ? ? ? ? ??
? ? ? ? ? ? if(C_Simple>T2) ?
? ? ? ? ? ? { ?
? ? ? ? ? ? ? ? float B1,B2,C,A,B,C_InterPixel; ?
? ? ? ? ? ? ? ? ??
? ? ? ? ? ? ? ? B1 = (IB-IA)*(IA-IC)+(IBB-IAA)*(IAA-IC); ?
? ? ? ? ? ? ? ? B2 = (IB-IAA)*(IAA-IC)+(IBB-IA)*(IA-IC); ?
? ? ? ? ? ? ? ? C = rA; ?
? ? ? ? ? ? ? ? B = B1<B2 ? B1 : B2; ?
? ? ? ? ? ? ? ? A = rB-rA-2*B; ?
? ? ? ? ? ? ? ? ??
? ? ? ? ? ? ? ? if(B<0 &&(A+B)>0) ?
? ? ? ? ? ? ? ? { ?
? ? ? ? ? ? ? ? ? ? C_InterPixel = C-(B*B)/A; ?
? ? ? ? ? ? ? ? } ?
? ? ? ? ? ? ? ? else ?
? ? ? ? ? ? ? ? { ?
? ? ? ? ? ? ? ? ? ? C_InterPixel=C_Simple; ?
? ? ? ? ? ? ? ? } ?
? ? ? ? ? ? ? ? ??
? ? ? ? ? ? ? ? if(C_InterPixel>T2) ?
? ? ? ? ? ? ? ? { ?
??
? ? ? ? ? ? ? ? ? ? float* srcMapData = (float*)(srcMap->imageData + originY*srcMap->widthStep); ?
? ? ? ? ? ? ? ? ? ? srcMapData[originX]=C_InterPixel; ?
? ? ? ? ? ? ? ? ? ? //cvSetReal2D(srcMap,originY,originX,C_InterPixel); ?
? ? ? ? ? ? ? ? } ?
? ? ? ? ? ? } ?
? ? ? ? ? ? ??
? ? ? ? } ?
??
? ? } ?
? ??
? ? //計算局部極大值 及 極大值是否大于閾值 ?
? ? int beginY,endY,beginX,endX; ?
? ? int halfWinSize = maximumSize/2; ?
??
? ? beginY = halfWinSize; ?
? ? endY = srcMap->height - halfWinSize; ?
??
? ? beginX = halfWinSize; ?
? ? endX = srcMap->width - halfWinSize; ?
? ? ??
? ? for(y=beginY;y<endY;) ?
? ? { ?
? ? ? ? for(x=beginX;x<endX;) ?
? ? ? ? { ?
? ? ? ? ? ? //尋找局部極大值 及其位置信息 ?
? ? ? ? ? ? float maxValue=0; ?
? ? ? ? ? ? int flag = 0 ; ?
? ? ? ? ? ? CvPoint maxLoc; ?
? ? ? ? ? ? maxLoc.x = -1; ?
? ? ? ? ? ? maxLoc.y = -1; ?
??
??
? ? ? ? ? ? //首先計算以點(x,y)位中心的maximumSize*maximumSize的窗口內部的局部極大值 ?
? ? ? ? ? ? for(int winy=-halfWinSize;winy<=halfWinSize;winy++) ?
? ? ? ? ? ? { ?
? ? ? ? ? ? ? ? for(int winx=-halfWinSize;winx<=halfWinSize;winx++) ?
? ? ? ? ? ? ? ? { ?
? ? ? ? ? ? ? ? ? ? float value ; ?
? ? ? ? ? ? ? ? ? ? value = cvGetReal2D(srcMap,y+winy,x+winx); ?
? ? ? ? ? ? ? ? ? ? ??
? ? ? ? ? ? ? ? ? ? //計算該窗口內 最大值 保存到max 并保存其坐標到maxLoc ?
? ? ? ? ? ? ? ? ? ? if(value>maxValue) ?
? ? ? ? ? ? ? ? ? ? { ?
? ? ? ? ? ? ? ? ? ? ? ? maxValue = value; ?
? ? ? ? ? ? ? ? ? ? ? ? maxLoc.x = x+winx; ?
? ? ? ? ? ? ? ? ? ? ? ? maxLoc.y = y+winy; ?
? ? ? ? ? ? ? ? ? ? ? ? flag = 1; ?
? ? ? ? ? ? ? ? ? ? } ?
? ? ? ? ? ? ? ? } ?
? ? ? ? ? ? } ?
? ? ? ? ? ? ??
? ? ??
? ? ? ? ? ? //如果找到局部極大值 并且該值大于預先設定的閾值 則認為是角點 ?
? ? ? ? ? ? if(flag==1 && maxValue>T2) ?
? ? ? ? ? ? { ?
? ? ? ? ? ? ? ? cvSeqPush(corners,&maxLoc); ?
? ? ? ? ? ? ??
? ? ? ? ? ? } ?
? ? ? ? ? ? ??
? ? ? ? ??
? ? ? ? ? ? x = x+halfWinSize; ?
??
? ? ? ? } ?
? ? ? ? ??
? ? ? ? y = y + halfWinSize; ?
? ? } ?
??
? ? cvReleaseImage(&srcResizeMap); ?
? ? cvReleaseImage(&srcMap); ?
} ?
??
int main(int argc,char* argv[]) ?
{ ?
? ? //相關變量 ?
? ? int scale = 2; ?
? ? IplImage* src,*srcGray,*srcGrayResize; ?
? ? CvMemStorage* mem = cvCreateMemStorage(0); ?
? ? CvSeq* TrajkovicPoints; ?
??
? ? src = cvLoadImage("E:\\study_opencv_video\\lesson17_2\\2.jpg");//源圖像 ?
? ? ??
? ? srcGray = cvCreateImage(cvGetSize(src),8,1); ?
? ? ??
? ? if(!src) ?
? ? { ?
? ? ? ? cout << "src is null" << endl; ?
? ? ? ? return 0; ?
? ? } ?
? ? ??
? ? cvCvtColor(src,srcGray,CV_BGR2GRAY); ?
? ? srcGrayResize = cvCreateImage(cvSize(srcGray->width/scale,srcGray->height/scale),8,1); ?
? ? cvResize(srcGray,srcGrayResize);//請將resize修改為多格算法 ?
??
? ? //Trajkovic 4 鄰域角點角點保存的空間 ?角點坐標保存在一個序列中 ?
? ? TrajkovicPoints = cvCreateSeq(0,sizeof(CvSeq),sizeof(CvPoint),mem); ?
? ? ??
??
? ? //進行Trajkovic 4 鄰域角點檢測 ?
? ? int T1=120,T2=150,localArea = 8; ? // localArea 是局部極大值抑制時窗口的大小 ?
? ? getTrajkovic4NCorner(srcGray,srcGrayResize,T1,T2,TrajkovicPoints,localArea); ?
? ? ??
? ? //獲取每一個角點的坐標 ?
? ? for(int x=0;x<TrajkovicPoints->total;x++) ?
? ? { ?
? ? ? ? //獲取第x個角點的坐標 ?
? ? ? ? CvPoint* pt = (CvPoint*)cvGetSeqElem(TrajkovicPoints,x); ?
??
? ? ? ? //以角點坐標為中心 ?繪制一個半徑為5的圓 ?
? ? ? ? cvCircle(src,*pt,2,cvScalar(255,0,255,0)); ?
? ? } ?
??
??
? ? //顯示圖像 ?
? ? cvNamedWindow("dst"); ?
? ? cvShowImage("dst",src); ?
? ? cvWaitKey(0); ?
??
? ? //釋放資源 ?
? ? cvReleaseImage(&src); ?
? ? cvReleaseImage(&srcGray); ?
? ? cvReleaseImage(&srcGrayResize); ?
? ? cvReleaseMemStorage(&mem); ?
? ? return 0; ?
??
} ?
========
OpenCV成長之路 特征點檢測與圖像匹配
??特征點又稱興趣點、關鍵點，它是在圖像中突出且具有代表意義的一些點，通過這些點我們可以用來識別圖像、進行圖像配準、進行3D重建等。本文主要介紹OpenCV中幾種定位與表示關鍵點的函數。
一、Harris角點
角點是圖像中最基本的一種關鍵點，它是由圖像中一些幾何結構的關節點構成，很多都是線條之間產生的交點。Harris角點是一類比較經典的角點類型，它的基本原理是計算圖像中每點與周圍點變化率的平均值。
? （1）
?（2）
其中I(x+u,y+u)代表了點(x,y)鄰域點的灰度值。通過變換可以將上式變化為一個協方差矩陣求特征值的問題(2)，具體數學原理本文不過多描述。
OpenCV的Hairrs角點檢測的函數為cornerHairrs()，但是它的輸出是一幅浮點值圖像，浮點值越高，表明越可能是特征角點，我們需要對圖像進行閾值化。我們使用一張建筑圖像來顯示：
int main()
{
? ? Mat image=imread("../buliding.png");
? ? Mat gray;
? ? cvtColor(image,gray,CV_BGR2GRAY);
?
? ? Mat cornerStrength;
? ? cornerHarris(gray,cornerStrength,3,3,0.01);
? ? threshold(cornerStrength,cornerStrength,0.001,255,THRESH_BINARY);
? ? return 0;
}
首先我們來說明一下cornerHairrs()這個函數參數的意思：
前2參數是輸入與輸出，輸入是一個灰度圖像，輸出是一個浮點圖像，第三個參數指定角點分析的鄰域，第4個參數實際上在角點求取過程中計算梯度圖像的核窗口大小，第5個參數是它原理公式(2)中的一個系數。
從上面的例子的結果我們可以看到，有很多角點都是粘連在一起的，我們下面通過加入非極大值抑制來進一步去除一些粘在一起的角點。
非極大值抑制原理是，在一個窗口內，如果有多個角點則用值最大的那個角點，其他的角點都刪除，窗口大小這里我們用3*3，程序中通過圖像的膨脹運算來達到檢測極大值的目的，因為默認參數的膨脹運算就是用窗口內的最大值替代當前的灰度值。程序的最后使用了一個畫角點的函數將角點顯示在圖像中，這個函數與本系列第5篇中畫角點的函數是一致的。
int main()
{
? ? Mat image=imread("../buliding.png");
? ? Mat gray;
? ? cvtColor(image,gray,CV_BGR2GRAY);
?
? ? Mat cornerStrength;
? ? cornerHarris(gray,cornerStrength,3,3,0.01);
?
? ? double maxStrength;
? ? double minStrength;
? ??
// 找到圖像中的最大、最小值
? ? minMaxLoc(cornerStrength,&minStrength,&maxStrength);
?
? ? Mat dilated;
? ? Mat locaMax;
? ??
// 膨脹圖像，最找出圖像中全部的局部最大值點
? ? dilate(cornerStrength,dilated,Mat());
? ??
// compare是一個邏輯比較函數，返回兩幅圖像中對應點相同的二值圖像
? ? compare(cornerStrength,dilated,locaMax,CMP_EQ);
?
? ? Mat cornerMap;
? ? double qualityLevel=0.01;
? ? double th=qualityLevel*maxStrength;?
// 閾值計算
? ? threshold(cornerStrength,cornerMap,th,255,THRESH_BINARY);
? ? cornerMap.convertTo(cornerMap,CV_8U);
? ??
// 逐點的位運算
? ? bitwise_and(cornerMap,locaMax,cornerMap);
?
? ? drawCornerOnImage(image,cornerMap);
? ? namedWindow("result");
? ? imshow("result",image);
? ? waitKey();
?
? ? return 0;
}
void drawCornerOnImage(Mat& image,const Mat&binary)
{
? ? Mat_<uchar>::const_iterator it=binary.begin<uchar>();
? ? Mat_<uchar>::const_iterator itd=binary.end<uchar>();
? ? for(int i=0;it!=itd;it++,i++)
? ? {
? ? ? ? if(*it)
? ? ? ? ? ? circle(image,Point(i%image.cols,i/image.cols),3,Scalar(0,255,0),1); ? ?
? ? }
}
現在我們得到的效果就比默認的函數得到的結果有相當的改善。
由于cornerHarris的一些缺點，OpenCV提供了另一個相似的函數GoodFeaturesToTrack()它用角點間的距離限制來防止角點粘連在一起。
goodFeaturesToTrack(image,corner,
? ? ? ? ? ? ? ? ? 500, ? ?
// 最多檢測到的角點數
? ? ? ? ? ? ? ? ? ? ?0.01, ? ?
// 閾值系數
? ? ? ? ? ? ? ? ? ? ?10); ? ?
// 角點間的最小距離
它可以得到與上面基本一致的結果。
二、FAST特征點
harris特征在算法復雜性上比較高，在大的復雜的目標識別或匹配應用上效率不能滿足要求，OpenCV提供了一個快速檢測角點的類FastFeatureDetector，而實際上FAST并不是快的意思，而是Features from Accelerated Segment Test，但這個算法效率確實比較高，下面我們來看看這個類的用法。
OpenCV里為角點檢測提供了統一的接口，通過類下面的detect方法來檢測對應的角點，而輸出格式都是vector<KeyPoint>。
vector<KeyPoint> keypoints;?
FastFeatureDetector fast(?
// 定義檢測類
? ? 40);?
//40是檢測的閾值
fast.detect(image,keypoints);
?
drawKeypoints(image,keypoints,image,Scalar(255,0,0),
? ? DrawMatchesFlags::DRAW_OVER_OUTIMG);
其中drawKeypoints是OpenCV提供的在圖像上畫角點的函數。它的參數可以讓我們選擇用不同的方式標記出特征點。
三、尺度不變的SURF特征
surf特征是類似于SIFT特征的一種尺度不變的特征點，它的優點在于比SIFT效率要高，在實際運算中可以達到實時性的要求，關于SURF的原理這里就不過多的介紹，網絡上這類的文章很多。
類似于FAST特征點的求法，SURF也可以使用通用接口求得，而SURF特征的類為SurfFeatureDetector，類似的SIFT特征點的檢測類為SiftFeatureDetector。
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/nonfree/features2d.hpp>
?
using namespace cv;
?
int main()
{
? ? Mat image=imread("../buliding.png");
?
? ? vector<KeyPoint> keypoints;?
?
? ? SurfFeatureDetector surf(2500.);
? ? surf.detect(image,keypoints);
?
? ? drawKeypoints(image,keypoints,image,Scalar(255,0,0),
? ? ? ? DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
? ? namedWindow("result");
? ? imshow("result",image);
? ? waitKey();
?
? ? return 0;
}
這里有一個值得說明的問題是：OpenCV2.4版本后好像把SurfFeatureDetector這個類的定義移到了頭文件nonfree/features2d.hpp
中，所以頭文件中要加入該文件，并且要把opencv_nonfree24xd.lib加入屬性表的鏈接器熟悉的輸入中，其中x換成你當前opencv的版本號。
最終的顯示效果如下：
四、SURF特征的描述
在圖像配準中，特征點的描述往往不是位置這么簡單，而是使用了一個N維向量來描述一個特征點，這些描述子之間可以通過定義距離公式來比較相近程度。
SurfDescriptorExtractor 是一個提取SURF特征點以及其描述的類。
下面是一個寬景圖像的拼接配準的例子：
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/nonfree/features2d.hpp>
#include <opencv2/legacy/legacy.hpp>
?
using namespace cv;
int main()
{
? ? Mat image1=imread("../b1.png");
? ? Mat image2=imread("../b2.png");
? ??
// 檢測surf特征點
? ? vector<KeyPoint> keypoints1,keypoints2; ? ??
? ? SurfFeatureDetector detector(400);
? ? detector.detect(image1, keypoints1);
? ? detector.detect(image2, keypoints2);
? ??
// 描述surf特征點
? ? SurfDescriptorExtractor surfDesc;
? ? Mat descriptros1,descriptros2;
? ? surfDesc.compute(image1,keypoints1,descriptros1);
? ? surfDesc.compute(image2,keypoints2,descriptros2);
?
? ??
// 計算匹配點數
? ? BruteForceMatcher<L2<float>>matcher;
? ? vector<DMatch> matches;
? ? matcher.match(descriptros1,descriptros2,matches);
? ? std::nth_element(matches.begin(),matches.begin()+24,matches.end());
? ? matches.erase(matches.begin()+25,matches.end());
? ??
// 畫出匹配圖
? ? Mat imageMatches;
? ? drawMatches(image1,keypoints1,image2,keypoints2,matches,
? ? ? ? imageMatches,Scalar(255,0,0));
?
? ? namedWindow("image2");
? ? imshow("image2",image2);
? ? waitKey();
?
? ? return 0;
}
程序中我們選擇了25個配準點，得到最后的匹配如下：
========
總結
以上是生活随笔為你收集整理的opencv角点检测学习总结的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Linux 内核安全模块学习总结
- 下一篇： opencv形状识别学习总结