本文只發(fā)布于利用OpenCV實(shí)現(xiàn)尺度不變性與角度不變性的特征找圖算法和知乎

一般來說，利用OpenCV實(shí)現(xiàn)找圖功能，用的比較多的是模板匹配（matchTemplate）。筆者比較喜歡里面的NCC算法。但是模板有個很明顯的短板，面對尺度改變，角度改變的目標(biāo)就無能為力了。因此本文旨在做到模板匹配做不到的這兩點(diǎn)上。

當(dāng)然也有人利用模板匹配實(shí)現(xiàn)上面的功能，但是方法之無語，效率之低下讓我不禁想起了三體中的一句話：

“成吉思汗的騎兵，攻擊速度與二十世紀(jì)的裝甲部隊(duì)相當(dāng)；北宋的床弩，射程達(dá)一千五百米，與二十世紀(jì)的狙擊步槍差不多；但這些仍不過是古代的騎兵與弓弩而已，不可能與現(xiàn)代力量抗衡。基礎(chǔ)理論決定一切，未來史學(xué)派清楚地看到了這一點(diǎn)。而你們，卻被回光返照的低級技術(shù)蒙住了眼睛。你們躺在現(xiàn)代文明的溫床中安于享樂，對即將到來的決定人類命運(yùn)的終極決戰(zhàn)完全沒有精神上的準(zhǔn)備。”

本文并不涉及ORB或者BEBLID算法的具體實(shí)現(xiàn)，想了解的同學(xué)請移步論文。本文撰自一名非計(jì)算機(jī)系大一新生，有不到處還請見諒。

從特征匹配開始

特征匹配首先是需要獲得特征點(diǎn)。通過特征檢測算法，獲得特征點(diǎn)后利用匹配器，或是計(jì)算漢明距離或是計(jì)算余弦距離，將兩個圖上的點(diǎn)連接在一起。

看筆者往期文章淺談OpenCV的多對象匹配透明圖像的實(shí)現(xiàn)，以及如何匹配半透明控件，在這篇文章中用的是SURF算法。但是這個算法并不支持角度不變性。

筆者在閱讀OpenCV-mobile的readme的時候意外了解到ORB算法。簡單查找一下資料，了解到ORB(Oriented FAST and Rotated BRIEF)算法滿足以下特點(diǎn)

• 支持尺度不變性和角度不變性
• 速度很快，甚至比特征匹配(NCC)還快(i9 13900hx)
• 開源，免費(fèi)，無專利
• 目前最快速穩(wěn)定的特征點(diǎn)檢測和提取算法

ORB = Oriented FAST（特征點(diǎn)） + Rotated BRIEF（特征描述）

From https://zhuanlan.zhihu.com/p/91479558

在2020年提出了一個效果更好也更快的特征描述算法Boosted Efficient Binary Local Image Descriptor（筆者不清楚他算法這有沒有專利，但是這個算法在nonfree里，如果需要商業(yè)化請慎用，或者替換回BRIEF算法）

代碼實(shí)現(xiàn)

cv::Ptr<cv::ORB> orb = cv::ORB::create(nKeypoints); //尋找nKeypoints個特征點(diǎn)
cv::Ptr<cv::xfeatures2d::BEBLID> beblid = cv::xfeatures2d::BEBLID::create(0.75f, cv::xfeatures2d::BEBLID::SIZE_256_BITS);//用256個比特來描述特征

std::vector<cv::KeyPoint> src_keypoints, target_keypoints;
cv::Mat src_descriptors, target_descriptors;

orb->detect(src_mat, src_keypoints);
orb->detect(target_mat, target_keypoints);

beblid->compute(src_mat, src_keypoints, src_descriptors);
beblid->compute(target_mat, target_keypoints, target_descriptors);

cv::BFMatcher matcher(cv::NORM_HAMMING, true);//利用漢明距離的匹配器

std::vector<cv::DMatch> matches;
matcher.match(target_descriptors, src_descriptors, matches);

std::vector<cv::Point2d> matched_target, matched_src;
for(auto &match : matches)
{
    if(match.distance > max_distance)
        break;
    
	matched_target.push_back(target_keypoints[match.queryIdx].pt);
	matched_src.push_back(src_keypoints[match.trainIdx].pt);
}

這里創(chuàng)建了ORB和BEBLID對象，并且對目標(biāo)圖片完成了匹配，將彼此能夠匹配的點(diǎn)對應(yīng)存放到了matched_target和matched_src里。

從透視變換繼續(xù)

雖然我們這里成功建立了模板圖和目標(biāo)圖的特征點(diǎn)對點(diǎn)關(guān)系，然而，很多時候我們想要的是特征匹配提供的那種更為直接的反映在目標(biāo)圖里的坐標(biāo)。

如何將離散的的點(diǎn)集轉(zhuǎn)換為模板在目標(biāo)圖上的大致區(qū)域，成了我們需要解決的一個問題。這里我使用的方法是findHomography和perspectiveTransform。

• findHomography 計(jì)算多個二維點(diǎn)對之間的最優(yōu)單映射變換矩陣H(3行3列)。使用最小均方誤差或RANSAC方法。比較好解釋的是最小均方誤差方法，但是為了效果筆者用的是RANSAC方法。關(guān)于這個矩陣作用，大家可以去B站上看3blue1brown的系列視頻《線性代數(shù)的本質(zhì)》。我們獲取到這個矩陣，就可以估計(jì)出模板圖怎么變化到目標(biāo)圖上。同理模板的四個角的坐標(biāo)也可以通過這個矩陣變換到目標(biāo)圖上的坐標(biāo)，就得到了模板在目標(biāo)圖上的大致位置和邊界。

• perspectiveTransform 透視變換，就是完成坐標(biāo)的變換過程。

代碼實(shí)現(xiàn)

cv::Mat H = cv::findHomography(matched_src, matched_target, cv::RANSAC);

std::vector<cv::Point2f> obj_corners(4);
obj_corners[0] = cv::Point2f(0, 0);
obj_corners[1] = cv::Point2f((float)target_mat.cols, 0);
obj_corners[2] = cv::Point2f((float)target_mat.cols, (float)target_mat.rows);
obj_corners[3] = cv::Point2f(0, (float)target_mat.rows);

std::vector<cv::Point2f> buf_corners(4);

cv::perspectiveTransform(obj_corners, buf_corners, H);

效果展示

縮放	壓扁	旋轉(zhuǎn)

可以發(fā)現(xiàn)實(shí)現(xiàn)的效果非常好。

還能更強(qiáng)？

這里只實(shí)現(xiàn)了單個目標(biāo)的檢測匹配，事實(shí)上這個算法不止步于此，我們可以使用KMeans算法，實(shí)現(xiàn)對于一個圖片上多個目標(biāo)一次檢測。也可以多個圖片同時匹配。但是鑒于時間，和筆者不容樂觀的數(shù)學(xué)分析成績，以及即將到來的數(shù)論期中考試，為了不被踢出強(qiáng)基計(jì)劃，下次有時間再說吧。

總結(jié)

以上是生活随笔為你收集整理的[ORB/BEBLID] 利用OpenCV(C++)实现尺度不变性与角度不变性的特征找图算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。