原文鏈接：http://www.sigvc.org/bbs/thread-165-1-1.html

?? 這次我們榮幸地邀請到中國科學院自動化研究所的樊彬老師為我們撰寫圖像特征描述符方面的最新綜述。樊彬老師在圖像特征描述方面已連續(xù)發(fā)表了包括TPAMI、PR、ICCV、CVPR在內(nèi)的多篇高質(zhì)量論文。他的個人主頁為：http://www.sigvc.org/bfan/

? ? 以后我們將持續(xù)邀請國內(nèi)外眾多老師做最新的視覺計算專業(yè)綜述報告，如特征提取和描述、稀疏表達、人體跟蹤、三維衣服布料動畫、輕量級Web3D等，并陸續(xù)在學術論壇上發(fā)布。各位老師會盡量使綜述通俗易懂、深入淺出，這樣無論是初學者還是同行專家，都會有所收獲。因為發(fā)布在本論壇中的學術文章不屬于正式的學術出版，因此各位老師以后還可根據(jù)論壇的反饋建議將綜述整理成正式的學術論文在期刊會議上發(fā)表。

? ? 此外，如果您覺得國內(nèi)外某位學者在您所關注的領域（與視覺計算相關的：“計算機視覺”、“計算機圖形學”、“模式識別與機器學習”、“機器人視覺導航與定位”）做的不錯，希望獲得他的最新綜述性見解，可把他/她的聯(lián)系方式發(fā)給我們，我們將考慮邀請他/她撰寫最新的綜述報告，以便大家在第一時間分享。
------------------------------------------------------------------------------------------------------------------------------------------------ 局部圖像特征描述概述 樊彬
中國科學院自動化研究所 模式識別國家重點實驗室 (CASIA NLPR)

? ???? 局部圖像特征描述是計算機視覺的一個基本研究問題，在尋找圖像中的對應點以及物體特征描述中有著重要的作用。它是許多方法的基礎，因此也是目前視覺研究中的一個熱點，每年在視覺領域的頂級會議ICCV/CVPR/ECCV上都有高質(zhì)量的特征描述論文發(fā)表。同時它也有著廣泛的應用，舉例來說，在利用多幅二維圖像進行三維重建、恢復場景三維結(jié)構(gòu)的應用中，其基本出發(fā)點是要有一個可靠的圖像對應點集合，而自動地建立圖像之間點與點之間的可靠對應關系通常都依賴于一個優(yōu)秀的局部圖像特征描述子。又比如，在物體識別中，目前非常流行以及切實可行的方法之一是基于局部特征的，由于特征的局部性，使得物體識別可以處理遮擋、復雜背景等比較復雜的情況。

? ? ?? 局部圖像特征描述的核心問題是不變性（魯棒性）和可區(qū)分性。由于使用局部圖像特征描述子的時候，通常是為了魯棒地處理各種圖像變換的情況。因此，在構(gòu)建/設計特征描述子的時候，不變性問題就是首先需要考慮的問題。在寬基線匹配中，需要考慮特征描述子對于視角變化的不變性、對尺度變化的不變性、對旋轉(zhuǎn)變化的不變性等；在形狀識別和物體檢索中，需要考慮特征描述子對形狀的不變性。

? ?? ? 然而，特征描述子的可區(qū)分性的強弱往往和其不變性是矛盾的，也就是說，一個具有眾多不變性的特征描述子，它區(qū)分局部圖像內(nèi)容的能力就稍弱；而如果一個非常容易區(qū)分不同局部圖像內(nèi)容的特征描述子，它的魯棒性往往比較低。舉個例子，假定我們需要對一個點周圍固定大小的局部圖像內(nèi)容進行描述。如果我們直接將圖像內(nèi)容展開成一個列向量對其進行描述，那么只要局部圖像內(nèi)容發(fā)生了一點變化，就會使得它的特征描述子發(fā)生較大的變化，因此這樣的特征描述方式很容易區(qū)分不同的局部圖像內(nèi)容，但是對于相同的局部圖像內(nèi)容發(fā)生旋轉(zhuǎn)變化等情況，它同樣會產(chǎn)生很大的差異，即不變性弱。

? ? ?? 而另一方面，如果我們通過統(tǒng)計局部圖像灰度直方圖來進行特征描述，這種描述方式具有較強的不變性，對于局部圖像內(nèi)容發(fā)生旋轉(zhuǎn)變化等情況比較魯棒，但是區(qū)分能力較弱，例如無法區(qū)分兩個灰度直方圖相同但內(nèi)容不同的局部圖像塊。

? ?? ?綜上所述，一個優(yōu)秀的特征描述子不僅應該具有很強不變性，還應該具有很強的可區(qū)分性。

? ?? ?在諸多的局部圖像特征描述子中，SIFT（Scale Invariant Feature Transform）是其中應用最廣的，它在1999年首次提出，至2004年得到完善。SIFT的提出也是局部圖像特征描述子研究領域一項里程碑式的工作。由于SIFT對尺度、旋轉(zhuǎn)以及一定視角和光照變化等圖像變化都具有不變性，并且SIFT具有很強的可區(qū)分性，自它提出以來，很快在物體識別、寬基線圖像匹配、三維重建、圖像檢索中得到了應用，局部圖像特征描述子在計算機視覺領域內(nèi)也得到了更加廣泛的關注，涌現(xiàn)了一大批各具特色的局部圖像特征描述子。

? ?? ? SURF（Speeded Up Robust Features）是對SIFT的改進版本，它利用Haar小波來近似SIFT方法中的梯度操作，同時利用積分圖技術進行快速計算，SURF的速度是SIFT的3-7倍，大部分情況下它和SIFT的性能相當，因此它在很多應用中得到了應用，尤其是對運行時間要求高的場合。

? ?? ? DAISY是面向稠密特征提取的可快速計算的局部圖像特征描述子，它本質(zhì)思想和SIFT是一樣的：分塊統(tǒng)計梯度方向直方圖，不同的是，DAISY在分塊策略上進行了改進，利用高斯卷積來進行梯度方向直方圖的分塊匯聚，這樣利用高斯卷積的可快速計算性就可以快速稠密地進行特征描述子的提取。比較巧合的是，DAISY這種特征匯聚策略被一些研究者（Matthen Brown，Gang Hua，Simon Winder）通過機器學習的方法證明相對于其他幾種特征匯聚策略（卡迪爾坐標下分塊、極坐標下分塊）是最優(yōu)的。

? ?? ? ASIFT（Affine SIFT）通過模擬所有成像視角下得到的圖像進行特征匹配，可以很好地處理視角變化的情況，尤其是大視角變化下的圖像匹配。

? ?? ? MROGH（Multi-support Region Order-based Gradient Histogram）則是特征匯聚策略上尋求創(chuàng)新，之前的局部圖像特征描述子，其特征匯聚策略都是基于鄰域內(nèi)點的幾何位置的，而MROGH基于點的灰度序進行特征匯聚。

? ?? ? BRIEF（Binary Robust Independent Element Feature）利用局部圖像鄰域內(nèi)隨機點對的灰度大小關系來建立局部圖像特征描述子，得到的二值特征描述子不僅匹配速度快，而且存儲要求內(nèi)存低，因此手機應用中具有很好的應用前景。其實，利用鄰域內(nèi)點對的灰度大小關系進行特征描述這一思想在SMD（ECCV’08）中就已經(jīng)有了。

? ?? ?除了BRIEF，近兩年還提出了許多二值特征描述子，例如ORB、BRISK、FREAK。上述這些特征描述子都是基于手動設計得到的，也有一些研究試圖利用機器學習的方法，通過數(shù)據(jù)驅(qū)動得到想要的特征描述子。這類特征描述子包括PCA-SIFT，Linear Discriminative Embedding，LDA-Hash等。當然，除了提到的這些特征描述子之外，還有許多其他的特征描述子，在這就不再一一敘述了。

? ?? ?國際上研究局部圖像特征描述子比較著名的學者有：

? ?? ?英國Surrey大學的Mikolajzyk，他在INRIA做博后的時候，在寬基線應用背景下，對SIFT、Shape Context、PCA-SIFT、不變矩等多種局部圖像描述子的性能進行了評測，相關論文發(fā)表在2005年PAMI上，他提出來的評測方法至今仍是局部圖像描述子研究領域中廣泛采用的性能評測方法。

? ?? ? INRIA的C. Schmid，她九十年代就開始研究局部圖像描述方法了，是這個領域內(nèi)的元老之一，不過這幾年她的團隊正在將重心轉(zhuǎn)向大規(guī)模圖像檢索和行為識別等應用中。

? ?? ? 比利時Leuven大學的Tinne Tuytelaars，她是著名的SURF描述子的提出者，SURF相關的論文于2011年獲得CVIU引用最多論文獎，她寫了三篇局部圖像特征描述相關的綜述文章，分別是“Local Invariant Feature Detectors: A Survey”，“Local Image Features”和“Wide baseline matching”。

? ?? ? 英國Oxford大學的Andrea Valida，他是Vlfeat的發(fā)起者和主要作者。Vlfeat是一個開源程序，其中包括了SIFT、MSER，被許多研究者廣泛采用。Vlfeat目前正在逐漸實現(xiàn)其他常用的特征描述子。

? ?? ? 瑞士EPFL的Vincent Lepetit和Pascal Fua，他們的團隊主要致力于發(fā)展快速、高效的局部圖像特征描述子，用于模板匹配、三維重建、虛擬現(xiàn)實等應用。他們的工作包括用于稠密立體匹配的DAISY特征描述子，基于Random Trees的模板匹配方法，基于Random Ferns的模板匹配方法。此外，LDA-Hash、BRIEF、D-BRIEF（ECCV 2012）也是他們的杰作。

? ?? ? 中國科學院自動化研究所的吳福朝研究員，他在這方面也做了比較深入的研究，并提出了許多不錯的局部圖像特征提取和描述方法。這些名字都是我們在讀論文的時候會經(jīng)常看到的。

? ?? ? 最近幾年局部圖像特征描述子的發(fā)展趨勢是：快速、低存儲。這兩個趨勢使得局部圖像特征描述子可以在快速實時、大規(guī)模應用中發(fā)揮作用，而且有利于將許多應用做到手機上去進行開發(fā)，實實在在的將計算機視覺技術應用于我們周圍的世界中。為了滿足快速和低存儲這兩個需求，二值特征描述子得到了研究者的廣泛關注，這兩年CVPR和ICCV中關于局部圖像特征描述子的文章，大部分都是這類的。相信它們在未來幾年還會繼續(xù)受到關注，期待出現(xiàn)一些深入大眾生活中的成功應用。

總結(jié)

以上是生活随笔為你收集整理的“局部图像特征描述概述”--樊彬老师的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。