图像处理知识点总结
2019.10.09更新……
圖像：可以用矩陣表示，行列表示圖像的長高，矩陣的元素值可以表示灰度值的大小。
圖像深度：指存儲每個(gè)像素所用的位數(shù)，例如：位深度為1的圖像的像素有兩個(gè)可能的值：白色或者黑色；如果為位深度為8，則有2^8=256種顏色或者灰度等級（一般情況下位深度取8夠用了）。
區(qū)域：表示一幅圖像中一個(gè)任意的像素子集，不就是ROI嘛？？？
一般圖像處理過程：讀圖、灰度化、縮放、閾值找到ROI區(qū)域、構(gòu)建濾波函數(shù)、在頻域進(jìn)行濾波然后轉(zhuǎn)到時(shí)域、通過灰度變換（增強(qiáng)對比度）、通過閾值各種特征選擇即可找出目標(biāo)。
一、預(yù)處理
一般的預(yù)處理流程為：1灰度化->2幾何變換->3圖像增強(qiáng)。
1、灰度化：
灰度化，在RGB模型中，如果R=G=B時(shí)，則彩色表示一種灰度顏色，其中R=G=B的值叫灰度值，因此，灰度圖像每個(gè)像素只需一個(gè)字節(jié)存放灰度值（又稱強(qiáng)度值、亮度值），灰度范圍為0-255（位深度為8時(shí)）。
- 分量法 ：將彩色圖像中的三分量的亮度作為三個(gè)灰度圖像的灰度值，可根據(jù)應(yīng)用需要選取一種灰度圖像。
- 最大值法：將彩色圖像中的三分量亮度的最大值作為灰度圖的灰度值。
- 平均值法：將彩色圖像中的三分量亮度求平均得到一個(gè)灰度值。
- 加權(quán)平均法：根據(jù)重要性及其它指標(biāo)，將三個(gè)分量以不同的權(quán)值進(jìn)行加權(quán)平均。
2、幾何變換：
圖像幾何變換又稱為圖像空間變換，通過平移、轉(zhuǎn)置、鏡像、旋轉(zhuǎn)、縮放等幾何變換對采集的圖像進(jìn)行處理，用于改正圖像采集系統(tǒng)的系統(tǒng)誤差和儀器位置（成像角度、透視關(guān)系乃至鏡頭自身原因）的隨機(jī)誤差。此外，還需要使用灰度插值算法，因?yàn)榘凑者@種變換關(guān)系進(jìn)行計(jì)算，輸出圖像的像素可能被映射到輸入圖像的非整數(shù)坐標(biāo)上。通常采用的方法有最近鄰插值、雙線性插值和雙三次插值。
3、圖像增強(qiáng)：
增強(qiáng)圖像中的有用信息，它可以是一個(gè)失真的過程，其目的是要改善圖像的視覺效果，針對給定圖像的應(yīng)用場合，有目的地強(qiáng)調(diào)圖像的整體或局部特性，將原來不清晰的圖像變得清晰或強(qiáng)調(diào)某些感興趣的特征，擴(kuò)大圖像中不同物體特征之間的差別，抑制不感興趣的特征，使之改善圖像質(zhì)量、豐富信息量，加強(qiáng)圖像判讀和識別效果，滿足某些特殊分析的需要。（其實(shí)就是為了突出自己感興趣的部分）圖像增強(qiáng)算法可分成兩大類：空間域法和頻率域法。
- 空間域法：
空間域法是一種直接圖像增強(qiáng)算法，分為點(diǎn)運(yùn)算算法和鄰域去噪算法。點(diǎn)運(yùn)算算法即灰度級校正、灰度變換（又叫對比度拉伸）和直方圖修正等。鄰域增強(qiáng)算法分為圖像平滑和銳化兩種。平滑常用算法有均值濾波、中值濾波、空域?yàn)V波。銳化常用算法有梯度算子法、二階導(dǎo)數(shù)算子法、高通濾波、掩模匹配法等。 - 頻率域法：
頻率域法是一種間接圖像增強(qiáng)算法，常用的頻域增強(qiáng)方法有低通濾波器和高通濾波器。低頻濾波器有理想低通濾波器、巴特沃斯低通濾波器、高斯低通濾波器、指數(shù)濾波器等。高通濾波器有理想高通濾波器、巴特沃斯高通濾波器、高斯高通濾波器、指數(shù)濾波器。
空間濾波和頻域?yàn)V波的對比：
前者空間域法中具有代表性的算法有局部求平均值法和中值濾波（取局部鄰域中的中間像素值）法等，它們可用于去除或減弱噪聲。
后者把圖像看成一種二維信號，對其進(jìn)行基于二維傅里葉變換的信號增強(qiáng)。采用低通濾波（即只讓低頻信號通過）法，可去掉圖中的噪聲；采用高通濾波法，則可增強(qiáng)邊緣等高頻信號，使模糊的圖片變得清晰。
二、特征提取
模式識別中進(jìn)行匹配識別或者分類器分類識別時(shí)，判斷的依據(jù)就是圖像特征。用提取的特征表示整幅圖像內(nèi)容，根據(jù)特征匹配或者分類圖像目標(biāo)。常見的特征提取算法主要分為以下3類：
- ①基于顏色特征：如顏色直方圖、顏色集、顏色矩、顏色聚合向量等；
- ②基于紋理特征：如Tamura紋理特征、自回歸紋理模型、Gabor變換、小波變換、MPEG7邊緣直方圖等；
- ③基于形狀特征：如傅立葉形狀描述符、不變矩、小波輪廓描述符等；
1、LBP特征提取算法：
原理：LBP的基本思想是定義于像素的8鄰域中, 以中心像素的灰度值為閾值, 將周圍8 個(gè)像素的值與其比較, 如果周圍的像素值小于中心像素的灰度值, 該像素位置就被標(biāo)記為0, 否則標(biāo)記為1. 圖像中的每一個(gè)像素都得到一個(gè)二進(jìn)制組合, 這些組合作為特征就可以用來表示原始圖像。
LBP（Local Binary Patterns，局部二值模式）是提取局部特征作為判別依據(jù)的，為一種有效的紋理描述算子，度量和提取圖像局部的紋理信息，對光照具有不變性。有多種改進(jìn)型，LBP結(jié)合BP神經(jīng)網(wǎng)絡(luò)已經(jīng)用于人臉識別等領(lǐng)域。
改進(jìn)：
- 改進(jìn)的圓形鄰域LBP：為了適應(yīng)不同尺度的紋理特征, 并達(dá)到灰度不變性的要求, 相關(guān)學(xué)者對 LBP 算子進(jìn)行了改進(jìn), 將 3×3鄰域擴(kuò)展到任意鄰域, 并用圓形鄰域代替了正方形鄰域。這樣如果一個(gè)在圓上的點(diǎn)不在圖像坐標(biāo)上, 用它周圍的像素值內(nèi)插得到。
- 旋轉(zhuǎn)不變LBP：從 LBP 的定義可以看出, LBP 算子是灰度不變的, 但卻不是旋轉(zhuǎn)不變的. 圖像的旋轉(zhuǎn)就會得到不同的 LBP值。有關(guān)學(xué)者將 LBP 算子進(jìn)行了擴(kuò)展, 提出了具有旋轉(zhuǎn)不變性的 LBP 算子， 即不斷旋轉(zhuǎn)圓形鄰域得到一系列初始定義的 LBP 值, 取其最小值作為該鄰域的 LBP 值。
應(yīng)用：LBP主要應(yīng)用在紋理分類、人臉分析等。LBP特征提取結(jié)果還是大小相同的一幅圖像，但一般都不直接將LBP圖譜作為特征向量用于分類識別，而是采用LBP特征譜的統(tǒng)計(jì)直方圖作為特征向量用于分類識別。
2、HOG特征提取算法：
原理：所檢測的局部物體外形能夠被光強(qiáng)梯度或邊緣方向的分布所描述（本質(zhì)：梯度的統(tǒng)計(jì)信息，而梯度主要存在于邊緣的地方），HoG算法提取的是圖像各個(gè)像素梯度的統(tǒng)計(jì)直方圖，一般會將這些梯度直方圖轉(zhuǎn)化成一個(gè)向量，用于分類器的訓(xùn)練輸入。
方向梯度直方圖（Histogram of Oriented Gradient, HOG）特征是一種在計(jì)算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述子。它通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。
應(yīng)用：Hog特征結(jié)合SVM分類器已經(jīng)被廣泛應(yīng)用于圖像識別中，尤其在行人檢測中獲得了極大的成功。需要提醒的是，HOG+SVM進(jìn)行行人檢測的方法是法國研究人員Dalal在2005的CVPR上提出的，而如今雖然有很行人檢測算法不斷提出，但基本都是以HOG+SVM的思路為主。
不變性：具有光照不變性，不具有尺寸和旋轉(zhuǎn)不變性。
3、Haar特征提取算子：（參考）
原理：haar特征分成了四類：邊緣特征、線性特征、中心特征和對角線特征，這些特征組成了特征模板。這些模板的特征值的組合就是白色矩形區(qū)域像素值之和減去黑色矩形像素和。haar特征值反映了圖像的灰度變化情況。
應(yīng)用：人臉檢測
4、Harris角點(diǎn)特征提取算法：（參考）
在現(xiàn)實(shí)世界中，角點(diǎn)對應(yīng)于物體的拐角，道路的十字路口、丁字路口等。從圖像分析的角度來定義角點(diǎn)可以有以下兩種定義：
- 角點(diǎn)可以是兩個(gè)邊緣的角點(diǎn)；
- 角點(diǎn)是鄰域內(nèi)具有兩個(gè)主方向的特征點(diǎn)；
原理：使用一個(gè)固定窗口在圖像上進(jìn)行任意方向上的滑動，比較滑動前與滑動后兩種情況，窗口中的像素灰度變化程度，如果存在任意方向上的滑動，都有著較大灰度變化，那么我們可以認(rèn)為該窗口中存在角點(diǎn)。如果只在一個(gè)方向上有著較大的變化，則可能是一條直線。
5、DoG特征提取算法：
原理： DOG（Difference of Guassian）：簡稱 高斯函數(shù)的差分，將兩幅圖像在不同參數(shù)下的高斯濾波結(jié)果相減，得到DoG圖。是一階邊緣提取。
通過將圖像與高斯函數(shù)進(jìn)行卷積得到一幅圖像的低通濾波結(jié)果，即去噪過程，這里的Gaussian和高斯低通濾波器的高斯一樣，是一個(gè)函數(shù)，即為正態(tài)分布函數(shù)。
6、LoG特征提取算法：
原理：LoG（Laplacian of Gaussian）：簡稱 高斯-拉普拉斯，Laplace算子對通過圖像進(jìn)行操作實(shí)現(xiàn)邊緣檢測的時(shí)，對離散點(diǎn)和噪聲比較敏感。于是，首先對圖像進(jìn)行高斯卷積濾波進(jìn)行降噪處理，再采用Laplace算子進(jìn)行邊緣檢測，就可以提高算子對噪聲抗干擾能力, 是二階邊緣提取。
7、SIFT特征提取算子：（參考）
原理：是一種檢測局部特征的算法，該算法通過求一幅圖中的特征點(diǎn)及其有關(guān)尺寸和方向的描述子得到特征并進(jìn)行圖像特征點(diǎn)匹配，獲得了良好效果。每個(gè)特征點(diǎn)的SIFT特征是128維向量，因此計(jì)算量巨大。不變性：具有尺寸和旋轉(zhuǎn)不變性。
改進(jìn)：PCA-SIFT，如名稱所說“主成分SIFT特征”，主要提取了128維特征向量中的20個(gè)特征，大大減少了計(jì)算。
8、SURF特征提取算法：（參考）
SURF是SIFT角點(diǎn)檢測算法的改進(jìn)版，主要體現(xiàn)在速度上，SURF是SIFT速度的3倍。SIFT在尺度和旋轉(zhuǎn)變換的情況下匹配效果比SURF好，而SURF在亮度變化下匹配效果比較好。
Sift采用的是DOG圖像，而surf采用的是Hessian矩陣行列式近似值圖像。
9、待續(xù)……
三、圖像處理常見問題匯總
1、常用的圖像插值方法？
- 最鄰近插值：在待求象素的四鄰象素中，將距離待求象素最近的鄰象素灰度賦給待求象素；
- 雙線性插值：雙線性內(nèi)插法是利用待求象素四個(gè)鄰象素的灰度在兩個(gè)方向上作線性內(nèi)插；具有低通濾波性質(zhì)，使高頻分量受損，圖像輪廓可能會有一點(diǎn)模糊。
- 三次內(nèi)插法：利用三次多項(xiàng)式進(jìn)行逼近插值函數(shù)，計(jì)算量大，效果最好。
2、常用的圖像壓縮方法？
- 冗余度壓縮方法：（無損壓縮），在數(shù)學(xué)上可逆：哈夫曼編碼-算術(shù)編碼-行程編碼-Lempel-zev 編碼
- 信息量壓縮方法：（有損壓縮），解碼圖像與原始圖像有差：預(yù)測編碼-頻率域方法（正交變換編碼如DCT、子帶編碼）-空間域方法（統(tǒng)計(jì)分塊編碼）-模型方法（分形編碼、模型編碼）-基于重要性（粒子、子采樣、比特分配、矢量量化）
3、HSI是什么？
- 用色調(diào)（H）、飽和度（S）、亮度（I）來描述物體的顏色；
- 這種彩色描述對人來說是自然而直觀的。
4、腐蝕、膨脹、開運(yùn)算、閉運(yùn)算、數(shù)學(xué)形態(tài)學(xué)梯度？
- 腐蝕(erode)：通過結(jié)構(gòu)元素與覆蓋的圖像元素進(jìn)行 and 操作，即都為1時(shí)結(jié)果圖像才為1，否則為0。（作用：二值圖像向內(nèi)縮小一圈。）
- 膨脹(dilate)：通過結(jié)構(gòu)元素與覆蓋的圖像元素進(jìn)行 or 操作，即存在1時(shí)結(jié)果圖像就為1，否則為0。（作用：二值圖像向外擴(kuò)增一圈。）
- 開運(yùn)算(opening) ：先腐蝕后膨脹；（作用：保持目標(biāo)原有大小不變，通常用于去除小粒噪聲）
- 閉運(yùn)算(closing) ：先膨脹后腐蝕，（作用：保持目標(biāo)原有大小不變，通常用于消除內(nèi)部細(xì)小空洞）
- 數(shù)學(xué)形態(tài)學(xué)梯度：=圖像膨脹 - 圖像腐蝕，（作用：獲取到圖像的邊緣）
5、
待續(xù)……
總結(jié)
